搜索引擎蜘蛛爬行(xíng)日志(zhì) 返回代碼

在網站(zhàn)日志(zhì)中，我們經常會(huì)看到很(hěn)多(duō)返回的http代碼，如201、304、404、500等等。可(kě)是這些(xiē)具體(tǐ)的返回的HTTP代碼究竟什麽含義呢，在此做(zuò)一下知識普及吧(ba)，記不住不要緊，到時(shí)候看看就行(xíng)了，但(dàn)最主要的幾個(gè)還(hái)要要清楚的。

一些(xiē)常見的狀态碼為(wèi)：站(zhàn)長必備：

200 – 服務器(qì)成功返回網頁
404 – 請(qǐng)求的網頁不存在
503 – 服務器(qì)超時(shí)

下面提供 HTTP 狀态碼的完整列表。點擊鏈接可(kě)了解詳情。您也可(kě)以訪問 HTTP 狀态碼上(shàng)的 W3C 頁獲取更多(duō)信息。

1xx(臨時(shí)響應)
表示臨時(shí)響應并需要請(qǐng)求者繼續執行(xíng)操作(zuò)的狀态碼。
100(繼續)請(qǐng)求者應當繼續提出請(qǐng)求。服務器(qì)返回此代碼表示已收到請(qǐng)求的第一部分，正在等待其餘部分。
101(切換協議)請(qǐng)求者已要求服務器(qì)切換協議，服務器(qì)已确認并準備切換。
2xx (成功)? 表示成功處理(lǐ)了請(qǐng)求的狀态碼。
站(zhàn)長必備：200(成功)服務器(qì)已成功處理(lǐ)了請(qǐng)求。通(tōng)常，這表示服務器(qì)提供了請(qǐng)求的網頁。如果是對您的 robots.txt 文件顯示此狀态碼，則表示 Googlebot 已成功檢索到該文件。
201(已創建)請(qǐng)求成功并且服務器(qì)創建了新的資源。
202(已接受)服務器(qì)已接受請(qǐng)求，但(dàn)尚未處理(lǐ)。
203(非授權信息)服務器(qì)已成功處理(lǐ)了請(qǐng)求，但(dàn)返回的信息可(kě)能來(lái)自另一來(lái)源。
204(無內(nèi)容)服務器(qì)成功處理(lǐ)了請(qǐng)求，但(dàn)沒有(yǒu)返回任何內(nèi)容。
205(重置內(nèi)容)服務器(qì)成功處理(lǐ)了請(qǐng)求，但(dàn)沒有(yǒu)返回任何內(nèi)容。與 204 響應不同，此響應要求請(qǐng)求者重置文檔視(shì)圖(例如，清除表單內(nèi)容以輸入新內(nèi)容)。
206(部分內(nèi)容)服務器(qì)成功處理(lǐ)了部分 GET 請(qǐng)求。

3xx (重定向)
要完成請(qǐng)求，需要進一步操作(zuò)。通(tōng)常，這些(xiē)狀态碼用來(lái)重定向。Google 建議您在每次請(qǐng)求中使用重定向不要超過 5 次。您可(kě)以使用網站(zhàn)管理(lǐ)員工具查看一下 Googlebot 在抓取重定向網頁時(shí)是否遇到問題。診斷下的網絡抓取頁列出了由于重定向錯誤導緻 Googlebot 無法抓取的網址。
300(多(duō)種選擇)針對請(qǐng)求，服務器(qì)可(kě)執行(xíng)多(duō)種操作(zuò)。服務器(qì)可(kě)根據請(qǐng)求者 (user agent) 選擇一項操作(zuò)，或提供操作(zuò)列表供請(qǐng)求者選擇。
站(zhàn)長必備：301(永久移動)請(qǐng)求的網頁已永久移動到新位置。服務器(qì)返回此響應(對 GET 或 HEAD 請(qǐng)求的響應)時(shí)，會(huì)自動将請(qǐng)求者轉到新位置。您應使用此代碼告訴 Googlebot 某個(gè)網頁或網站(zhàn)已永久移動到新位置。
302(臨時(shí)移動)服務器(qì)目前從不同位置的網頁響應請(qǐng)求，但(dàn)請(qǐng)求者應繼續使用原有(yǒu)位置來(lái)響應以後的請(qǐng)求。此代碼與響應 GET 和(hé) HEAD 請(qǐng)求的 301 代碼類似，會(huì)自動将請(qǐng)求者轉到不同的位置，但(dàn)您不應使用此代碼來(lái)告訴 Googlebot 某個(gè)網頁或網站(zhàn)已經移動，因為(wèi) Googlebot 會(huì)繼續抓取原有(yǒu)位置并編制(zhì)索引。
303(查看其他位置)請(qǐng)求者應當對不同的位置使用單獨的 GET 請(qǐng)求來(lái)檢索響應時(shí)，服務器(qì)返回此代碼。對于除 HEAD 之外的所有(yǒu)請(qǐng)求，服務器(qì)會(huì)自動轉到其他位置。
304(未修改)自從上(shàng)次請(qǐng)求後，請(qǐng)求的網頁未修改過。服務器(qì)返回此響應時(shí)，不會(huì)返回網頁內(nèi)容。

如果網頁自請(qǐng)求者上(shàng)次請(qǐng)求後再也沒有(yǒu)更改過，您應将服務器(qì)配置為(wèi)返回此響應(稱為(wèi) If-Modified-Since HTTP 标頭)。服務器(qì)可(kě)以告訴搜索引擎的蜘蛛/機器(qì)人(rén) 自從上(shàng)次抓取後網頁沒有(yǒu)變更，進而節省帶寬和(hé)開(kāi)銷。
305(使用代理(lǐ))請(qǐng)求者隻能使用代理(lǐ)訪問請(qǐng)求的網頁。如果服務器(qì)返回此響應，還(hái)表示請(qǐng)求者應使用代理(lǐ)。
307(臨時(shí)重定向)服務器(qì)目前從不同位置的網頁響應請(qǐng)求，但(dàn)請(qǐng)求者應繼續使用原有(yǒu)位置來(lái)響應以後的請(qǐng)求。此代碼與響應 GET 和(hé) HEAD 請(qǐng)求的 301 代碼類似，會(huì)自動将請(qǐng)求者轉到不同的位置，但(dàn)您不應使用此代碼來(lái)告訴 Googlebot 某個(gè)頁面或網站(zhàn)已經移動，因為(wèi) Googlebot 會(huì)繼續抓取原有(yǒu)位置并編制(zhì)索引。

4xx(請(qǐng)求錯誤)
這些(xiē)狀态碼表示請(qǐng)求可(kě)能出錯，妨礙了服務器(qì)的處理(lǐ)。
400(錯誤請(qǐng)求)服務器(qì)不理(lǐ)解請(qǐng)求的語法。
401(未授權)請(qǐng)求要求身份驗證。對于登錄後請(qǐng)求的網頁，服務器(qì)可(kě)能返回此響應。
403(禁止)服務器(qì)拒絕請(qǐng)求。如果您在 Googlebot 嘗試抓取您網站(zhàn)上(shàng)的有(yǒu)效網頁時(shí)看到此狀态碼(您可(kě)以在 Google 網站(zhàn)管理(lǐ)員工具診斷下的網絡抓取頁面上(shàng)看到此信息)，可(kě)能是您的服務器(qì)或主機拒絕了 Googlebot 訪問。
站(zhàn)長必備：404(未找到)服務器(qì)找不到請(qǐng)求的網頁。例如，對于服務器(qì)上(shàng)不存在的網頁經常會(huì)返回此代碼。
如果您的網站(zhàn)上(shàng)沒有(yǒu) robots.txt 文件，而您在 Google 網站(zhàn)管理(lǐ)員工具”診斷”标簽的 robots.txt 頁上(shàng)看到此狀态碼，則這是正确的狀态碼。但(dàn)是，如果您有(yǒu) robots.txt 文件而又看到此狀态碼，則說明(míng)您的 robots.txt 文件可(kě)能命名錯誤或位于錯誤的位置(該文件應當位于頂級域，名為(wèi) robots.txt)。
如果對于 Googlebot 抓取的網址看到此狀态碼(在”診斷”标簽的 HTTP 錯誤頁面上(shàng))，則表示 Googlebot 跟随的可(kě)能是另一個(gè)頁面的無效鏈接(是舊(jiù)鏈接或輸入有(yǒu)誤的鏈接)。
405(方法禁用)禁用請(qǐng)求中指定的方法。
406(不接受)無法使用請(qǐng)求的內(nèi)容特性響應請(qǐng)求的網頁。
407(需要代理(lǐ)授權)此狀态碼與 401(未授權)類似，但(dàn)指定請(qǐng)求者應當授權使用代理(lǐ)。如果服務器(qì)返回此響應，還(hái)表示請(qǐng)求者應當使用代理(lǐ)。
408(請(qǐng)求超時(shí))服務器(qì)等候請(qǐng)求時(shí)發生(shēng)超時(shí)。
409(沖突)服務器(qì)在完成請(qǐng)求時(shí)發生(shēng)沖突。服務器(qì)必須在響應中包含有(yǒu)關沖突的信息。服務器(qì)在響應與前一個(gè)請(qǐng)求相沖突的 PUT 請(qǐng)求時(shí)可(kě)能會(huì)返回此代碼，以及兩個(gè)請(qǐng)求的差異列表。
410(已删除)如果請(qǐng)求的資源已永久删除，服務器(qì)就會(huì)返回此響應。該代碼與 404(未找到)代碼類似，但(dàn)在資源以前存在而現在不存在的情況下，有(yǒu)時(shí)會(huì)用來(lái)替代 404 代碼。如果資源已永久移動，您應使用 301 指定資源的新位置。
411(需要有(yǒu)效長度)服務器(qì)不接受不含有(yǒu)效內(nèi)容長度标頭字段的請(qǐng)求。
412(未滿足前提條件)服務器(qì)未滿足請(qǐng)求者在請(qǐng)求中設置的其中一個(gè)前提條件。
413(請(qǐng)求實體(tǐ)過大(dà))服務器(qì)無法處理(lǐ)請(qǐng)求，因為(wèi)請(qǐng)求實體(tǐ)過大(dà)，超出服務器(qì)的處理(lǐ)能力。
414(請(qǐng)求的 URI 過長)請(qǐng)求的 URI(通(tōng)常為(wèi)網址)過長，服務器(qì)無法處理(lǐ)。
415(不支持的媒體(tǐ)類型)請(qǐng)求的格式不受請(qǐng)求頁面的支持。
416(請(qǐng)求範圍不符合要求)如果頁面無法提供請(qǐng)求的範圍，則服務器(qì)會(huì)返回此狀态碼。
417(未滿足期望值)服務器(qì)未滿足”期望”請(qǐng)求标頭字段的要求。

5xx(服務器(qì)錯誤)
501(尚未實施)服務器(qì)不具備完成請(qǐng)求的功能。例如，服務器(qì)無法識别請(qǐng)求方法時(shí)可(kě)能會(huì)返回此代碼。
502(錯誤網關)服務器(qì)作(zuò)為(wèi)網關或代理(lǐ)，從上(shàng)遊服務器(qì)收到無效響應。
503(服務不可(kě)用)服務器(qì)目前無法使用(由于超載或停機維護)。通(tōng)常，這隻是暫時(shí)狀态。
504(網關超時(shí))服務器(qì)作(zuò)為(wèi)網關或代理(lǐ)，但(dàn)是沒有(yǒu)及時(shí)從上(shàng)遊服務器(qì)收到請(qǐng)求。
505(HTTP 版本不受支持)服務器(qì)不支持請(qǐng)求中所用的 HTTP 協議版本。