如何使用Robots來(lái)處理(lǐ)網站(zhàn)死鏈接

如何使用Robots來(lái)處理(lǐ)網站(zhàn)死鏈接？覺得(de)今天很(hěn)有(yǒu)必要跟大(dà)家(jiā)分享一下Robots與死鏈的關系，這幾天已經遇到了好幾個(gè)er在混淆這兩個(gè)概念了，老是把Robot的應用與死鏈的處理(lǐ)，搭配到一起去使用，Seven足足碼字好幾百，聊天記錄都說了兩頁了，回頭還(hái)是問了句，“怎麽在robot中寫死鏈提交”，我在想一定是我表達的方式不對，下面給大(dà)家(jiā)捋捋思路：

Robot的應用：主要用于定義允許/禁止哪些(xiē)搜索引擎蜘蛛的爬取，允許/禁止蜘蛛可(kě)以爬取的網站(zhàn)路徑，允許/禁止蜘蛛爬取URL的規則，告訴某些(xiē)搜索引擎的URL，例如我的Robot就簡單簡單定義了幾個(gè)規則:

死鏈的處理(lǐ)：這裏針對百度搜索引擎討(tǎo)論，主要還(hái)是到站(zhàn)長工具裏面，把死鏈提交給百度，告訴百度這個(gè)鏈接不存在，請(qǐng)求删除之前的收錄，這裏是以txt或xml形式批量提交死鏈給百度；

現在談談死鏈與Robot的關系，很(hěn)多(duō)人(rén)就把死鏈提交到Robots定義裏面，認為(wèi)用Disallow來(lái)禁止的抓取，這個(gè)想法是好的，出發點無非是不想讓百度收錄自己網站(zhàn)的死鏈，但(dàn)是有(yǒu)沒有(yǒu)考慮到快照問題，就是這個(gè)鏈接是個(gè)死鏈，但(dàn)是在網站(zhàn)收錄裏面還(hái)有(yǒu)快照存在，你(nǐ)就會(huì)想，是不是百度還(hái)能抓取到我的死鏈，所以你(nǐ)就在Robot裏面加了N多(duō)行(xíng)的Disallow，來(lái)禁止百度收錄你(nǐ)的死鏈，seven一直不太認可(kě)這麽一個(gè)做(zuò)法，其實這完全是一個(gè)本末倒置的做(zuò)法。

需要搞清楚死鏈是如何産生(shēng)的？死鏈是由于文件删除或者路徑修改産生(shēng)的不可(kě)訪問的鏈接，那(nà)麽你(nǐ)需要做(zuò)的第一步是完全清除死鏈，第二步是提交死鏈，而Robots的禁止收錄，是因為(wèi)路徑存在，但(dàn)是你(nǐ)不希望被搜索引擎收錄，比如網站(zhàn)後台或者用戶中心一類，所以才加的Disallow去禁止收錄，死鏈是訪問不到的鏈接，如果你(nǐ)第一步清除完了，存在這個(gè)Disallow的必要嗎？因為(wèi)你(nǐ)不完全清除死鏈，勢必影(yǐng)響用戶體(tǐ)驗。

總結：死鏈是必須清除的，對于搜索引擎而言，網站(zhàn)收錄之前的死鏈一般不會(huì)被收錄，因為(wèi)沒有(yǒu)價值；收錄之後的死鏈，可(kě)能用戶會(huì)在搜索結果或者站(zhàn)內(nèi)浏覽時(shí)點擊到，影(yǐng)響用戶體(tǐ)驗，所以必須提交死鏈和(hé)投訴快照加快死鏈處理(lǐ)。robots與死鏈的關系很(hěn)微妙，差别就在于這個(gè)死鏈地址是否還(hái)存在于網站(zhàn)內(nèi)鏈當中。