關于網站(zhàn)抓取問題及解決建議方案

當你(nǐ)面對大(dà)型網站(zhàn)可(kě)能遇到的數(shù)千個(gè)潛在問題時(shí)，你(nǐ)從哪裏開(kāi)始？這是我們在重建Web爬行(xíng)時(shí)試圖解決的問題。答(dá)案幾乎完全取決于你(nǐ)的網站(zhàn)，可(kě)能需要深入了解它的曆史和(hé)目标，但(dàn)我想概述一個(gè)SEO過程，可(kě)以幫助你(nǐ)減少(shǎo)噪音(yīn)并開(kāi)始使用它。簡單的操作(zuò)有(yǒu)時(shí)是危險的。為(wèi)什麽？在此之前，我們嘗試将網站(zhàn)開(kāi)頭的每個(gè)問題标記為(wèi)高(gāo)、中、低(dī)優先級。這個(gè)簡單的方法可(kě)能有(yǒu)用，但(dàn)我們發現不可(kě)能做(zuò)到這一點，您可(kě)能想知道(dào)我們為(wèi)什麽要放棄它。

首先，網站(zhàn)優化元素的優先級取決于你(nǐ)的意圖。如果搜索引擎正在搜索網站(zhàn)，誤解你(nǐ)的意圖可(kě)能會(huì)導緻糟糕的結果，從混亂到災難性的結果。例如，我們在moz上(shàng)雇傭了一個(gè)全新的seoer，發現了以下問題：站(zhàn)點上(shàng)同時(shí)有(yǒu)将近35000個(gè)noindex标簽？如果我們使用搜索引擎優化工具快速删除這些(xiē)标簽，那(nà)麽網站(zhàn)本身就會(huì)受到很(hěn)大(dà)的傷害，而不是意識到大(dà)多(duō)數(shù)這些(xiē)指令都是故意的。我們可(kě)以使我們的系統更智能，但(dàn)他們不理(lǐ)解，所以我們需要對錯誤警報保持謹慎。

其次，優先級問題并不能幫助您了解這些(xiē)問題的性質或如何解決它們。我們現在将Web爬行(xíng)分為(wèi)四種描述類型：曆史數(shù)據問題重定向問題元數(shù)據問題內(nèi)容問題按類型分類可(kě)以使您獲得(de)更多(duō)的SEO技(jì)術(shù)。

最終幫助你(nǐ)發現問題隻是第一步。我們希望能更好地幫助你(nǐ)解決這個(gè)問題。從爬行(xíng)動物的嚴重問題開(kāi)始，這并不意味着一切都是主觀的。有(yǒu)些(xiē)問題會(huì)阻止爬蟲（不僅僅是我們的，還(hái)有(yǒu)搜索引擎）到達您的頁面。我們将這些(xiē)“關鍵爬蟲問題”分為(wèi)第一類，目前包括5xx個(gè)錯誤、4xx個(gè)錯誤和(hé)重定向到4xx。如果您突然出現5xx錯誤，您需要知道(dào)很(hěn)少(shǎo)有(yǒu)人(rén)故意将其重定向到404。在整個(gè)網絡爬蟲界面中，您将看到一個(gè)突出顯示的嚴重爬蟲問題：找到紅色警報圖标以快速找到關鍵問題。

首先，解決這些(xiē)問題。如果你(nǐ)不能抓取頁面，那(nà)麽其他所有(yǒu)的抓取程序的問題都無法解決，這對SEO來(lái)說是非常糟糕的。2。在解決你(nǐ)的技(jì)術(shù)SEO問題中，平衡問題的流行(xíng)度，我們也必須平衡問題的嚴重性和(hé)數(shù)量。如果不了解您的網站(zhàn)，我會(huì)說404錯誤可(kě)能值得(de)在複制(zhì)內(nèi)容之前解決-但(dàn)是如果您有(yǒu)11個(gè)404和(hé)17843重複頁呢？你(nǐ)的優先事項突然變得(de)很(hěn)不一樣了。我們已經為(wèi)您做(zuò)了一些(xiē)SEO數(shù)據分析，以通(tōng)過問題的普遍性提高(gāo)緊迫性。這需要一些(xiē)關于優先權的假設，但(dàn)是如果您的時(shí)間(jiān)有(yǒu)限，我們希望為(wèi)您提供解決幾個(gè)關鍵問題的至少(shǎo)一個(gè)快速起點。

解決多(duō)頁問題的另一個(gè)優勢是解決大(dà)容量問題。在許多(duō)情況下，您可(kě)以一次修複數(shù)百（甚至數(shù)千）頁。這是一個(gè)更戰術(shù)的方法來(lái)節省你(nǐ)很(hěn)多(duō)時(shí)間(jiān)和(hé)金錢(qián)。

因此，我們可(kě)以通(tōng)過URL過濾來(lái)解決網絡爬行(xíng)的問題：我可(kě)以很(hěn)快看到這些(xiē)頁面占392頁，我缺乏描述，高(gāo)達43%。如果我擔心這個(gè)問題，也許我可(kě)以通(tōng)過一個(gè)相當簡單的CMS頁面來(lái)解決它，用幾行(xíng)代碼消除數(shù)百個(gè)問題。在不久的将來(lái)，我們希望為(wèi)您做(zuò)一些(xiē)分析，但(dàn)是如果過濾不能做(zuò)到這一點，您也可(kě)以将任何問題列表導出到csv。然後，旋轉并過濾你(nǐ)心髒的內(nèi)容。

通(tōng)過PA和(hé)爬行(xíng)深度進入頁面。如果你(nǐ)找不到清晰的模式，或者你(nǐ)已經解決了一些(xiē)主要問題，下一步是什麽？如果您知道(dào)這些(xiē)URL很(hěn)重要，那(nà)麽一次解決數(shù)千個(gè)問題是值得(de)的。幸運的是，您現在可(kě)以按照頁面權限（PA）和(hé)Web爬行(xíng)中的爬行(xíng)深度進行(xíng)排序。PA是我們排名能力的內(nèi)部指标（主要由鏈接權重決定），爬行(xíng)深度是頁面和(hé)主頁之間(jiān)的距離：在這裏，我可(kě)以看到我們的Mozbar網站(zhàn)中的重定向鏈，這是一個(gè)非常高(gāo)的特權頁面。這可(kě)能是一個(gè)值得(de)解決的問題，即使它不是一個(gè)明(míng)顯的、更大(dà)的組織的一部分。