搜尋引擎蜘蛛與SEO優化的關係
搜尋引擎蜘蛛的工作原理
想要做好seo優化，就不能不從搜尋引擎原理開始，搜尋引擎主要是由網頁自動索引程式+分詞+索引+查詢+用戶體驗幾個機制組成。而最前端的索引工作就是我們常說的「搜尋引擎蜘蛛」的工作，蜘蛛主要負責頁面的抓取製作成索引然後分詞。簡單來說，搜尋引擎蜘蛛就是，搜尋引擎派來抓取你網頁資料回去的動作，至於後端的運算則跟蜘蛛完全無關。
蜘蛛沿著連結不斷往下爬行
蜘蛛英文翻譯成Web Spider，是一個很抽象的名字。seo搜尋引擎優化人員經常把網路比喻成一個蜘蛛網，那麼Web Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網址與網址之間的連結來尋找網頁，從網站某一個頁面出發，讀取網頁內容，找到在網頁中其它的網址往下爬行，不斷循環下去，這也就是為什麼外部連結的增加可以提高搜尋引擎收錄速度的主要原因。
網站權重高低決定搜尋引擎收錄或不收錄
一個網站被搜尋引擎收錄頁面的多寡決定網站的權重高低，這成為seo排名人員非常重要的一個工作，接下來我們就來看看搜尋引擎是怎麼判斷收錄或是不收錄。
對於任何一家搜尋引擎來說，要抓取網路上所有的網頁幾乎是不可能的事情，從目前公佈的資料來看，搜尋引擎的龍頭google也不過是抓取了整個網路世界40％的網頁。無法完全抓取的主要原因有三個：
一、檔案量太大：就目前大約已知全世界共有100億個網頁，總容量達到200000G的容量。
二、下載耗時：假設一台伺服器每秒下載20K計算，需要340台機器24小時不斷的下載一年，才可以把所有網頁下載完畢。
三、完全搜錄造成搜尋效率低下：由於資料量太大，在提供搜尋時也會有效率方面的問題。
由於以上原因，搜尋引擎蜘蛛只抓取重要的網頁，而判定抓或不抓主要原因就在網站權重的判定，權重越高搜尋引擎蜘蛛就越常爬行。網站權重其中一個因素就是外部連結與內部連結的品質。
搜尋引擎蜘蛛在抓取網頁的時候一般有兩種方式：
廣度優先：
網路蜘蛛會先抓取導覽列所有網頁，然後再選擇其中的一個網頁往下抓一整層，類似水平抓法。這是最常見的方式，主要對於新的網站或是權重較低的網站採取廣度優先，因為這個方式可以讓蜘蛛並行處理，提高抓取速度。
深度優先：
網路蜘蛛會從首頁的第一個連結一個連結往下抓，抓到沒有連結頁面之後再回首頁從第二個連結往下抓，類似垂直抓法。這個方法的優點在可以完整性的抓取一整個網站的資料，通常使用於權重較高內容較豐富的網站。
被爬行的連結上的關鍵字稱為錨文字
蜘蛛會分析在這個連結上的文字即代表指向那個頁面的主要內容，比如關鍵字是「網路行銷」而當點擊這個關鍵字之後到達的網頁內容也必須是在談網路行銷相關內容的網頁，當這機制形成的時候就會為「網路行銷」這個關鍵字帶來權重，相反地如果關鍵字跟指向內容毫無關係，那就不會取得權重分數，甚至不收錄！
蜘蛛拜訪網站時間長短，取決於網站權重高低
搜尋引擎蜘蛛給於同等級權重的網站收錄時間是一樣的，當拜訪你的網站的時間假設是2分鐘，蜘蛛在這兩分鐘內收錄頁面後，就會離開。這就衍生另一個問題就是虛擬主機的穩定性及網站結構的優化，虛擬主機反應速度慢當然蜘蛛爬行的速度就慢，網站結構導致蜘蛛無所適從，收錄效率低自然收錄的頁面也就少。
網站資料更新的越快，蜘蛛來的越快
網路上一些網頁是經常更新的，一些是一年半載都沒有變化的，蜘蛛的特性就是你更新的速度越快蜘蛛就來的越頻繁，來的越頻繁收錄的頁面就越多。所以對於seo優化我們要做的就是持續穩定的更新頻率，收錄的頁面越多代表網站權重越高，網站權重高自然排名就高了。
外部連結來源越多，搜尋引擎也會來的越快，因此有人說pr值的高低等同於搜尋引擎的拜訪速度，是有一定道理，但是目前無實際證據證明這個說法。
來源：http://www.wide.com.twSEO優化∣電子商務∣關鍵字報價∣作品展示∣服務價格∣網頁設計∣印刷設計∣虛擬主機
留言列表
