了解“蜘蛛”的習(xí)性做優(yōu)化更給力！

百度搜索引擎中我們廠說的蜘蛛站長們再熟悉不過了，對于百度蜘蛛合肥網(wǎng)絡(luò)公司小編只能說了解的并不很透徹，通過學(xué)習(xí)還是有一些收獲的。

一、常見蜘蛛

蜘蛛就是搜索引擎用來訪問頁面的程序，也成為機(jī)器人。通常在網(wǎng)站IIS日志中就可以看到各種蜘蛛訪問網(wǎng)頁的情況，因此通過網(wǎng)站日志就可以看到蜘蛛來訪的情況。過程是這樣的，當(dāng)蜘蛛回訪一個網(wǎng)站時，就會出頁面訪問請求并返回HTTP狀態(tài)碼，然后蜘蛛會把這些狀態(tài)碼存入自己的數(shù)據(jù)庫，為以后的各種計算做鋪墊。一般互聯(lián)網(wǎng)都有蜘蛛，對于網(wǎng)站日志站長們還是有必要去研究一下的。

二、文件存儲

當(dāng)搜索引擎爬行和抓取完成后，會把數(shù)據(jù)存入原始頁面數(shù)據(jù)庫，這也是搜索引擎的技術(shù)關(guān)鍵所在，文件存儲還會存儲各種計算權(quán)重所需要的數(shù)據(jù)，各種鏈接的關(guān)系，谷歌PR值等等。數(shù)據(jù)量相當(dāng)大，當(dāng)網(wǎng)站不存在時，我們可以訪問搜索引擎的快照頁面，和站長網(wǎng)站本省數(shù)據(jù)沒有關(guān)系。

三、跟蹤鏈接

所謂跟蹤鏈接就是指蜘蛛會順著頁面上的鏈接從一個頁面爬到另一個頁面，蜘蛛就會這樣一直爬下去。一般我們的網(wǎng)站都有很好的內(nèi)鏈，理論上蜘蛛可以爬行所有的頁面，但是現(xiàn)實中網(wǎng)站內(nèi)部的結(jié)構(gòu)是很復(fù)雜的，蜘蛛是不可能把所有的網(wǎng)頁都爬完的。我們在做網(wǎng)站優(yōu)化的時候可以做深度和廣度優(yōu)化，一個是縱向一個是橫向的，這樣蜘蛛才能進(jìn)行完整的爬行。

四、地址庫

這是相對搜索來說一個很重要的內(nèi)容，互聯(lián)網(wǎng)上的頁數(shù)很多，為了避免爬行和抓取重復(fù)的網(wǎng)址，搜索引擎會建立一個地址庫，主要記錄已經(jīng)發(fā)現(xiàn)但是還未被抓取的頁面和已經(jīng)抓取了的頁面。有了地址庫就能讓搜索引擎更有效率的工作。一般來說，地址庫里的URL地址可以通過人工錄入，也可以是自己抓取，還可以通過提交，很多站長都會把網(wǎng)站地址主動提交要被收錄的頁面。但是站長們應(yīng)該明白，主動提交給搜索引擎，蜘蛛并不一定就會收錄你的頁面。

五、吸引蜘蛛

這一點站長們都應(yīng)該比較了解，我們想讓網(wǎng)站有好的排名，我們就只能吸引蜘蛛經(jīng)常來訪你的網(wǎng)站，提高網(wǎng)站的權(quán)重，內(nèi)容更新要有規(guī)律，網(wǎng)站外鏈建設(shè)。這里就不再詳談了。