如何從廣度和深度喂飽蜘蛛

昨天在“搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式分為廣度和深度，但是沒(méi)有詳細(xì)的介紹，今天合肥網(wǎng)絡(luò)公司小編就跟大家解析一下蜘蛛廣度和深度的工作方法。

搜索引擎蜘蛛工作都是深度開始，蜘蛛找到一個(gè)鏈接之后，就會(huì)沿著這個(gè)鏈接向下一個(gè)鏈接前進(jìn)；從一個(gè)頁(yè)面開始這樣重復(fù)著工作，但不是重復(fù)爬同一個(gè)頁(yè)面。當(dāng)蜘蛛爬到無(wú)路可走的時(shí)候，才返回爬另一條路。

蜘蛛的廣度工作比較有規(guī)律，用字母表示頁(yè)面，就可以很形象的表示為蜘蛛從頁(yè)面A爬到a1、a2、a3、a4，如果a4頁(yè)面之后就沒(méi)有其他鏈接了。然后從另一個(gè)鏈接爬到另外b1、b2、b3、b4頁(yè)面。

如果蜘蛛以廣度優(yōu)先，那么蜘蛛就能在一個(gè)頁(yè)面發(fā)現(xiàn)很多個(gè)鏈接，這種爬行是沒(méi)有規(guī)律的爬行。按照網(wǎng)站的層次來(lái)爬，第一層爬取完了之后，再爬取第二層頁(yè)面，以此類推。用字母表示的話就是從A頁(yè)面爬到A1、B1、C1、D1頁(yè)面，爬完之后再繼續(xù)到第二個(gè)層次，A1爬完爬A2，A2爬完爬A3。

合肥網(wǎng)絡(luò)公司認(rèn)為，不管是廣度還是深度，蜘蛛都會(huì)爬完整個(gè)網(wǎng)絡(luò)，當(dāng)然也不可能每個(gè)頁(yè)面都能爬取到，所以我們才會(huì)有網(wǎng)站收錄不一樣的情況。如何喂飽蜘蛛，那就要讓蜘蛛在網(wǎng)站中舍不得出來(lái)，網(wǎng)站內(nèi)鏈和外鏈都要做到盡善盡美。