我們都知道做網(wǎng)絡(luò)推廣的最終目的是為了帶來流量、排名和訂單，那么至關(guān)重要的前提是，搜索引擎能對你的網(wǎng)站和文章進(jìn)行很好的收錄。然而，當(dāng)面對收錄效果差的時(shí)候，很多伙伴并不知道是為什么，很大程度上是因?yàn)椴惶私庖粋€(gè)關(guān)鍵所在——搜索引擎蜘蛛。

一、什么是搜索引擎蜘蛛？

搜索引擎是如何通過蜘蛛對網(wǎng)站進(jìn)行收錄和排名的呢?如何才能提升蜘蛛爬取效果呢?

確實(shí)如同白話理解的一般，互聯(lián)網(wǎng)可以理解成一張巨大的“蜘蛛網(wǎng)”，搜索引擎蜘蛛是類似實(shí)質(zhì)的“機(jī)器人”。

蜘蛛的主要任務(wù)就是在巨大的蜘蛛網(wǎng)(互聯(lián)網(wǎng))中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務(wù)器上，建立索引庫。就好比機(jī)器人瀏覽我們的網(wǎng)站，然后把內(nèi)容保存到自己的電腦上。

每家獨(dú)立的搜索引擎都會(huì)有自己的網(wǎng)頁抓取程序爬蟲。蜘蛛爬蟲順著網(wǎng)頁中的超鏈接分析連續(xù)訪問抓去更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。毋庸置疑，搜索引擎蜘蛛抓取網(wǎng)頁是有一定規(guī)律的。

如下：

1.權(quán)重優(yōu)先：先參照鏈接的權(quán)重，再綜合深度優(yōu)先和寬度優(yōu)先策略抓取。打個(gè)比方，如果這條鏈接的權(quán)重還不錯(cuò)，就采用深度優(yōu)先;如果權(quán)重很低，則采用寬度優(yōu)先。

2.蜘蛛深度抓?。?/strong>指蜘蛛發(fā)現(xiàn)一個(gè)鏈接進(jìn)行爬行的過程中，一直向前，直到最深層級(jí)不可再爬行為止，然后返回最初爬行頁面，再進(jìn)行下一個(gè)鏈接爬行。就好比從網(wǎng)站的首頁，爬行到網(wǎng)站的第一個(gè)欄目頁，再通過欄目頁爬行一個(gè)內(nèi)容頁，然后跳出首頁，對第二個(gè)網(wǎng)站進(jìn)行爬行。

3.蜘蛛廣度抓?。?/strong>指蜘蛛爬行一個(gè)頁面時(shí)，存在多個(gè)鏈接，并非對一個(gè)鏈接進(jìn)行深入抓取，例如：蜘蛛進(jìn)入網(wǎng)站首頁后，對所有欄目頁進(jìn)行有效爬行，再對所有欄目頁下的二級(jí)欄目或者內(nèi)容頁進(jìn)行爬行，也就是一層層的爬行方式，不是一個(gè)個(gè)的爬行方式。

4.重訪抓?。?/strong>這個(gè)就可以直接從字面上理解。因?yàn)樗阉饕媸褂脝蝹€(gè)重訪與全部重訪結(jié)合的居多。所以我們做網(wǎng)站內(nèi)容要記得定期維護(hù)日常更新，讓蜘蛛多來訪多抓取才能收錄快。

二、搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛來抓取頁面

搜索引擎的工作過程大體可以分成三個(gè)階段：

(1)爬行和抓取：搜索引擎蜘蛛通過跟蹤鏈接發(fā)現(xiàn)和訪問頁面，讀取頁面HTML代碼，存到數(shù)據(jù)庫。

(2)預(yù)處理：索引程序?qū)ψト淼捻撁鏀?shù)據(jù)進(jìn)行文字提取、中文分詞、索引、倒排索引等處理，以備排名程序調(diào)用。

(3)排名：用戶輸入查詢詞(關(guān)鍵詞)后，排名程序調(diào)用索引數(shù)據(jù)，計(jì)算相關(guān)性，然后按一定格式生成搜索結(jié)果頁面。

搜索引擎的工作原理爬行和抓取是搜索引擎工作的第一步，完成數(shù)據(jù)收集的任務(wù)。搜索引擎用來抓取頁面的程序被稱為蜘蛛(spider)

一個(gè)合格的SEOer，要想讓自己的更多頁面被收錄，就要想法設(shè)法吸引蜘蛛來抓取。

蜘蛛抓取頁面有幾方面因素：

(1)網(wǎng)站和頁面的權(quán)重，質(zhì)量高、時(shí)間長的網(wǎng)站一般被認(rèn)為權(quán)重比較高，爬行深度也會(huì)比較高，被收錄的頁面也會(huì)更多。

(2)頁面的更新頻率，蜘蛛每次爬行都會(huì)把頁面數(shù)據(jù)儲(chǔ)存起來，如果第二次，第三次的抓取和第一次的一樣，說明沒有更新，久而久之，蜘蛛也就沒有必要經(jīng)常抓取你的頁面啦。如果內(nèi)容經(jīng)常更新，蜘蛛就會(huì)頻繁訪問頁面，來抓取新的頁面。

(3)導(dǎo)入鏈接，不管是內(nèi)部鏈接還是外部鏈接，要想被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁面，否則蜘蛛就不會(huì)知道頁面的存在。

(4)與首頁的點(diǎn)擊距離，一般網(wǎng)站上權(quán)重最高的是首頁，大部分外部鏈接都會(huì)指向首頁，那么蜘蛛訪問最頻繁的頁面就是首頁，離首頁點(diǎn)擊距離越近，頁面權(quán)重越高，被爬行的機(jī)會(huì)越大。

吸引百度蜘蛛如何吸引蜘蛛來抓取我們的頁面?

堅(jiān)持有頻率的更新網(wǎng)站內(nèi)容，最好是高質(zhì)量的原創(chuàng)內(nèi)容。

主動(dòng)向搜索引擎提供我們的新頁面，讓蜘蛛更快的發(fā)現(xiàn)，如百度的鏈接提交、抓取診斷等。

搭建外部鏈接，可以和相關(guān)的網(wǎng)站做友情鏈接交換，可以去別的平臺(tái)發(fā)布高質(zhì)量的文章指向自己的頁面，內(nèi)容要相關(guān)。

制作網(wǎng)站地圖，每個(gè)網(wǎng)站都應(yīng)該有一個(gè)sitemap，網(wǎng)站所有的頁面都在sitemap中，方便蜘蛛抓取。

三、搜索引擎蜘蛛SPIDER不能順利爬行的原因分析

1.服務(wù)器連接異常

服務(wù)器連接異常會(huì)有兩種情況：一種是站點(diǎn)不穩(wěn)定，Baidu spider嘗試連接您網(wǎng)站的服務(wù)器時(shí)出現(xiàn)暫時(shí)無法連接的情況；一種是Baidu spider一直無法連接上您網(wǎng)站的服務(wù)器。

造成服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器過大，超負(fù)荷運(yùn)轉(zhuǎn)。也有可能是您的網(wǎng)站運(yùn)行不正常，請檢查網(wǎng)站的web服務(wù)器（如apache、iis）是否安裝且正常運(yùn)行，并使用瀏覽器檢查主要頁面能否正常訪問。您的網(wǎng)站和主機(jī)還可能阻止了Baidu spider的訪問，您需要檢查網(wǎng)站和主機(jī)的防火墻。

2.網(wǎng)絡(luò)運(yùn)營商異常

網(wǎng)絡(luò)運(yùn)營商分電信和聯(lián)通兩種，Baidu spider通過電信或網(wǎng)通無法訪問您的網(wǎng)站。如果出現(xiàn)這種情況，您需要與網(wǎng)絡(luò)服務(wù)運(yùn)營商進(jìn)行聯(lián)系，或者購買擁有雙線服務(wù)的空間或者購買cdn服務(wù)。

3.DNS異常

當(dāng)Baidu spider無法解析您網(wǎng)站的IP時(shí)，會(huì)出現(xiàn)DNS異常?？赡苁悄木W(wǎng)站IP地址錯(cuò)誤，或者域名服務(wù)商把Baidu spider封禁。請使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯(lián)系，更新您的IP地址。

4.IP封禁

IP封禁為：限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問，在這里特指封禁了Baidu spiderIP。當(dāng)您的網(wǎng)站不希望Baidu spider訪問時(shí)，才需要該設(shè)置，如果您希望Baidu spider訪問您的網(wǎng)站，請檢查相關(guān)設(shè)置中是否誤添加了Baidu spiderIP。也有可能是您網(wǎng)站所在的空間服務(wù)商把百度IP進(jìn)行了封禁，這時(shí)您需要聯(lián)系服務(wù)商更改設(shè)置。

5.UA封禁

UA即為用戶代理（User-Agent），服務(wù)器通過UA識(shí)別訪問者的身份。當(dāng)網(wǎng)站針對指定UA的訪問，返回異常頁面（如402，500）或跳轉(zhuǎn)到其他頁面的情況，即為UA封禁。當(dāng)您的網(wǎng)站不希望Baidu spider訪問時(shí)，才需要該設(shè)置，如果您希望Baidu spider訪問您的網(wǎng)站，useragent相關(guān)的設(shè)置中是否有Baidu spider UA，并及時(shí)修改。

6.死鏈

頁面已經(jīng)無效，無法對用戶提供任何有價(jià)值信息的頁面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。協(xié)議死鏈，頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、402、502狀態(tài)等；內(nèi)容死鏈，服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。

對于死鏈，我們建議站點(diǎn)使用協(xié)議死鏈，并通過百度站長平臺(tái)--死鏈工具向百度提交，以便百度更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎造成的負(fù)面影響。

7.異常跳轉(zhuǎn)

將網(wǎng)絡(luò)請求重新指向其他位置即為跳轉(zhuǎn)，異常跳轉(zhuǎn)指的是以下幾種情況。

1.當(dāng)前該頁面為無效頁面（內(nèi)容已刪除、死鏈等），直接跳轉(zhuǎn)到前一目錄或者首頁，百度建議站長將該無效頁面的入口超鏈接刪除掉。

2.跳轉(zhuǎn)到出錯(cuò)或者無效頁面。

tips：對于長時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，百度建議使用201跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

8.其他異常

1.針對百度refer的異常：網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。

2.針對百度ua的異常：網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。

3.JS跳轉(zhuǎn)異常：網(wǎng)頁加載了百度無法識(shí)別的JS跳轉(zhuǎn)代碼，使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。

4.壓力過大引起的偶然封禁：百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問量等信息，自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請?jiān)诜祷卮a中返回502(其含義是“Service Unavailable”)，這樣Baidu spider會(huì)過段時(shí)間再來嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì)被成功抓取。

四、利用蜘蛛池使新網(wǎng)站盡快被收錄

依據(jù)很多年搜索引擎營銷推廣的工作經(jīng)驗(yàn)，當(dāng)新站連接搜索引擎的情況下都是進(jìn)到沙盒期，有的新站可以被搜索引擎收益迅速，短周期擺脫沙盒期，其關(guān)鍵的緣故包含以下要素：

1、技術(shù)性配備

我們知道搜索引擎的收錄越來越方便快捷，一般人們必須把網(wǎng)站標(biāo)準(zhǔn)化為SEO。從技術(shù)性的視角，你將會(huì)必須：

①高度重視網(wǎng)頁頁面客戶體驗(yàn)，它包含視覺效果感受及其網(wǎng)頁頁面的載入速率。

②創(chuàng)建sitemap，依照網(wǎng)頁頁面優(yōu)先，合理流動(dòng)有關(guān)URL。

③配備百度熊掌號(hào)ID，可快速提交高質(zhì)量的URL到百度搜索官方網(wǎng)站。

所述內(nèi)容，針對新站來講，是一個(gè)必需的規(guī)范化配備。

利用蜘蛛池加速新的網(wǎng)站收錄

2、網(wǎng)頁頁面品質(zhì)

對于搜索引擎收錄來說，網(wǎng)頁質(zhì)量是首要的考核標(biāo)準(zhǔn)，理論上，他是由幾個(gè)層次組成的，對于這些新站收入相對較快的網(wǎng)站來說，除了要做百度網(wǎng)址提交之外，他們還重點(diǎn)關(guān)注以下方面：

①時(shí)事性內(nèi)容

對于新站來說，假如你想讓搜索引擎收錄速度越來越快，經(jīng)過了人們多年的具體檢驗(yàn)，人們發(fā)現(xiàn)：制造業(yè)的熱門新聞更容易快速收錄。

他的及時(shí)搜索關(guān)鍵詞量將會(huì)很高，也可能是相對性一般，但這一并并不是根本性要素。

②專題性內(nèi)容

站在專業(yè)權(quán)威的角度，建立一個(gè)網(wǎng)站內(nèi)部的小專題講座，能最大限度地與某一制造行業(yè)進(jìn)行探討，最重要的是相關(guān)內(nèi)容，它一般是多層次的有機(jī)化學(xué)成分。

例如：來自于KOL的看法，制造行業(yè)組織權(quán)威專家的很多年小結(jié)，及其社會(huì)發(fā)展科學(xué)研究團(tuán)隊(duì)的有關(guān)數(shù)據(jù)信息適用等。

③多樣化內(nèi)容

對于網(wǎng)頁的多樣化，它通常由多媒體系統(tǒng)元素組成，如：小視頻、數(shù)據(jù)圖表、高清圖片等，這些都是視頻的干預(yù)，看起來很重要。

利用蜘蛛池加速新的網(wǎng)站收錄

3、外界資源

對于搜索引擎收錄，人們這里所指的外部資源，一般還是指外部鏈接，假如你發(fā)現(xiàn)一個(gè)新站前期發(fā)布，其收錄和排名都會(huì)迅速上升，甚至是垂直型、折線型的指數(shù)值圖，那么起關(guān)鍵作用的要素就是外部鏈接。

這兒并不一定徹底根據(jù)高質(zhì)量外鏈，它有的情況下還在于總數(shù)，而人們一般提議是挑選前面一種。

4、站群引流方法

站群，即一個(gè)人或一個(gè)團(tuán)體實(shí)際操作好幾個(gè)網(wǎng)址，目地是根據(jù)搜索引擎得到很多總流量，或是是將連接偏向同一個(gè)網(wǎng)址，以提升自然排名。在2005-2012年中國一些從業(yè)SEO的工作人員明確提出了站群的定義：好幾個(gè)單獨(dú)網(wǎng)站域名（含二級(jí)域）的網(wǎng)址統(tǒng)一管理方法、相互之間關(guān)系。2008年剛開始，站群軟件開發(fā)者開發(fā)設(shè)計(jì)出一種更便于實(shí)際操作的網(wǎng)址收集方式，即根據(jù)關(guān)鍵字開展全自動(dòng)收集網(wǎng)站內(nèi)容，在這以前的收集方式均為撰寫標(biāo)準(zhǔn)方法。

5、蜘蛛池引流方法

蜘蛛池便是一堆由網(wǎng)站域名構(gòu)成的站群，在每一個(gè)網(wǎng)站下都轉(zhuǎn)化成大量網(wǎng)頁頁面（抓一堆文字內(nèi)容互相組成），頁面設(shè)計(jì)與一切正常網(wǎng)頁頁面沒多少差別。因?yàn)槊恳粋€(gè)網(wǎng)站都是有大量的網(wǎng)頁頁面，因此全部站群的搜索引擎蜘蛛總爬取量也是極大的。給未收錄的網(wǎng)頁頁面引搜索引擎蜘蛛，便是在站群一切正常網(wǎng)頁頁面的模版中獨(dú)立開一個(gè)DIV，塞外未收錄網(wǎng)頁頁面的連接，網(wǎng)絡(luò)服務(wù)器不設(shè)緩存文件，搜索引擎蜘蛛每一次瀏覽，這方面DIV中呈現(xiàn)的連接全是不一樣的。簡言之，蜘蛛池實(shí)際上便是給這些未收錄的網(wǎng)頁頁面，在短期內(nèi)內(nèi)出示很多的真正的外部鏈接，通道曝出多了，被爬取概率就大，收錄率當(dāng)然也就上來了，又由于是外部鏈接，因此在排行上也是有一定的順向大大加分。