關于robots.txt無法禁止收錄的一些看法

　　在網站seo優化的過程中常常需要通過一個名為robots.txt的文件與搜索引擎蜘蛛對話。通常來講，搜索引擎蜘蛛爬行到某一個網站就會首先讀取該文件，并按照文件中的規則執行接下來的行為。

　　當一個網站中有一些網站不需要被搜索引擎收錄時，往往就會通過robots.txt來限制搜索引擎蜘蛛對這個網頁的抓取。比如說，當網站出現?replytocom重復收錄，或者某些不需要被收錄并分享權重的頁面等等。從這個方面來講，robots.txt約束了搜索引擎的行為。

　　而實際情況是，網站在robots.txt禁止了蜘蛛對某個類型url網頁的收錄，但在用搜索引擎高級命令site查詢收錄情況是發現，搜索引擎并沒有遵從robots.txt中的規則。大部分時候，搜索引擎確實能按照網站robots.txt中所寫的規則對這些網頁不進行收錄。但搜索引擎視robots.txt中的規則為無物的情況也是確實存在的。

　　當然，也有可能存在網站robots.txt寫法出現錯誤的可能，但此文建立在正確撰寫robots.txt的前提下。

　　有一個很官方的說法是這樣的：網站robots.txt中對某個網頁屏蔽了蜘蛛的收錄，但搜索引擎還是會對該網頁進行抓取，只不過在相關搜索結果中不會展現這些網頁內容。

　　這句話咋一看有些令人費解，但據筆者的看法，還是很有可能的。

　　首先，搜索引擎的發展根本是向搜索用戶展現用戶所需要的、健康的、優質的內容。在收錄并返回相關搜索結果之前，搜索引擎必然要對這些網站進行相應的了解，然后在權衡是否將其收錄并給予如何的排名。

　　打個比方，如果要做一個非法的網站，先假設網站內容沒有被監管部門查到，也不考慮以下這個方法的好壞與否。當然，如果直接采用相關的關鍵詞做網站seo優化，在得到更高曝光率的同時也大大增加了被查封的可能性。更何況這些非法內容也不一定不會被搜索引擎屏蔽。

　　這時，通過大量的健康的內容做網站的seo排名。通過健康的關鍵詞使網站獲得大量流量，然后在這些健康的內容上帶上非法信息的鏈接入口。當然，這樣的鏈接必然要使用網站的robots.txt對搜索引擎蜘蛛進行屏蔽，同時將所有的非法內容頁面也同樣的禁止收錄。

　　難道這樣就能既通過搜索引擎謀利，又避開了搜索引擎的監管嗎?其實不然，上文中說到搜索引擎為了良好的用戶體驗，必然會對已收錄或者將要收錄的網站進行全面的了解(不管現在搜索引擎做的是否完善)。

　　那好，既然搜索引擎要了解網站，又怎么能對robots.txt中屏蔽的頁面視而不見呢?明著對著搜索引擎裝純潔，背地里暗暗的搞一些非法勾當。我想，這種情況搜索引擎不會不考慮到。所以了，即使你的網站robots.txt中明確的對某些頁面禁止蜘蛛的爬行，但搜索引擎總還是要“檢查”一下的。不然又怎么全面的了解網站的優劣呢?

　　好吧，要查看網頁的情況當然先要抓取進入搜索引擎的服務器，再進行判斷了。既然搜索引擎對網站robots.txt中屏蔽的頁面還是進行了抓取并查看，那么，又要如何體現robots.txt的作用呢?

　　那只有將這些頁面進行隱藏，至少不能在普通搜索結果中展現出來。不然，網站robots.txt豈不只成擺設?

　　所以，當發現搜索引擎依舊對網站robots.txt屏蔽的網頁進行收錄時不用過于緊張。搜索引擎只是想要充分的了解網站情況。但必須要確保robots.txt規則正確書寫。一般情況，搜索引擎都會對禁止抓取的網頁進行刪除，或者說是“隱藏”的。

　　由于網站robots.txt屏蔽網頁依舊收錄的情況存在著較大的不確定因素，所以很遺憾筆者無法進行實際的實驗對該情況進行檢測。同時筆者自認為只是剛剛開始學習seo的菜鳥，所以筆者的觀點并不一定正確無誤。筆者衷心希望各位seo優化前輩、達人能給予指點和交流，謝謝。

　　除非特殊注明，本博客文章均為于申原創，版權歸于申blog©所有。

　　原文鏈接地址：http://www.yushenblog.com/talk/509.html，轉載請務必注明出處，謝謝。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈