關于Baidu spider抓取失敗對流量的影響

　　首先說明，spider的抓取失敗分為兩種：百度自身系統問題、外界站長問題。

　　這里主要是和各位站長的交流，所以著重說下“外界站長問題”導致的抓取失敗，并且影響到站點從百度獲得的流量問題。

　　目前百度spider 系統中能夠統計到的失敗分為幾種：

　　1， UA/IP封禁

　　對于百度的ua 或者IP 進行封禁，會導致百度不能成功抓取您的站點，從而不能成功抓取新網頁，以及將之前已經抓到的頁面判定為死鏈，并會進行清理，這樣最終導致站點獲得的流量減少。此外，還會有一些冒充百度spider的抓取和采集，可以使用DNS反查方式來確定抓取來源的ip是否屬于百度，防止誤封禁。

　　參考資料：Baiduspider常見問題解答 http://www.baidu.com/search/spider_chinese.html

　　2， 壓力過大的偶然封禁

　　首先，我們會根據站點的規模，訪問量等信息，建立一個合理的站點抓取壓力。但是會有一些例外，在壓力控制不好的情況下，服務器會根據自身負荷進行保護性的偶然封禁，對于這樣的情況，如果壓力過大，請在返回碼中盡量不要使用404，建議返回503(其含義是“Service Unavailable”)。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了。

　　3， 站點服務不穩定&更換服務

　　盡量的保證您的網站穩定，如果需要暫時換服務，需要暫時讓舊服務能夠使用一段時間，并且做301 跳轉，盡量減少改版帶來的流量損失。雖然百度spider現在對301跳轉的響應周期較長，但我們還是推薦大家這么做。

　　除了以上介紹的典型封禁，還有一些其他非典型的，比如：refer、ua作弊、js等，這些封禁都會導致百度失敗，從而把已經抓到的頁面進行刪除，或者不能成功抓取新頁面，這樣會直接影響到網站的流量。

　　最后，希望站長盡量保持站點的穩定，對于暫時不想被百度抓取的頁面，使用正確的返回碼告知百度，如果確實不想被百度抓取或者索引，可以寫robots信息告知。

　　此外，我們也會盡最大可能去抓取所有正常站點的內容，并且做好對站點壓力的控制。

　　來源：百度站長俱樂部　作者：LEE

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈