搜狗 spider 抓取網站問題解答大全

　　Q. 什么是 sogou spider?

　　sogou spider是搜狗搜索引擎的一個自動程序。它的作用是訪問互聯網上的網頁，存儲到本地數據庫中，并從中發現新的鏈接，走訪互聯網，使用戶能在搜狗搜索引擎中搜索到您網站的網頁。

　　Q. sogou spider 訪問我的網站過快怎么辦?

　　sogou spider 對于同一個 IP 地址的服務器主機，只建立一個連接，抓取間隔速度控制在幾秒一次。一個網頁被收錄后，最快也要過幾天以后才會去更新。如果持續不斷地抓取您的網站，請注意您的網站上的網頁是否每次訪問都產生新的鏈接。如果您認為 sogou spider 對于您的網站抓取過快，請與我們聯系，最好能提供訪問日志中 sogou spider 訪問的部分。聯系郵箱是

　　Q. sogou spider 喜歡收錄什么樣的頁面?

　　1. 內容優良而獨特的頁面，如果您的頁面內容和互聯網上已存在的其他頁面有高度的相似性，可能不會被 sogou spider 收錄。

　　2. 鏈接層次較淺的頁面，過深的鏈接層次，尤其是動態網頁的鏈接，會被丟棄而不收錄。

　　3. 如果是動態網頁，請控制一下參數的數量和URL的長度。搜狗更偏好收錄靜態網頁。

　　4. 重定向次數越多的頁面，越有可能被 sogou spider 丟棄。

　　Q. sogou spider 如何反應我網站上頁面的更新?

　　sogou spider 根據網頁的重要性和歷史變化情況來動態調整更新時間，更新已經抓取過的頁面。

　　Q. 如何 sogou spider 不抓我的網站?

　　sogou spider 支持 robots 協議，您可以在網站的根目錄放置 robots.txt。

　　robots.txt 的規則請參閱 http://www.robotstxt.org/。

　　但是新更新的 robots.txt 可能得過幾個星期才能體現出效果來。

　　需要注意的是，被您禁止 sogou spider 收錄的網頁將不能在搜狗搜索引擎上檢索到。

　　Q. sogou spider 會封鎖那些網站?

　　A. 作弊網站

　　B. 內容低劣的網站

　　C. 違反國家政策和法律的網站。

　　Q. 如何讓 sogou spider 解除對我網站的封鎖?

　　在您的網站的問題改正之后，請與我們聯系(聯系郵箱是)。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈