通過robots.txt限制搜索引擎抓取壓力和速度

大家都知道谷歌站長管理員工具提供了搜索引擎抓取壓力管理工具，站長可以在后臺自行調整抓取速度，現在百度站長平臺也提供了這款工具，但是有的同學還是想通過robots.txt來控制，那么如何實現？請看權威人士的寫法：

User-agent:Baiduspider
  Visit-time:0855-1700
說明:指定每天允許百度蜘蛛采集的時間段，格式為mmss-mmss，例如0855-1700

User-agent:Baiduspider
  Request-rate:1/5 0900-1045
說明：限制百度蜘蛛在允許的時間段內(0900-1045)隔多少秒采集一次網頁，例如1/5 0900-1045。

User-agent:Baiduspider
  Crawl-delay:3600
說明:限制百度蜘蛛兩次抓取的間隔時間，單位為秒。建議在蜘蛛的抓取頻率過高時，可以制定蜘蛛抓取時間間隔，來降低服務器的負擔,減少流量的不必要流失。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈