問題：
百度baiduspider是否支持User-agent:Slurp？
例如：搜搜的設置。
User-agent: Sosospider
Crawl-delay: 5
抓取時間和頻率限制
回答：
您好，這個問題已經得到百度官方人員，LEE的回答：
可以在robots中的crawl-delay中設置，這個參數是baidu spider對網站訪問頻率的重要參考信息之一，但spider系統會根據網站規模、質量、更新頻度等多方面信息綜合計算得出最終的執行壓力，因此并不保證嚴格遵守crawl-delay中的設置值。
程序員人生，我編程，我富裕，記住wfuyu網，php教程，php學習，php手冊，CMS模版制作
聲明：本站大部分內容是作者原創，少部分收集于互聯網供大家一起學習，原版權很多不明，如有侵權請聯系本站，謝謝！
粵ICP備14040726號-1?? 2015-2020 程序員人生 版權所有
