我們查看IIS日志的時候會看到百度蜘蛛:Baiduspider+(+http://www.baidu.com/search/spider.htm)來爬行我們的網頁,但是我們怎么判斷爬行我們網站的是不是真正的百度蜘蛛呢。如果你用的是Windows操作系統那么可以用Windows自帶的命令行命令tracert來判斷是否只真正的百度蜘蛛。
查看Baiduspider的IP,然后點擊開始運行,輸入cmd,打開命令行,然后輸入tracert 123.125.71.98,這里123.125.71.98代表網站日志里的Baiduspider的IP,那么可以看到如下的內容:
如果里面有crawl.baidu.com的內容,那么說明就是真正的百度蜘蛛,如假包換。
上面這個截圖里面含有ad,(baiduspider-ad-123-125-71-98.crawl.baidu.com [123.125.71.98]),那么應該是百度聯盟的蜘蛛用來抓取頁面里的內容以便匹配廣告用的。