百度搜索引擎robots.txt文件說明與用法示例

1. 什么是robots.txt文件?
   搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
   
   請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。
2. robots.txt文件放在哪里?
   robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個網(wǎng)站（比如http://www.abc.com）時，首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
   
   

   網(wǎng)站 URL	相應(yīng)的 robots.txt的 URL
   http://www.w3.org/	http://www.w3.org/robots.txt
   http://www.w3.org:80/	http://www.w3.org:80/robots.txt
   http://www.w3.org:1234/	http://www.w3.org:1234/robots.txt
   http://w3.org/	http://w3.org/robots.txt

3. 我在robots.txt中設(shè)置了禁止百度收錄我網(wǎng)站的內(nèi)容，為何還出現(xiàn)在百度搜索結(jié)果中？
   生活不易，碼農(nóng)辛苦
   如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈
   
   ------分隔線----------------------------

   上一篇 除了廣告聯(lián)盟 草根站長尚能賺錢的四種方法

   下一篇 PHPWIND 7.5 門戶自定義模塊教程

   分享到:
   ------分隔線----------------------------