僅當您的網(wǎng)站里面含有不期望被搜索引擎網(wǎng)站收錄的內(nèi)部實質(zhì)意義時，才需求運用robots.txt文件。假如您期望搜索引擎網(wǎng)站收錄網(wǎng)站上全部內(nèi)部實質(zhì)意義，請勿樹立robots.txt文件。
查緝該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開創(chuàng)一個robots.txt，在文件中聲明 該網(wǎng)站中沒想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴禁全部搜索引擎網(wǎng)站過訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準許全部的robot過訪 (還是也可以建一個具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴禁Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準許Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴禁spider過訪特別指定目次 在這個例子中，該網(wǎng)站有三個目次對搜索引擎網(wǎng)站的過訪做了限止，即robot不會過訪這三個目次。需求注意的是對每一個目次務必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運用"*"限止過訪url 嚴禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運用"$"限止過訪url 僅準許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴禁過訪網(wǎng)站中全部的動態(tài)頁面User-agent:* Disallow:/*?*
例11.嚴禁Baiduspider抓取網(wǎng)站上全部圖片 僅準許抓取網(wǎng)頁，嚴禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準許Baiduspider抓取網(wǎng)頁和.gif款式圖片 準許抓取網(wǎng)頁和gif款式圖片，不準許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
查緝該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開創(chuàng)一個robots.txt，在文件中聲明 該網(wǎng)站中沒想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴禁全部搜索引擎網(wǎng)站過訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準許全部的robot過訪 (還是也可以建一個具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴禁Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準許Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴禁spider過訪特別指定目次 在這個例子中，該網(wǎng)站有三個目次對搜索引擎網(wǎng)站的過訪做了限止，即robot不會過訪這三個目次。需求注意的是對每一個目次務必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運用"*"限止過訪url 嚴禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運用"$"限止過訪url 僅準許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴禁過訪網(wǎng)站中全部的動態(tài)頁面User-agent:* Disallow:/*?*
例11.嚴禁Baiduspider抓取網(wǎng)站上全部圖片 僅準許抓取網(wǎng)頁，嚴禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準許Baiduspider抓取網(wǎng)頁和.gif款式圖片 準許抓取網(wǎng)頁和gif款式圖片，不準許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
