robots文件的規范寫法

以下是應屆畢業生網為大家整理好的有關SEO網站優化的知識，希望對大家有所幫助！

　　一、概念

　　1、網站和搜索引擎之間的協議文件

　　2、蜘蛛爬行網站的第一個要訪問的文件

　　3、屏蔽內容：不想被抓取的隱私內容,后臺、數據庫文件、模板、插件文件...或者做了偽靜態就屏蔽動態路徑

　　二、robots語法

　　1、User-agent 定義搜索引擎類型

　　2、Disallow 定義禁止抓取收錄地址

　　3、Allow 定義允許抓取收錄地址

　　4、* 匹配0或多個任意字符

　　5、$ 結束符

　　6、% 代表中文路徑

　　7、? 代表動態路徑

　　8、Sitemap 網站地圖

　　三、robots寫法舉例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的規范寫法】相關文章：

淺談進一步了解對robots文件的認識06-27

用Excel指定打開的文件夾的文件10-24

什么是DOS文件08-04

ai文件怎么導出保存為ps文件08-23

怎樣把dwg文件批量轉換為pdf文件08-15

如何將excel文件轉換成pdf文件07-22

編制電梯招標文件09-27

怎么打開sql文件07-29

word文件的轉換方法08-09

如何給word文件加密08-23