robots文件的规范写法

robots文件的规范写法

以下是应届毕业生网为大家整理好的有关SEO网站优化的知识，希望对大家有所帮助！

　　一、概念

　　1、网站和搜索引擎之间的协议文件

　　2、蜘蛛爬行网站的第一个要访问的文件

　　3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

　　二、robots语法

　　1、User-agent 定义搜索引擎类型

　　2、Disallow 定义禁止抓取收录地址

　　3、Allow 定义允许抓取收录地址

　　4、* 匹配0或多个任意字符

　　5、$ 结束符

　　6、% 代表中文路径

　　7、? 代表动态路径

　　8、Sitemap 网站地图

　　三、robots写法举例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的规范写法】相关文章：

浅谈进一步了解对robots文件的认识03-22

证券部门规章及规范性文件05-12

悼词的写法04-19

监理文件资料的类型-监理文件资料分类03-27

什么是DOS文件03-20

HTML文件的增强标记12-26

ISO文件怎么安装01-12

hosts文件位置在哪03-14

隐藏电脑文件的方法03-19