robots文件的规范写法

robots文件的规范写法

以下是应届毕业生网为大家整理好的有关SEO网站优化的知识，希望对大家有所帮助！

　　一、概念

　　1、网站和搜索引擎之间的协议文件

　　2、蜘蛛爬行网站的第一个要访问的文件

　　3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

　　二、robots语法

　　1、User-agent 定义搜索引擎类型

　　2、Disallow 定义禁止抓取收录地址

　　3、Allow 定义允许抓取收录地址

　　4、* 匹配0或多个任意字符

　　5、$ 结束符

　　6、% 代表中文路径

　　7、? 代表动态路径

　　8、Sitemap 网站地图

　　三、robots写法举例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的规范写法】相关文章：

监理文件资料的类型-监理文件资料分类03-27

电脑里哪些文件属于垃圾文件05-30

ai文件怎么导出保存为ps文件04-27

编制电梯招标文件03-30

HTML文件的增强标记12-26

Linux文件权限详解05-11

文件隐藏了怎么恢复05-18

监理管理文件的作用12-26

asp文件怎么打开06-09

Log是什么文件01-14