现在的位置: 首页 > SEO技术 > 正文

厦门SEO:网站robots协议文件格式

2016年10月21日 SEO技术 ⁄ 共 462字 ⁄ 字号 暂无评论

User-agent: *

Disallow: /*?*

Disallow:/article-3-16.html

Disallow:/article-3-67.html

Disallow:/article-1-55.html

robots协议就是告诉搜索引擎,哪些页面可以访问哪些不可以访问,User-agent代表的是搜索引擎,当后面跟着*就代表所有的搜索引擎都是可以抓取的,当后面跟着百度的呢,那么就是只抓取百度的!

Disallow的意思就是不允许抓取的意思!当有些页面不想百度抓取,那么就用这个标签禁止搜索引擎抓取!Disallow后面跟着的就是一些页面的后缀,只有完全包含的时候才能禁止!例如:Disallow:/a/ Disallow:/a那么这个就不能被禁止,Disallow:/a/a 这样的就是能被禁止访问的。禁止的规则自己定义,根据需要自己屏蔽,一般情况搜索引擎都会按照协议来办事,同时Allow 的意思是能被访问,我如果想让蜘蛛每次必须到哪个页面,我们可以使用Allow这个标签!

注意:
robots里面的标签首字母一定是大写

给我留言

留言无头像?