现在的位置: 首页 > SEO技术 > 正文

网站robots.txt写法和解释重要作用

2016年11月17日 SEO技术 ⁄ 共 515字 ⁄ 字号 暂无评论

robots的含义和作用:抓取程序在访问一个网站时,会首先会检查该网站 robots.txt文件,这个文件用于对搜索引擎一个共同约定,让自己不想展示给客户的内容,不被抓取,或吧不利于优化的页面屏蔽掉 由于抓取程序在访问一个网站时,会首先会检查该网站的robots.txt,所以把网站地图写进robots协议书 蜘蛛就会先抓取到你的网站地图,然后就会跟着地图抓取到你的网站内容,使你的内容提高收录

robots内容包含:

User-agent: *号代表全部搜索引擎

User-agent: Baiduspider代表搜索引擎

Disallow: /所有页面不允许收录

Allow: /所有页面允许收录

robots书写格式:首写字母必须大写,所有的符号应该是英文符号,冒号后面应该添加一个空格后再加英文符号“/”

robots路径后面带/和不带/有什么区别?

答:带/主域名下的的,不带/代表是所有的文件。

在robots中加入Sitemap的语法怎么写?

Sitemap:http://主域名/sitemap.xml

自己网站的robots User-agent: *

Disallow:

Sitemap:http://www.faoseo.com/sitemap.xml

给我留言

留言无头像?