现在的位置: 首页 > SEO问答 > 正文

Robots文件对于网站优化的重大意义

2015年11月16日 SEO问答 ⁄ 共 641字 ⁄ 字号 暂无评论

Robots是网站和搜索引擎之间的一个协议,那么他在网站优化中有什么作用呢,说这个咱们需要搞清楚搜索引擎爬虫的原理。当蜘蛛下载一个网页;保存一个txt纯文本,就是那个快照缓存文本。爬虫还会提取一些标记和标签比如a标签。他把站外的链接和内部链接进行分开然后再次抓取。就是这样来连接整个互联网。这个就是一个爬去原理。这就出现了一个问题,如果咱们不想让爬虫爬取,那怎么办呢,于是就出现了一个协议,叫做Robots协议。Robots协议的早期是防止网站内的隐私,防止抓取用户不用想让搜索引擎进行曝光的页面。

Robots协议,他是一个协议不是一个命令,命令是马上要执行的,而协议是在搜索引擎的爬虫爬取后一段时间后才会生效,百度和google声明24小时就会生效,事实上并非如此我观察了一下,有的页面甚至一个月才会生效,我给robots协议生效的时间做了一个总结,那就是24小时到一个月。那么Robots协议到底有什么作用呢。Robots协议用得好,会让我们网站边的更纯净,下面一起来看一下。我了解的只有下面三点!

1.可以屏蔽无内容页面,我内容页面比如说:登陆页,打印页,个人信息页,商城的购物页等等,大家都知道江礼坤无内容页面会影响页面和全站的质量以及权重。

2.可以屏蔽重复页面,比如页面的简写版本以及空评论页,再或者多个路径可以打开同一页面,等等重复页面。重复的页面对于站内页面的质量也是会受到非常严重的影响的。

3.可以屏蔽死链接。当然站内的错误和服务器问题,所造成的死链接是没办法屏蔽的。

给我留言

留言无头像?