现在位置: 首页 > 网站robots.txt写法和解释重要作用
2016年11月17日 SEO技术 ⁄ 共 515字 暂无评论
robots的含义和作用:抓取程序在访问一个网站时,会首先会检查该网站 robots.txt文件,这个文件用于对搜索引擎一个共同约定,让自己不想展示给客户的内容,不被抓取,或吧不利于优化的页面屏蔽掉 由于抓取程序在访问一个网站时,会首先会检查该网站的robots.txt,所以把网站地图写进robots协议书 蜘蛛就会先抓取到你的网站地图,然后就会跟着地图抓取到你的网站内容,使你的内容提高收录 robots内容包含: User-agent: *号代表...
阅读全文