现在位置: 首页 > robots.txt的写法
2015年08月23日 SEO技术 ⁄ 共 2398字 暂无评论
robots.txt的写法 第一:什么是robots.txt? 这是一个文本文件,是搜索引擎爬行网页要查看的第一个文件,你可以告诉搜索引擎哪些文件可以被查看,哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时,它首先会检查根目录是否存在robots.txt,如果有就确定抓取范围,没有就按链接顺序抓取。 第二:robots.txt有什么用 为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页,比如:后台管理文件、程序脚本、附件...
阅读全文