现在位置: 首页 > 网站robots协议文件格式
2016年10月21日 SEO技术 ⁄ 共 462字 暂无评论
User-agent: * Disallow: /*?* Disallow:/article-3-16.html Disallow:/article-3-67.html Disallow:/article-1-55.html robots协议就是告诉搜索引擎,哪些页面可以访问哪些不可以访问,User-agent代表的是搜索引擎,当后面跟着*就代表所有的搜索引擎都是可以抓取的,当后面跟着百度的呢,那么就是只抓取百度的! Disallow的意思就是不允许抓取的意思!当有些页面不想百度抓取,那么就用这个标签禁止搜索引擎抓取!Disallow后面跟...
阅读全文