现在位置: 首页 > IIS日志分析
2015年09月20日 SEO入门, SEO技术 ⁄ 共 3780字 暂无评论
IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。 一、各大搜索引擎的蜘蛛名称: 百度(Baidu)爬虫名称(Baiduspider) 谷歌(Google)爬虫名称(Googlebot) 雅虎(Yahoo)爬虫名称(Yahoo Slurp) 有道(Yodao)蜘蛛名称(YodaoBot) 搜狗(sogou)蜘蛛名称(sogou spider) MSN的蜘蛛名称:msnbot 二、II...
阅读全文