有人问ASP页面和生成的静态页面都被搜索引擎收录了,怎么办?
我给他的建议是用robots屏蔽所有asp文件:
User-agent: *
Disallow: /*.asp
其实还有一种办法是将ASP页面301跳转到静态页面,只不过这种方法见效比较慢。
经过了解之后,知道对方的是用ASP页面直接生成的纯静态的页面。如果使用ASP的301跳转代码加到原来ASP页面上的话,生成静态页面会出错。
于是我想到了,用ASP读取来访用户的HTTP_USER_AGENT,然后根据这个判断如果是蜘蛛的话进行301跳转,如果是正常访客不跳转。这样就解决了生成静态页面不会出错,而蜘蛛爬行动态页面的话会进行301跳转到静态页面。
比如这个例子:
http://www.faoseo.com/show.asp?id=212
http://www.faoseo.com/a/212.html
可以在头部加入如下代码: