有人问ASP页面和生成的静态页面都被搜索引擎收录了，怎么办?
我给他的建议是用robots屏蔽所有asp文件：
User-agent: *
Disallow: /*.asp
其实还有一种办法是将ASP页面301跳转到静态页面，只不过这种方法见效比较慢。
经过了解之后，知道对方的是用ASP页面直接生成的纯静态的页面。如果使用ASP的301跳转代码加到原来ASP页面上的话，生成静态页面会出错。
于是我想到了，用ASP读取来访用户的HTTP_USER_AGENT，然后根据这个判断如果是蜘蛛的话进行301跳转，如果是正常访客不跳转。这样就解决了生成静态页面不会出错，而蜘蛛爬行动态页面的话会进行301跳转到静态页面。
比如这个例子：
http://www.faoseo.com/show.asp?id=212
http://www.faoseo.com/a/212.html
可以在头部加入如下代码：
