14 五 09 利用robots.txt文件优化一例

手上有一个站 排列三预测 这个词几天前还排在第一页，但是今天看百度发现掉了下来，仔细检查了一下原来是URL命名问题，因为以前使用RWRITE规则问题生成了两个页面一个/aurl和/aurl.html 后来一直使用后者排名也挺好的，但搜索引擎把这两个都搜录了，想了一个办法用robots.txt让蜘蛛不搜索/aurl这个页

下面是具体操作非常简单：

User-agent: *
Disallow:/aurl

现在的问题是蜘蛛会不会把它当成一个目录还不是一个网页进行屏蔽呢？过些日子看效果吧。