我在利用robots.txt文件优化一例一文提到了使用robots.txt对网站重复内容进行屏蔽,让蜘蛛不爬行。现在来看一天就出现了效果。排列三预测 这个词昨天在百度还搜索不到呢,(曾经排在第一页),今天发现排列三预测这个词已经排在百度的第五页了。在使用robots.txt的同时,我也仔细检查了下网站对于/aurl这个URL进行了查找并修改了任何可能指向这个域名的网页。现在一切OK了。说利用明robots.txt过滤重复网页的优化方法还是可行的。
最近网站总被攻击流量有所影响,等过阵子稳定后,如法炮制在整理一下其他的词上去。
对网站遭受的攻击今天想到了一个方法,现在我一直再盯着服务器观察方法可行性,改天再上来写日志总结下。