唠叨一通两地的机房情况，切入正题。

自从我把机器搬回沈阳后，就发现原先在谷歌网站管理员中的站点地图提交出现了错误提示：

登录FTP查看sitemap.xml这个文件存在啊，然后打开看了下格式也正确啊，最近根本没有改动过。会不会因为换IP的原因？

在站点管理员工具-获取帮助-Sitemap错误http://www.google.com/support/webmasters/bin/answer.py?answer=83045&hl=zh-CN中开始逐条查找原因。

1、网站地图文件确实存在，所以不可能是404错误

2、网站没有设置任何身份验证

3、DNS服务器问题？我所有域名都在新网注册，并且都能正常访问，测试新网域名服务器也都正常，因此排除此问题

4、IP段曾经被封过？怀疑中……

我又加进新的站点进行验证，结果验证也不能通过，提示“访问超时”，关于“访问超时”这个错误，同样在“控制台-抓取错误”中也有提示，主要是robots.tx文件。开始以为是谷歌挑文件扩展名，当把.txt文件去掉后，还是有“访问超时”的文件出现。

根据以前的经验，和网上搜索结果来看，大部分提到了服务器配置问题，但是服务器除了更换IP外没有重做系统，最后问题集中得到了存放服务器的机柜上，为了网络安全，机柜有一台防火墙和抗拒绝设备，初步认定是防火墙或者是抗拒绝引起的。

远程进入防火墙查看日志，并没有任何阻挡谷歌IP访问的记录，同样在抗拒绝上也没有找到相关记录。难道是防火墙设置问题？远程更改防火墙设置，最后甚至把机器完全暴露在公网下，但问题应然存在。只有改天去机房进行操作了。

这期间查阅了大量资料，主要是在谷歌论坛的网站管理员讨论区查找，头一阵子谷歌员工挺热心的和站长见互动，但是最近看到大部分回帖解答问题的都是站长自己，这也没什么不好，但是回帖解答的反正是我这个问题没有给出让我满意的答案。搜索一下历史贴子，谷歌员工的解答：请联系服务器托管商进行解决，看看是不是服务器设置问题。

另一个比较详细的帖子给出了具体检测方法：

“

liuyutian 你好

从你贴出来的这些错误提示，看上去Google在访问你的网站时遇到了一系列服务器方的错误。我用wget，以Googlebot作为user-agent尝试访问你的网站，得到了下面的提示：

wget -U “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” http://www.by3d.net/
–16:06:19–  http://www.by3d.net/
           => `index.html.1′
正在解析主机 www.by3d.net… 61.155.154.108
Connecting to www.by3d.net|61.155.154.108|:80… 已连接。
已发出 HTTP 请求，正在等待回应… 500 Internal Server Error
16:06:20 错误 500：Internal Server Error。

从这里进一步看出，好像是服务器端的错误导致Google无法抓取网站。你当然可以给托管商（即新网）联系，让他们检查一下服务器方面是否对所有地区都可以正常访问。在之后，持续通过Google网站管理员工具观察网站的抓取情况，几天之后如果还有这样的错误提示，欢迎再回来提出。
希望对你有用！

”

wget是linux下的一个下载程序，我按照上例使用了一下，结果返回200，说明服务器还是正常地。

另外一种测试方式是测试robots.txt 网站管理员工具-网站配置-抓取工具访问-测试robots.txt

测试后没有任何错误，开始我以为是测试通过都正常，后来问题解决了都能正常抓取我又做了一遍才发现正常后会给出一个测试结果，如下图就是测试正常的结果。

大家看到解析结果那行有可能有些迷惑，但是用过wordpree的XML 地图生成器 就知道他会自动生成类似如下的robots.txt文件

User-agent: *
Disallow:

Sitemap: http://www.by3d.net/sitemap.xml.gz

它将站点地图地址放到了robots.txt文件中，以Sitemap:开始标记站点地图URL地址，可以使搜素引擎方便地找到站点地图。

好了再说问题的具体解决过程。

朋友晚上去机房调试，让我在家测试验证情况。将防火墙和绿盟全部从交换机中撤出，然后我这面验证提交一个网站，结果还是提示访问超时，这个郁闷啊，一直把问题锁定在防火墙和绿盟上，结果把两个设备撤出后还是出现错误提示。（后来才想起我只是用了文件验证还没使用标签验证）

后来一个朋友给了一个方式让试试，将笔记本配置成简单的主机环境将现在运行的服务器替换下来看是不是服务器配置问题。又隔了一天，我和朋友拿着配置好的笔记本电脑去了机房，开始时候问题仍然存在，当把防火墙和抗拒绝撤掉后，奇迹出现了：文件验证和标签验证全部通过！初步怀疑是两个设备中的一个设备问题，再把服务器接上，发现文件验证过不去，标签验证完全过去，而且网站地图抓取正常。我俩还回忆那天晚上他在机房我在家测试怎么没正常呢，开始我还开玩笑是不是那天你喝完酒来的，线接错了？后来一想由于当时着急有可能我只用了文件验证方式。

现在问题初步出来了出现在两台设备中的一台，然后服务器的小毛病就是文件验证无法通过，这个问题先放一边，接着测试。

把抗拒绝接上，依然正常，那就是防火墙的问题了，果不其然单独接上防火墙验证和抓取就不行了。

但是为什么在防火墙界面操作和日志上都找不到问题呢？暂时解决不了只能把防火墙给甩出来，只接绿盟暂时先用着，找到解决防火墙方法再继续搞。

至此困扰半个月的谷歌抓取问题总算解决了，通过自己做的程序发现谷歌已经开始频繁访问网站，就在成功解决问题的 第二天百度收录也正常了，看来防火墙不光阻挡了谷歌一个搜索引擎。

通常搜索引擎访问目的网站的端口只有一个80端口，而源端口就有很多，这是通过我制作的统计程序发现的，后来防火墙的厂家技术也在远程进行了设置，将所有的源端口都开放了，可是问题仍然存在。不是端口问题那又会是什么问题呢？

通过这件事发现网上很多朋友遇到过类似问题，基本都是服务器托管商帮助解决了，但具体解决方法在网上还真没搜索到。我的这个方法算是笨办法，防火墙还是得用的，不能一直这么甩出去，所有好的方法或建议可以留言给我，将感激不尽。