一些由防火墙引起的百度蜘蛛不能攀爬的问题

　　大概在一个月之前，笔者所在的网站淘K网曾经出现一次比较触目惊心的问题，就是百度统计里面的索引量突然暴跌了将近两千多条索引，然后经过网站排障之后发现，最大的可能性是因为安装了一个叫做“安全狗”的软件而引发的问题，当其时由于问题发现得比较早，所以即便出现了短时期的网站降权，也很快就被解决了。

　　然而在上个星期，几乎同样的情况又再次出现了，不过这次在百度索引方面没有出现大暴跌的现象，只是几百条索引被删减了，不过后果却是令到某几个二级域名出现了降权现象，幸好也能及时发现，于是赶紧解决问题，最后那些被降权的二级域名，也很快出现在百度搜索上了。

　　其实第一次的问题出现时，是因为使用了安全狗的问题，而可能拦截了部分蜘蛛，但第二次却让我们百思不得其解，为什么会这样呢?是什么原因导致这些情况发生呢?因为这次问题的出现，有可能是因为使用了DNS的加速工具——“百度加速乐”有关，而这个工具是百度旗下的产品，而且在产品说明方面，已经清楚说明使用“百度加速乐”对于蜘蛛的攀爬是有益无害的……但短暂降权的情况的确是发生了，所以我们也只能去除这个产品，恢复正常的DNS，问题也就暂时解决了，不过依然有一定的后遗症。　

　　(图1)

　　(图2)

　　1、使用防火墙产品的起因

　　进行网站电子商务，除了要考虑如何进行日常运营之外，还需要小心翼翼地防范一些小人行为，譬如在9月底的时候，由于公司网站在竞价方面采取了一些新的措施，力争排名靠前，于是很快网站就遭遇非常庞大的DDOS攻击，有的时候经常会出现CPU爆满的情况发生，以至客户进入我们的网站都需要非常长的时间，平均打开一个页面需时10秒以上，这对于用户体验而言，绝对是一件坏事，更不用说当攻击潮汹涌而来所造成的短暂死机了。

　　为了应付这样的事情继续发生，公司管理层立即采取措施，目的就是为了尽快解决问题，尽最大的可能防范这些DDOS攻击的继续出现。于是网管人员立即安装了据称可以防范90%网络攻击的安全狗，在使用这个软件之后，攻击立即出现了明显的下降，然后通过不断添加恶意IP的方法，在一段时间内公司网站比较平稳地运行着，甚至安然度过了10月1日-10月7日这个销售高峰。

　　但好景不长，当我们通过了10月1日长假期的考验之后，我们发现公司网站竟然在文章收录方面出现了停滞现象，后来甚至在百度统计这里发现文章被删减了2，500条索引，于是我们意识到问题的严重性，不断进行排查，看看是什么地方出现了问题，从外链、文章原创性甚至网站架构等方面全面检查，后来怀疑集中在安全狗方面，于是提出暂时撤下这个软件看看情况如何，但由于撤下的话将会出现不断死机的现象，所以网络工程师建议把安全狗的安全系数降低，也就是不要使用高等级的安全系数来拦截攻击，于是通过不断的实践，终于发现这些索引量有所恢复。

　　(图3 - 安全狗高系数拦截蜘蛛收录)

　　(图4 - 安全狗低系数恢复蜘蛛通过)

　　在这段实践的过程中，网站甚至出现了2天的降权期，也就是说搜索网站的主域名、二级域名几乎全部域名都搜索不了，也就是说，百度上面几乎没有了淘K网的存在，幸好当我们降低安全狗的拦截系数之后，网站平台很快就恢复正常，也就是说，让我们虚惊了两天的时间。

　　2、从安全狗过渡到百度加速乐

　　由于使用安全狗的低系数拦截，其实所起到的拦截DDOS攻击的作用不大，所以为了让网站可以正常运行，于是我们唯有寻找那些可以防范攻击的网络工具，此时，百度加速乐产品出现在我们的眼前，毕竟是百度的产品，而且在产品说明上非常诱人，不但可以防止一定容量的网络DDOS攻击，而且还可以加速百度蜘蛛的攀爬，于是立即使用了这个产品，并且更改了网站的DNS为加速乐的DNS。

　　在一段时间内，加速乐的确为我们带来很不错的加速功能，我们能明显感受到开启页面的时间是快了那么1、2秒，也就是原来开启一个页面需要10多秒，使用加速乐之后，大概8、9秒就可以开启页面了。

　　当我们使用百度加速乐替代安全狗这个软件后，确实在一段时间内，攻击明显有所减缓，而且开启的页面速度也是相对以前有所加快，所以我们比较安心地继续使用百度加速乐这个网站工具。

　　期间，公司为了可以一劳永逸地解决网站CPU经常过高的问题，于是进行服务器的提升，网站IP也有所更换，当网站服务器整体上了一个档次之后，原来出现的CPU过高的现象也已经消失殆尽，取而代之的是开启页面非常迅速，在更换后的一个星期内，网站蜘蛛的爬行量非常迅速，几乎是秒收文章，但问题随之也很快出现了。

　　经过一段时间的文章秒收后，突然网站在11月13日出现索引量收录停滞，然后又出现文章收录量的大跌，这一次尽管没有删除两千多条那么夸张，不过一下损失将近400条索引量还是对网站带来一定的影响。

　　(图5)

　　于是，几乎同一时间内，公司网站的某几个二级域名同时消失了，有一种再次被降权的情况发生，鉴于这段时间这几个二级域名根本没有发过任何外链，只有正常的文章更新，而且更新的量也维持在稳定的数量上面，完全构成不了任何被降权的可能存在，思前想后推断出是否加速乐又出现类似安全狗的情况呢?于是把加速乐的DNS恢复为网站的正常DNS之后，很快那些被降权的二级域名再次出现，不过却出现了一定的后遗症，如图1、图2。

　　3、结论

　　造成网站降权现象的发生，不一定是因为优化过度而出现了降权的现象，有可能是因为我们的服务器使用的防火墙把蜘蛛给屏蔽了，鉴于笔者网站已经出现了因为安全狗以及百度加速乐等的两次临时降权现象，所以笔者把这些经验写出来，希望可以帮助各位站长带来实质性的帮助，希望各位站长朋友一旦出现类似笔者网站这样的降权现象的时候，不要慌张，要从多方面去考究为什么网站会被降权，是什么原因导致降权。同时笔者也提醒那些喜欢攻击别人网站的人，与其有那么多时间去做一些神憎鬼厌的事情，为什么不好好考虑一下如何正正经经地开拓市场赚钱，多行不义必自毙!!

　　本文作者ilovegoktv，转载请注明出处：http://huange.taoktv.com，谢谢大家的支持!