最近小雯的一个代维用户网站在接入CloudFlare后,短短半个月的时间,在谷歌 SEO上迎来了一次质的飞跃,对比下来谷歌爬虫来访的频率上升了接近两倍,并且爬虫是谷歌正规的爬虫,而不是所谓的新爬虫 GoogleOther,都是清一色的 Googlebot 哦!具体来访量从日均 2K 左右直接上升到 25K 了,并且还意外的带起了 YandexBot 爬虫,直接 10K 以上的来访请求。
这个网站其实啥都没有更改过,并且还在小雯的建议下出于安全方面的考虑停掉了 WordPress 的SEO插件,至今也就半个月不到,并且借助 CloudFlare 过滤掉了之前很多的恶意镜像、采集请求(日均 6K 多次),网站刚接入 CloudFlare 的时候来访量最大的是一个叫 GoogleOther 的谷歌新爬虫,但正常的自然搜索流量、点击量都很低,还有持续下滑的迹象。首先停掉了 WordPress 的 SEO 插件后,这个 GoogleOther 爬虫数量明显的下降了很多,通过 Nginx 日志分析各种垃圾爬虫请求量也跟着下降和消失,具体有关 WordPress 的 SEO 插件可以参考【我们的 WordPress 到底需不需要 SEO 插件?】一文。
现在基本上全是上图这种谷歌正经爬虫 UA 的请求了
通过持续的观察和分析,小雯认为这跟网站接入 CloudFlare 后开启了严苛的安全防护以及流量过滤有关系,没有接入 CloudFlare 的时候,单从服务器上流量好像很大,有时候服务器有点儿难以承受了,通过 Nginx 日志分析发现很多无效的垃圾请求特别的多,并且很多流量单从频率、IP、UA、地区上就明显能看出来都是非真人请求,在接入 CloudFlare 后根据日志分析有针对性的调整 WAF 策略后,短短一周时间服务器的压力就大幅的下降了,并且很意外的就是谷歌的 Googlebot 爬虫开始陆陆续续的出现在日志中,随着时间的推移频率也大幅的提升,据客户反馈,网站的点击量、流量提升也是非常的明显,增幅达到了 200%以上。
小雯总结下来就是,首先这证明谷歌爬虫是真的很勤奋,只要你网站的内容优质,谷歌爬虫的来访几乎是无上限的,谷歌才是个真正的只关注内容的搜索引擎,一切的黑帽 SEO 手法在谷歌面前都是小卡拉咪,不值一提。所以奉劝善于用黑帽 SEO 手法忽悠百度的,一定不要用在谷歌上,否则后果自负。实锤了,使用 CloudFlare 更加有利于谷歌 SEO!
其次就是因为有了 CloudFlare 的加持,过滤掉恶意、垃圾的爬虫后贴腾出了更多的带宽留给谷歌 Googlebot 爬虫更流畅的请求效率也是主要原因之一,同时借助 CloudFlare 强悍的恶意请求验证(主要是屏蔽掉了恶意镜像、恶意采集等),更是有效保障了 Googlebot 爬虫的请求来访畅通无阻。并且还发现谷歌爬虫好像对 CloudFlare 的节点 IP 天然的友好。反之,CloudFlare 对谷歌爬虫也是非常友好,CloudFlare 默认的 WAF 规则对谷歌爬虫都是一路绿灯,从来没有见到有误伤拦截的记录,就算是“真人验证”也是自动放行谷歌爬虫,实现了近乎完美的强强联合。实锤了,使用 CloudFlare 更加有利于谷歌 SEO!
最后,凡是谷歌爬虫正常、高频率请求的必然会带来必应、YandexBot 这类爬虫,可以说只要你的网站使用了 CloudFlare,制定好 WAF 规则,内容质量有保证,有持续性的高质量原创更新,那么被谷歌、必应、Yandex 收录并给与关键词排名都是必然的事儿,无非就是个时间早晚而已,客户这个网站就是个很好的例证,使用 CloudFlare 的站点更加有利于谷歌 SEO。