今天，边肖，一家网络推广公司，想和你谈谈爬行网站受限爬行的问题。这个问题表现在，php页面可以正常索引，但是带参数的页面每次抓取都失败。请注意，爬网会失败。
抓取失败是指搜索引擎一开始可以正常抓取这些内容，但是由于某些原因索引失败。这个问题主要发生在动态网站，主要是论坛和商城。
事实上，解决这个问题的主要方法是检查和测试，以找到错误的原因。下面是网络推广公司边肖整理的考察方向。
答:重启网站服务器
首先，建议你可以尝试重启服务器，测试一下抓取失败是否是因为服务器过载造成的。如果服务器重启后抓取成功，说明问题出在服务器本身，否则会重新搜索问题。
关闭CDN服务器
翻译过来就是内容分发网络，CDN服务器用来解决用户访问网络时的“排队”问题。在标准网络服务中，用户访问延迟是常见的事情，这也是使用CDN服务器的目的。但在使用中，可能会因为操作不当而与搜索引擎的规则产生冲突，建议关机试试看能不能解决问题。
机器人协议检查
乌龙的事情真的会发生。编写robots协议的目的是告诉搜索引擎哪些内容不能被抓取。如果抓取失败的链接属于robots协议范围，这是正常情况，所以这也是要检查的重要方向。
d:检查网站的根目录
网站也要做好保护，让黑客在根目录下安装后门程序，对网站内容、排名、展示等造成恶意行为。
