爬虫存在于整个互联网中，很多企业都需要收集信息。使用爬虫可以更快的从海量信息中提取出需要的信息，但是其他网站并不想把这些信息白白送人，爬虫收集的信息也会对网站产生影响。所以网站会采取各种方法，比如IP限制，验证码限制，使用动态网页，增加难度。
对于IP限制和验证码限制，可以使用代理IP和验证码识别工具来突破限制，而对于动态网页，问题会更复杂。我们先来看看什么是动态网页，如何抓取动态网页。
什么是动态网页，如何抓取？
一、什么是动态网页？
所谓动态网页，是指相对于静态网页的一种网页编程技术。
静态网页，随着html代码的生成，页面的内容和显示效果基本不会改变——除非你修改页面代码。然而，动态网页不是。虽然页面代码没有改变，但显示的内容会随着时间、环境或数据库操作的结果而改变。
值得强调的是，不要将动态网页与页面内容是否动态相混淆。这里的动态网页与网页上的各种动画、滚动字幕等视觉动态效果没有直接关系。动态网页也可以是纯文本内容或包含各种动画的内容。这些只是网页具体内容的表达方式。无论网页是否具有动态效果，任何使用动态网页技术生成的网页都可以称为动态网页。
总之，动态网页就是将基本的html语法与Java、VB、VC等高级编程语言、数据库编程等技术相融合，以实现对网站内容和风格的高效、动态、交互式管理。所以从这个意义上说，所有结合了HTML以外的高级编程语言和数据库技术的网页编程技术生成的网页都是动态网页。
二、如何抓取动态网页
第一种解决方案是使用一些第三方工具来模拟浏览器的行为和加载数据。
比如:硒，幻想曲。
优点:我们不用考虑动态页面的多样性，我们只需要关心最终的逼真效果；可以统一处理。
缺点:性能低，比如用Selenium，每次都需要启动一个浏览器进程；配置繁琐，不同的浏览器需要下载不同的驱动和jar包，驱动和jar包之间有严格的版本匹配关系。如果不匹配，就不能用。
第二种解决方案是分析页面，找到对应的请求接口，直接获取数据。
优点:性能高，使用方便。如果直接接入原来的数据接口，肯定会方便使用，改动的可能性比较小。
缺点:缺点也很明显。如何获取接口API？有些网站可能会做出各种限制、混淆等。考虑到数据的安全性。要看开发者的基本功，做各种分析。
如何抓取动态网页？一个网站是静态的还是动态的，可以通过一些简单的方法来区分。比如当有“查看更多”字样或者打开网站时，会以下拉方式加载内容。或者，在浏览器中查看页面对应的内容，找不到页面的源代码时，可以确定页面使用了动态技术。如果网页使用动态技术，则可以通过上述方法进行处理。
