很多学Python的人都想掌握爬虫，觉得我手里有爬虫。但是太多人从基础学习开始，学的时候不知道从哪里学。为此，专门撰写了一篇与爬虫相关的文章。
我们来看看爬虫的流程:发送请求-获取页面-解析页面-提取并存储内容进行爬行的过程。这样，我们模拟了使用浏览器获取网页信息的过程。向服务器发送请求后，我们将得到返回的页面。对页面进行解析后，我们可以提取一些我们想要的信息，并存储在我们制作的文档和数据中。
接下来，我们就来看看在爬行动物这条路上，你需要掌握哪些东西。
一、零基础阶段
从一个编程小白系统的介绍，我开始入门爬虫。除了一些必要的理论知识，爬虫其实更实用。那么主流网站的数据抓取能力就是这个阶段要学习的内容。
爬虫所需的计算机网络/前端/正则//xpath/CSS选择器基础知识；实现静态网页和动态网页的数据抓取；详细讲解模拟登陆、应对防爬、识别验证码等难点。多线程、多进程等常见应用场景讲解。
准备工作/即将开始工作
首先，下载Python。你可以下载最新版本。其次需要准备运行环境，可以选择PyChram；
学习课程
尽量找一个适合自己的课程，尽量成为支持课程资料源码都有的那种。但是记得再敲一遍代码，然后对照源代码找自己的问题。
二。主流框架
爬虫的框架主要是Scrapy实现海量数据抓取，从原生爬虫到框架能力，是一个升级阶段。如果能开发一个分布式爬虫系统，基本符合python爬虫的定位。它可以高效获取海量数据，并且可以外包。
这个阶段的主要学习内容:Scrapy框架知识讲解spider/FormRequest/CrawlSpider等。从单机爬虫到分布式爬虫系统；Scrapy突破了反爬虫的限制和Scrapy的原理；Scrapy更高级的特性包括SSCRYPY信号和定制中间件；将现有的海量数据与Elasticsearch相结合，创建一个搜索引擎。
不要觉得这里很难。学习基本的scrapy很快，因为有很多demo，但是对于实际的爬虫来说并不容易，因为robots.txt会禁止爬虫。
所以基础爬虫很简单，反爬虫就没那么容易了。
第三，实际的爬虫
深入APP数据抓取也是为了提高你爬虫的能力，处理APP数据抓取和数据可视化的能力，拓展你的业务能力，增强你在市场上的竞争力。
所以抓是一个步骤，观想是另一个步骤。
学习点:学习主流抢包工具Fiddler/Mitmproxy的应用；4种App数据抓取实战，学用结合，深度掌握App爬虫技能；创建基于Docker的多任务抓取系统，提高工作效率；掌握Pyecharts库基础，绘制基本图形和地图，实现数据可视化。
其实爬虫可以用在很多领域，爬虫也是数据分析市场调研的主要步骤。更高级的是机器学习，即原始数据的挖掘。
其实从爬虫开始学习Python也是非常推荐的方式，因为有目标的话更容易找到学习重点。
