爬虫技术是一种自动化程序。
爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。
搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。
爬虫技术的功能
1、获取网页
获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。
2、提取信息
获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。
3、保存数据
提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有等非结构化数据还可以通过pymongo库保存至非结构化数据库中。
《天天向上》节目，汪涵怼嘉宾，蛇类爬虫究竟该不该养呢？
建议别走爬虫店这一行 开爬虫店的基本上都是半玩性质的 赚的钱不多 看着很多品种价格很高 但是成本也很高 中间赚的非常少 便宜的利润小 比如豹纹守宫 一般别人都是买幼体 200元一只 好的500 一只大概赚20-40元 蛙眼守宫 卖的最好 一只赚2-3元 好的比如幼体的蛇（球蟒和缅甸还有玉米）和巨蜥类的 喂食一次就是几元 喂得都是小白鼠 赚钱的很难养容易死亡 对温度湿度要求高 进回来一般很长时间卖不出去 而且成本高 比如黄金蟒 皇者类的蜥蜴 黄金蟒2000-5000一只 但是相对来说买的人还是比较少 半个月都不一定卖的出去 皇者类的蜥蜴几个月都不一定有人买
一般开爬虫店的都会开网店 但是就算这样赚的也少 建议仔细考虑 很多爬虫对环境的要求都不一样 养着玩还无所谓 开店就超麻烦 你还要大量养白鼠 大麦虫 杜比亚 蟋蟀和面包虫
蛇类动物其实是可以养的，但是千万不能轻易养，不管是任何的动物，都不能轻易养育，一定要做好准备才可以，蛇类的豢养程度本身是非常大的，如果做好了准备，那么完全可以养。
首先，哪怕是孩子都是要想好了才能生，很多人没有做好当父母的准备就生孩子了，结果孩子生下来养不起，或者是无法给孩子足够的爱，尤其是我国的一些父亲，完全就没有任何当父亲的责任心，生孩子也不过是完成传宗接代的任务，生孩子反倒是害人害己。
而养宠物某些程度上也是一样的，比如大众最熟悉的猫和狗，其实养育之前都一定要了解清楚，这两种最常见的宠物都很掉毛，猫咪可能晚上会蹦迪，狗狗每天都要带出去排泄，甚至可能会把家拆了，影响到邻居之类的，所以大家一定要做好心理准备。
其次，我国法律允许豢养的蛇类，当然也是可以养在家里面的，但是前提是自己喜欢蛇类，而且足够了解蛇类，如果是跟家人一起住，或者是跟朋友、室友一起住的话，还要征求他们的同意才能够养，毕竟蛇类是很多人都害怕的东西。
除此之外，养蛇类还要学习很多专业的知识，蛇类是怎么生活，要怎么保障人的安全，这也是非常重要的，如果你是一个非常专业的人，那么你养蛇是完全可以的。
最后，养蛇以后也要注意观察和照顾，千万不要让蛇跑出去了，吓到邻居或者咬了谁的话，后果不堪设想，毕竟对你来说蛇是宠物，但是对别人来说，蛇是一种非常可怕的生物，不能要求别人跟你一样喜欢蛇、不害怕蛇，这也是很多养宠物的人都忽略但很重要的地方。
