Web Crawling是一个用Python编写的网络爬虫和网络爬行框架。网站抓取是一个完整的框架，所以它包含了网页抓取所需的一切，包括发送HTTP请求和从下载的HTML页面解析数据的模块。它可以呈现Javascript，方便网站抓取从网页解析的数据。它位于HTML或XML解析器的顶端，为站长访问数据提供Python方法。所以，网站爬取是站长收集文章、填写网站内容需要知道的工具。
网页抓取是一种从网页中获取页面内容的技术。通常，使用低级超文本传输协议来模仿正常人类通过网络爬行进行访问。网页抓取与网页索引非常相似，其中网页索引是指大多数搜索引擎使用的机器人或网页爬虫等技术。相反，web抓取更侧重于将网络上的非结构化数据转换成可以在中央数据库和电子表格中存储和分析的结构化数据。网页抓取还涉及网络自动化，利用计算机软件模拟人的浏览。
网页抓取的文本搜索和正则表达式:文本搜索和正则表达式可以有效地从页面中提取所需的内容。网页抓取可以在基于UNIX的系统上使用grep，在其他平台或其他编程语言中有相应的命令或语法。网页抓取是基于HTTP编程的:静态网页和动态网页都可以通过向服务器发送HTTP请求来获取，所以可以直接通过socket编程来实现。
用于网站抓取的HTML解析器:很多网站使用数据库来存储其数据，当用户访问时，通过程序按照指定的格式自动生成。由于这些生成的网页都采用了相同的格式或模板，所以可以使用解析器对通过网站爬取获得的HTML页面进行解析，然后使用HTML标签提取所需的内容。与文本搜索和正则表达式相比，使用HTML解析器使程序更加健壮，并且避免了构造复杂的正则表达式。
网站抓取的应用范围从搜索引擎优化分析到搜索引擎索引、一般性能监控等。它的一些应用可能还包括抓取网页。抓取网站只需提交网站首页网址，其他页面会自动抓取。网站抓取的模板包括HTML、CSS、图片、JS、Flash等目录，保存在原站点结构中，只需替换相应的CMS标签即可使用。
网站捕捉了最新的海量网络信息采集、处理、存储、全文检索、中文处理、文本挖掘技术，可以实时监控上千条新闻、论坛、博客、微博、视频的最新舆情信息，帮助站长及时、全面、准确地掌握网络动态，自动采集自己的网站，用户可以自行填写网站内容。
网站抓取通过自然语言处理技术，保证了信息抓取、分类和负面判断的准确性。抓取网站识别相似文章，精准识别内容相似的文章，可用于去重和识别文章。抓取网站不需要模板，方便随时添加收藏来源，不受网页改版影响。网站抓取全方位的数据分析和展示功能，多角度多层次展示内容特征，揭示数据规律，帮助站长更好地管理和维护网站。
