在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
在大数据时代，掌握数据就掌握了企业发展的方向。爬虫作为抓取互联网数据的一个途径，成为企业需求量非常大的岗位之一。一般情况下小型的爬虫需求直接使用request库+BS4就可以解决了。稍微复杂一点的可以使用selenium解决JS的异步加载问题。而如果遇到大型的爬虫需求，则需要考虑使用框架了。下面我们来一起学习以及各框架。
1.Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
2.PySpider
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。
3.Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4.Portia
Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。
5.Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。
6.Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。这个我是使用的特别频繁的。在获取html元素，都是bs4完成的。
7.Grab
Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。
8.Cola
Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。
9.selenium
Selenium 是自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理。
10 .Python-goose框架
Python-goose框架可提取的信息包括：文章主体内容；文章主要图片；文章中嵌入的任何Youtube/Vimeo视频；元描述；元标签。
采用框架主要是便于管理以及扩展。以上就是为大家提供的10个好用的python爬虫框架。你现在使用的是否在其中？如果有更好的框架，可以在博学谷的论坛中留言，大家一起交流学习。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
面向文档的数据库系统MongoDB详解
下一篇：
每天自学Python一小时多久可以掌握？自学Python的常见错误方式
相关推荐 更多
Python面试题 scrapy 框架运行的机制？
scrapy 框架运行的机制从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
9493
2019-07-04 17:46:45
学会Python爬虫能赚大钱吗？Python爬虫赚钱渠道分享
学会Python爬虫能赚大钱么？首先大家要明白这个只是作为一个技术兼职，赚点外快，肯定不比程序员全职工作的工资高。其次赚的多少还要看大家赚钱的渠道。下面小编就和大家分享一下，Python爬虫赚钱渠道，希望对大家有所帮助。
14046
2019-08-26 11:34:54
做爬虫合不合法？爬取什么内容是合法的？
做爬虫合不合法？这得分情况而定，最近有程序员因为做爬虫而被刑侦的报道，相信很多人都已经知道了。但是爬虫本身这个岗位是合法的，只是有的公司用错了地方。那么爬取什么内容是合法的？什么内容是违法的呢？根据《中华人民共和国网络安全法》的最新规定，爬取涉及个人隐私的信息是不合法的。下面我们来看看爬虫合法和不合法的具体边界在哪里，大家在做爬虫工作的时候要注意了。
13256
2019-11-22 21:07:36
为什么大家都学Python编程？学Python开发优势
在招聘网站上不难发现很多公司的招聘信息，某些岗位招聘要求有Python编程经验优先。近年国家政策大力扶持，python进入学校的课堂，各大高校相继开设人工智能专业；学python编程可以高效解决工作中遇到的问题，提高工作效率。
6128
2020-02-07 15:46:32
不做程序员学Python有什么用？
不做程序员学Python有什么用？用处当然是十分广泛的，如果你的思维还停留在只有编程开发者才能学习Python，那就真的与现代社会脱节了。编程更像是一种工具，一种技能，而不仅仅只是一个职业岗位。尤其是以其高效简洁，新手友好著称的Python，更是适合所有想要提高工作效率的职场人掌握。下面我们一起看看学Python的实际作用，主要有自动化办公、数据分析以及Python的另类操作等等。
8497
2020-04-17 10:17:33
