在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
七个提升Python运行性能的小技巧
七个提升Python运行性能的小技巧有使用局部变量，减少函数调用次数采用映射替代条件查找，直接迭代序列元素，采用生成器表达式替代列表解析，先编译后调用，模块编程习惯。
9212
2019-07-26 18:14:29
Python开发中match和search的区别是什么
Python开发中match和search的区别:match()函数只检测 RE 是不是在string的开始位置匹配，search()会扫描整个string查找匹配；也就是说 match()只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回none。
8496
2019-07-01 16:12:22
推荐十个Python图像处理工具
今天的世界充满了各种各样的数据，而图像是这些数据的重要组成部分。但当我们在使用它们之前，必须对这些数字图像进行处理、分析和操作，以提高其质量甚至提取一些可以使用的信息。本文将推荐十个Python图像处理工具。
7328
2019-07-09 14:27:16
Python框架有哪些？区别是什么？
众所周知，Python开发框架大大减少了开发者不必要的重复劳动，提高了项目开发效率的同时，还使得创建的程序更加稳定。目前比较主流的Python框架都有哪些呢？一般大家用的比较多的是Django、Flask、Scrapy、Diesel、Cubes、Pulsar和Tornado。那么这些Python框架的区别是什么呢？下面我们一起来看看这些Python框架的不同适用环境。
6276
2020-04-10 17:00:06
自动化测试常用的Python框架有哪些？
自动化测试常用的Python框架有哪些？常用的框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。Pytest、Robot Framework和UnitTest主要用于功能与单元测试，Lettuce和Behave仅适用于行为驱动测试。
4936
2020-09-09 16:34:55
