在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
Python开发中类方法、类实例方法、静态方法的区别和作用
Python开发中类方法、类实例方法、静态方法的区别和作用：类方法是类对象的方法；类实例方法是类实例化对象的方法；态方法是一个任意函数，在其上方使用“@staticmethod”进行装饰。
11757
2019-06-28 14:42:21
Python理解装饰器并写出一个计时器记录方法执行性能的装饰器？
Python理解装饰器并写出一个计时器记录方法执行性能的装饰器？装饰器本质上是一个 Python 函数，它可以让其他函数在不需要做任何代码变动 的前提下增加额外功能，装饰器的返回值也是一个函数对象。
8461
2019-07-01 15:14:14
Python开发多进程、多线程以及协程是什么？项目是否用？
其实多线程，多进程，在实际开发中用到的很少，进程：一个运行的程序（代码）就是一个进程，没有运行的代码叫程序；线程：调度执行的最小单位，也叫执行路径；协程：是一种用户态的轻量级线程，协程的调度完全由用户控制。
11931
2019-07-02 16:33:41
Python工程师数据库常见面试题
Python最开始是被用于编写自动化脚本的，但是随着python版本的迭代以及语言新功能的添加，越来越多的被用在项目开发领域。作为计算机程序设计语言，都需要与数据库实现交互。所以作为Python开发工程师你一定要熟练数据的使用。下面就为大家分享一些Python开发工程师面试过程中遇到的关于数据库的题目。
8867
2019-07-05 17:43:23
需要学习的Python自动化测试框架有哪些？
常用的Python自动化测试框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。软件测试的自动化在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。自动化测试以人为驱动的测试行为转化为机器执行的一种过程。
5990
2021-05-13 16:06:39
