在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
Python开发中字典和 json的区别
Python开发中字典和 json的区别：字典是一种数据结构，json是一种数据的表现形式，字典的 key 值只 要是能 hash 的就行，json 的必须是字符串。
11555
2019-06-27 14:09:52
Python开发的魔法方法总结
Python开发的魔法方法总结：魔法方法就是可以给你的类增加魔力的特殊方法， __init__ 构造器，__new__才是实例化对象调用的第一个方法，__call__ 允许一个类的实例像函数一样被调用。
7051
2019-07-01 15:55:02
django中间件的使用方法博学谷讲师总结
django中间件的使用方法，Django在中间件中预置了六个方法;初始化、处理请求前、处理视图前、处理模板响应前、处理响应后、异常处理。
8684
2019-07-02 17:31:17
Python框架Django项目实战教程
众所周知，Django框架是目前Python编程语言的主流Web框架，为什么这么说呢？这都源于Django框架自身无可比拟的优势，像是开发敏捷、配置简单、功能完善等等。Python开发者可以利用Django框架快速搭建出一个功能完整的网站，因此学习Django框架十分有必要。今天我将向大家推荐一个免费学习Python框架Django的项目实战教程，下面是教程详细内容的介绍。
7668
2020-01-08 15:51:45
常见的Python数据可视化库介绍
常见的Python数据可视化库，Python代码脚本不断复用，不断处理更新的数据；调用丰富的工具库，解决做地图、做交互、做动态的多种需求；Python可以访问数据接口实时调取数据。
4345
2021-05-04 11:10:48
