在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
七个提升Python运行性能的小技巧
七个提升Python运行性能的小技巧有使用局部变量，减少函数调用次数采用映射替代条件查找，直接迭代序列元素，采用生成器表达式替代列表解析，先编译后调用，模块编程习惯。
10905
2019-07-26 18:14:29
Python开发岗位求职面试常见问题集锦（二）
Python是目前国内外广受关注的编程语言之一。因此很多朋友选择学习python编程语言，而再人才大量涌入这个行业的同时，企业有了更多的选择性，对求职者的筛选也越来越严格。如果没有充分准备就去面试，很容易遭遇碰壁。那如何才能增加自己面试成功的几率呢？……
9976
2019-06-28 18:21:33
Python开发的魔法方法总结
Python开发的魔法方法总结：魔法方法就是可以给你的类增加魔力的特殊方法， __init__ 构造器，__new__才是实例化对象调用的第一个方法，__call__ 允许一个类的实例像函数一样被调用。
8597
2019-07-01 15:55:02
Python开发Flask中数据库设置？
Flask中数据库设置？#动态追踪修改设置，如未设置只会提示警告#查询时会显示原始SQL语句。
9750
2019-07-02 17:04:55
Python框架Django项目实战教程
众所周知，Django框架是目前Python编程语言的主流Web框架，为什么这么说呢？这都源于Django框架自身无可比拟的优势，像是开发敏捷、配置简单、功能完善等等。Python开发者可以利用Django框架快速搭建出一个功能完整的网站，因此学习Django框架十分有必要。今天我将向大家推荐一个免费学习Python框架Django的项目实战教程，下面是教程详细内容的介绍。
9257
2020-01-08 15:51:45
