在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
Python开发TCP和UDP的区别是什么？优缺点对比总结
Python开发TCP和UDP的区别是什么？优缺点对比总结：UDP 是面向无连接的通讯协议，UDP 数据包括目的端口号和源端口号信息。TCP 是面向连接的通讯协议，通过三次握手建立连接，通讯完成时四次挥手。UDP 速度快、操作简单、要求系统资源较少；TCP 在数据传递时，有确认、窗口、重传、阻塞等控制机制，能保证数据正确性，较为可靠。
7763
2019-07-02 16:47:16
Python面试题 scrapy 框架运行的机制？
scrapy 框架运行的机制从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
8304
2019-07-04 17:46:45
Flask框架和Django框架的区别是什么？
Flask框架和Django框架的区别：Flask框架自由、灵活，可扩展性强，第三方库的选择面广，开发时可以结合自己最喜欢用的轮子，也能结合最流行最强大的Python库；Django太重了，除了web框架，自带ORM和模板引擎，灵活和Django能开发小应用，但总会有“杀鸡焉用牛刀”的感觉；
8511
2019-07-16 19:04:16
Python入门基础练习题整理附答案
在初学者Python入门的时候，一方面要多注重积累理论基础知识，另一方面就是要多练手。因此本文整理了Python入门的基础练习题，相信对初学者会有很大的帮助。
13165
2019-08-14 18:15:39
Python常用框架Flask介绍
Flask一直被称为是Python中轻量级的可定制的框架。其核心简单，相比其他框架更加灵活轻便，也更容易掌握。下面我们一起详细的了解一下Flask框架吧。
4854
2020-08-24 11:51:27
