在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
如何理解Python开发中字符串中的\字符？
如何理解Python开发中字符串中的\字符？Python字符串中的\字符代表转义字符、路径名中用来连接路径名、编写太长代码手动软换行。
11301
2019-06-27 15:41:50
Python开发Flask中数据库设置？
Flask中数据库设置？#动态追踪修改设置，如未设置只会提示警告#查询时会显示原始SQL语句。
7907
2019-07-02 17:04:55
Flask框架学习大纲带你从入门到精通
对于想要学好Flask框架的初学者来讲，入门学习之前最重要的就是对所学的知识有一个系统的规划和整理。因此为了让大家有一个更清晰的学习路线，本文为大家整理了Flask框架的学习大纲，主要分为六个学习章节，分别是Flask基础、WEB框架、数据库等知识点。希望大家在学习的过程中可以参照这个大纲，完成从入门到精通的逆袭。
5492
2020-04-15 17:48:27
Django能开发哪些类型的网站
开发者采用Django框架，不需要写太多的代码就能完成一个网站的应用程序。因此Django成为目前Python开发者首选的Web开发框架。目前使用Django框架能开发哪些类型的网站呢？
4593
2020-08-24 11:41:59
Python常用框架Flask介绍
Flask一直被称为是Python中轻量级的可定制的框架。其核心简单，相比其他框架更加灵活轻便，也更容易掌握。下面我们一起详细的了解一下Flask框架吧。
4963
2020-08-24 11:51:27
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
