在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
Python开发工程师面试中常见知识点集锦（一）
很多Python工程师屡屡碰壁，需要很长时间才能找到合适的工作。虽然有一部分是因为技术能力确实无法满足企业需求，而更多的人技术能力很强仅仅是因为面试过程中没有良好的发挥。所以作为Python开发工程师，不仅仅要掌握知识，同时也要多了解一些面试题。这样在遇到跳槽的时候才能更快的找到满意的工作。下面就是python开发工程师面试中常见的知识点集锦。
11623
2019-06-27 18:11:50
python开发中元组是什么？元组定义
python开发中元组是什么？元组（tuple）是关系数据库中的基本概念，关系是一张表，表中的每行（即数据库中的每条记录）就是一个元组，每列就是一个属性。 在二维表里，元组也称为行。
15571
2019-06-28 14:30:30
Python开发的内存管理机制及调优手段？
Python 的内存管理机制及调优手段？Python内存管理机制：引用计数、垃圾回收、内存池。垃圾回收 ：引用计数、标记清除、分代回收。引用计数进行高效的内存管理手段。调优手段：手动垃圾回收、调高垃圾回收阈值、避免循环引用。
9809
2019-06-28 14:59:42
Python工程师数据库常见面试题
Python最开始是被用于编写自动化脚本的，但是随着python版本的迭代以及语言新功能的添加，越来越多的被用在项目开发领域。作为计算机程序设计语言，都需要与数据库实现交互。所以作为Python开发工程师你一定要熟练数据的使用。下面就为大家分享一些Python开发工程师面试过程中遇到的关于数据库的题目。
10915
2019-07-05 17:43:23
Python爬虫框架有哪些？
在大数据时代，掌握数据就掌握了企业发展的方向。爬虫作为抓取互联网数据的一个途径，成为企业需求量非常大的岗位之一。一般情况下小型的爬虫需求直接使用request库+BS4就可以解决了。稍微复杂一点的可以使用selenium解决JS的异步加载问题。而如果遇到大型的爬虫需求，则需要考虑使用框架了。下面我们来一起学习以及各框架。
9929
2019-07-15 17:57:58
