在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
七个提升Python运行性能的小技巧
七个提升Python运行性能的小技巧有使用局部变量，减少函数调用次数采用映射替代条件查找，直接迭代序列元素，采用生成器表达式替代列表解析，先编译后调用，模块编程习惯。
9651
2019-07-26 18:14:29
Python开发多进程、多线程以及协程是什么？项目是否用？
其实多线程，多进程，在实际开发中用到的很少，进程：一个运行的程序（代码）就是一个进程，没有运行的代码叫程序；线程：调度执行的最小单位，也叫执行路径；协程：是一种用户态的轻量级线程，协程的调度完全由用户控制。
11763
2019-07-02 16:33:41
Python工程师数据库常见面试题
Python最开始是被用于编写自动化脚本的，但是随着python版本的迭代以及语言新功能的添加，越来越多的被用在项目开发领域。作为计算机程序设计语言，都需要与数据库实现交互。所以作为Python开发工程师你一定要熟练数据的使用。下面就为大家分享一些Python开发工程师面试过程中遇到的关于数据库的题目。
8769
2019-07-05 17:43:23
推荐十个Python图像处理工具
今天的世界充满了各种各样的数据，而图像是这些数据的重要组成部分。但当我们在使用它们之前，必须对这些数字图像进行处理、分析和操作，以提高其质量甚至提取一些可以使用的信息。本文将推荐十个Python图像处理工具。
7715
2019-07-09 14:27:16
Flask框架开发教程实践项目讲解
众所周知，Flask是Python的web框架，我们之所以要使用它，是因为Flask框架的轻便性，它可以让开发者自由、灵活的兼容要开发的feature。既然Flask框架这么好用，那我们该如何使用Flask框架进行开发呢？本文将向大家介绍Flask框架开发教程，该教程与脱离实践的教学内容不同，它结合了大型的智能租房项目实践，手把手带大家用Flask框架完成智能租房项目的搭建。
6017
2019-11-28 14:10:17
