在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
如何理解Python开发中字符串中的\字符？
如何理解Python开发中字符串中的\字符？Python字符串中的\字符代表转义字符、路径名中用来连接路径名、编写太长代码手动软换行。
11311
2019-06-27 15:41:50
Python开发多进程、多线程以及协程是什么？项目是否用？
其实多线程，多进程，在实际开发中用到的很少，进程：一个运行的程序（代码）就是一个进程，没有运行的代码叫程序；线程：调度执行的最小单位，也叫执行路径；协程：是一种用户态的轻量级线程，协程的调度完全由用户控制。
10797
2019-07-02 16:33:41
Python工程师常见面试题集锦--网络编程（1）
自从互联网诞生以来，基本上所有的程序都属于网络程序，也就需要设计到网络编程，在python中，就是在python程序本身这个进程内，链接别的服务器进程的通信端口进行通信。在Python程序员找工作的时候，京城被问到关于网络编程的问题。下面就和大家分享一下那些面试中经常出现的问题吧。
8596
2019-08-14 10:20:04
Python面试题 scrapy 框架运行的机制？
scrapy 框架运行的机制从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
8477
2019-07-04 17:46:45
Python知识点解析之urlopen()详解
在爬虫开发中，我们进场要使用urllib中的urlopen()和request.get()方法请求或获取一个网页的内容。Urliopen打开的UIR网址，url参数可以是一个字符创url或者是一个request对象，返回的网页内容实际上市没有被解码的。下面就具体为大家分享一下urlopen()的内容吧。
14597
2019-07-15 19:06:33
