在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
Python开发TCP和UDP的区别是什么？优缺点对比总结
Python开发TCP和UDP的区别是什么？优缺点对比总结：UDP 是面向无连接的通讯协议，UDP 数据包括目的端口号和源端口号信息。TCP 是面向连接的通讯协议，通过三次握手建立连接，通讯完成时四次挥手。UDP 速度快、操作简单、要求系统资源较少；TCP 在数据传递时，有确认、窗口、重传、阻塞等控制机制，能保证数据正确性，较为可靠。
8739
2019-07-02 16:47:16
Flask框架和Django框架的区别是什么？
Flask框架和Django框架的区别：Flask框架自由、灵活，可扩展性强，第三方库的选择面广，开发时可以结合自己最喜欢用的轮子，也能结合最流行最强大的Python库；Django太重了，除了web框架，自带ORM和模板引擎，灵活和Django能开发小应用，但总会有“杀鸡焉用牛刀”的感觉；
9275
2019-07-16 19:04:16
Python入门基础练习题整理附答案
在初学者Python入门的时候，一方面要多注重积累理论基础知识，另一方面就是要多练手。因此本文整理了Python入门的基础练习题，相信对初学者会有很大的帮助。
14185
2019-08-14 18:15:39
Python 函数默认返回None原因是什么？
Python 函数默认返回None原因：定义的函数没有返回值，Python 解释器就会强行地默认给注入一段返回逻辑！实际上 Python 中有很多行为都是隐性的。
7605
2020-08-19 15:29:51
Python2和 Python3都有哪些区别？
很多新同学在学习Python的过程当中，都会犹豫是学Python2还是Python3呢，这里给大家整理了一下关于Python2和Python3都有哪些区别，希望对迷茫的同学有所帮助
4115
2021-06-24 15:22:08
