在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
python开发中元组是什么？元组定义
python开发中元组是什么？元组（tuple）是关系数据库中的基本概念，关系是一张表，表中的每行（即数据库中的每条记录）就是一个元组，每列就是一个属性。 在二维表里，元组也称为行。
13786
2019-06-28 14:30:30
Python理解装饰器并写出一个计时器记录方法执行性能的装饰器？
Python理解装饰器并写出一个计时器记录方法执行性能的装饰器？装饰器本质上是一个 Python 函数，它可以让其他函数在不需要做任何代码变动 的前提下增加额外功能，装饰器的返回值也是一个函数对象。
8438
2019-07-01 15:14:14
Python入门基础练习题整理附答案
在初学者Python入门的时候，一方面要多注重积累理论基础知识，另一方面就是要多练手。因此本文整理了Python入门的基础练习题，相信对初学者会有很大的帮助。
14274
2019-08-14 18:15:39
Python框架有哪些？区别是什么？
众所周知，Python开发框架大大减少了开发者不必要的重复劳动，提高了项目开发效率的同时，还使得创建的程序更加稳定。目前比较主流的Python框架都有哪些呢？一般大家用的比较多的是Django、Flask、Scrapy、Diesel、Cubes、Pulsar和Tornado。那么这些Python框架的区别是什么呢？下面我们一起来看看这些Python框架的不同适用环境。
6698
2020-04-10 17:00:06
需要学习的Python自动化测试框架有哪些？
常用的Python自动化测试框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。软件测试的自动化在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。自动化测试以人为驱动的测试行为转化为机器执行的一种过程。
5907
2021-05-13 16:06:39
