在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
七个提升Python运行性能的小技巧
七个提升Python运行性能的小技巧有使用局部变量，减少函数调用次数采用映射替代条件查找，直接迭代序列元素，采用生成器表达式替代列表解析，先编译后调用，模块编程习惯。
9070
2019-07-26 18:14:29
Python开发中给定两个列表怎么找出相同元素和不同元素?
Python开发中给定两个列表怎么找出他们相同元素和不同元素?相同元素：print(set1&set2)；不同元素：print(set1^set2)
12654
2019-06-28 14:18:46
Python开发生成器和迭代器的区别？
Python开发生成器和迭代器的区别？迭代器是一个更抽象的概念，任何对象；迭代器对象，它在容器中逐个访问容器内元素，next()也是 python 的内置函数。
7190
2019-07-01 15:43:20
Python工程师数据库常见面试题
Python最开始是被用于编写自动化脚本的，但是随着python版本的迭代以及语言新功能的添加，越来越多的被用在项目开发领域。作为计算机程序设计语言，都需要与数据库实现交互。所以作为Python开发工程师你一定要熟练数据的使用。下面就为大家分享一些Python开发工程师面试过程中遇到的关于数据库的题目。
8230
2019-07-05 17:43:23
Flask框架学习之环境配置
Flask框架作为轻量级Web应用框架，最大的特征是轻便灵活，第三方库的选择面广，容易上手，试错成本低。为了帮助大家学习并掌握Flask框架，本文将会带着大家一步步的完成Flask安装的环境配置工作，让我们马上开始吧~
4419
2020-08-07 19:31:41
