在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
Python开发多进程、多线程以及协程是什么？项目是否用？
其实多线程，多进程，在实际开发中用到的很少，进程：一个运行的程序（代码）就是一个进程，没有运行的代码叫程序；线程：调度执行的最小单位，也叫执行路径；协程：是一种用户态的轻量级线程，协程的调度完全由用户控制。
17496
2019-07-02 16:33:41
Python面试题 Tornado的核心是什么？
Tornado 的核心是 ioloop 和 iostream 这两个模块，前者提供了 一个高效的 I/O 事件循环，后者则封装了 一个无阻塞的 socket 。 通过向 ioloop 中添加网络 I/O 事件，利用无阻塞的 socket ，再搭配相应的回调函数，便可达到梦寐以求的高效异步执行。
15034
2019-07-02 17:43:40
Django能开发哪些类型的网站
开发者采用Django框架，不需要写太多的代码就能完成一个网站的应用程序。因此Django成为目前Python开发者首选的Web开发框架。目前使用Django框架能开发哪些类型的网站呢？
8125
2020-08-24 11:41:59
常见的Python数据可视化库介绍
常见的Python数据可视化库，Python代码脚本不断复用，不断处理更新的数据；调用丰富的工具库，解决做地图、做交互、做动态的多种需求；Python可以访问数据接口实时调取数据。
5900
2021-05-04 11:10:48
需要学习的Python自动化测试框架有哪些？
常用的Python自动化测试框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。软件测试的自动化在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。自动化测试以人为驱动的测试行为转化为机器执行的一种过程。
7037
2021-05-13 16:06:39
