在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
什么是 cookie？cookie和session 有什么区别？
cookie 数据存放在客户的浏览器上，session 数据放在服务器上。cookie 不是很安全，别人可以分析存放在本地的 cookie 并进行 cookie 欺骗，考虑到安全应当使用 session。session 会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，考虑到减轻服务器性能方面，应当使用cookie。
7759
2019-06-27 11:12:42
Python开发中字典和 json的区别
Python开发中字典和 json的区别：字典是一种数据结构，json是一种数据的表现形式，字典的 key 值只 要是能 hash 的就行，json 的必须是字符串。
11309
2019-06-27 14:09:52
推荐十个Python图像处理工具
今天的世界充满了各种各样的数据，而图像是这些数据的重要组成部分。但当我们在使用它们之前，必须对这些数字图像进行处理、分析和操作，以提高其质量甚至提取一些可以使用的信息。本文将推荐十个Python图像处理工具。
7300
2019-07-09 14:27:16
Python爬虫Ajax动态加载知识点讲解
Python爬虫Ajax动态加载知识点讲解，Ajax动态加载工作原理从网页的url加载网页的源代码之后，会在浏览器里执行JavaScript程序。这些程序会加载出更多的内容，并把这些内容传输到网页中。
8342
2019-07-25 18:03:44
Django框架在Python开发很重要为什么？
Django框架是一个web框架,且是一个后端框架程序,它不是服务器，需要注意Django框架帮我们封装了很多的组件,帮助我们实现各种功能,具有很强的扩展性。功能强大的脚手架和诸多开箱即用的组件，用Django搭建Web应用快速而又省力。
6318
2020-10-15 11:56:21
