在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
Python开发的魔法方法总结
Python开发的魔法方法总结：魔法方法就是可以给你的类增加魔力的特殊方法， __init__ 构造器，__new__才是实例化对象调用的第一个方法，__call__ 允许一个类的实例像函数一样被调用。
6740
2019-07-01 15:55:02
Flask框架和Django框架的区别是什么？
Flask框架和Django框架的区别：Flask框架自由、灵活，可扩展性强，第三方库的选择面广，开发时可以结合自己最喜欢用的轮子，也能结合最流行最强大的Python库；Django太重了，除了web框架，自带ORM和模板引擎，灵活和Django能开发小应用，但总会有“杀鸡焉用牛刀”的感觉；
8631
2019-07-16 19:04:16
Python框架有哪些？区别是什么？
众所周知，Python开发框架大大减少了开发者不必要的重复劳动，提高了项目开发效率的同时，还使得创建的程序更加稳定。目前比较主流的Python框架都有哪些呢？一般大家用的比较多的是Django、Flask、Scrapy、Diesel、Cubes、Pulsar和Tornado。那么这些Python框架的区别是什么呢？下面我们一起来看看这些Python框架的不同适用环境。
6058
2020-04-10 17:00:06
自动化测试常用的Python框架有哪些？
自动化测试常用的Python框架有哪些？常用的框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。Pytest、Robot Framework和UnitTest主要用于功能与单元测试，Lettuce和Behave仅适用于行为驱动测试。
4720
2020-09-09 16:34:55
常见的Python数据可视化库介绍
常见的Python数据可视化库，Python代码脚本不断复用，不断处理更新的数据；调用丰富的工具库，解决做地图、做交互、做动态的多种需求；Python可以访问数据接口实时调取数据。
4038
2021-05-04 11:10:48
