start_urls 使用注意事项

收藏

启动爬虫的时候报一个错误:

    valueError: Missing scheme in request url:...

回答

MrSun回答

原因:

    scrapy中的spider 中的start_urls 必须是一个可迭代对象,而python中如果使用()来创建元组且只有一个元素的时候,需要有一个逗号才能创建元组start_urls = (‘http://www.baidu.com’,)

注意事项:

  1.     start_urls要求必须是一个可迭代对象,可以是一个元组或者可以是一个列表
  2.     start_urls中的元素要求是完整url,例如https://www.baidu.com  不要只写www.baidu.com

解决方法:

    如果使用元组,那么如果元素只有一个url那么元组后面需要添加一个逗号,或者直接是用列表 

(0)

提交成功