在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
如今,网络爬虫早已被广泛应用在爬取网页上。虽然有许多编程语言都可以写爬虫,但是Python绝对是最好的选择。这是因为Python作为一种新手友好的语言,上手简单的同时标准库齐全,还有丰富的各种开源库,开发效率更是不用说,高于绝大多数语言。那么如何利用Python爬取网页呢?或者换句话说,怎样编写Python语言使用网络爬虫呢?
1、编写执行代码
首先,你要安装requests和BeautifulSoup4,然后执行如下代码.
import requests
from bs4 import BeautifulSoup
iurl = 'http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'
res = requests.get(iurl)
res.encoding = 'utf-8'
#print(len(res.text))
soup = BeautifulSoup(res.text,'html.parser')
#标题
H1 = soup.select('#artibodyTitle')[0].text
#来源
time_source = soup.select('.time-source')[0].text
#来源
origin = soup.select('#artibody p')[0].text.strip()
#原标题
oriTitle = soup.select('#artibody p')[1].text.strip()
#内容
raw_content = soup.select('#artibody p')[2:19]
content = []
for paragraph in raw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#责任编辑
ae = soup.select('.article-editor')[0].text
2、观看视频学习
如果大家觉得光是文字不足以弄清Python爬取网页的技巧,也可以免费观看博学谷的学习视频。该课程视频主要讲述利用Python语言实现网络爬虫的技巧,学完这门课程后,大家可以学习到scrapy的操作,制作属于自己的爬虫,并了解网页解析的技巧。下面是视频课程主要内容:
第一章 网络爬虫简介
(1)网络爬虫的定义
(2)URL的概述
(3)url请求的基本操作
(4)百度贴吧小爬虫-上
(5)百度贴吧小爬虫-下
(6)正则表达式
第二章 scrapy制作小爬虫
(1)内涵段子小爬虫上
(2)回顾
(3)内涵段子小爬虫下
(4)scrapy制作小爬虫上
(5)scrapy制作小爬虫下
相信大家看完博学谷的网络爬虫课程,就能轻松利用Python爬取网页。对Python爬虫感兴趣的同学,还在等什么,现在就上博学谷官网,开始观看视频学习吧!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
如何快速实现爬虫从入门到精通
爬虫技术是现在互联网最常用的技术手段之一,甚至很多公司设置专门的爬虫工程师。而且爬虫工程师的薪资水平已经达到10-30K之间。掌握爬虫技术就为自己未来职业发展增加了一项必要的技能。那跨行业,或者零基础的情况下,如何快速实现爬虫从入门到精通水平呢?
7849
2019-07-24 18:34:32
如何实现python爬虫?python爬虫好学吗?
很多人喜欢将python作为自己的主开发语言,不仅仅是因为python的功能强大,更重要的是Python的代码简单易上手,并且相对应用领域非常广泛。想学习python的朋友一般都会从学习基础语言或者爬虫开始。那如何实现python爬虫?python爬虫好学吗?小编就和大家一起了解一下。
7094
2019-08-09 18:03:52
python为什么叫爬虫?python爬虫定义
python爬虫一般是指网络资源的抓取,由于python的脚本特性,易于配置对字符的处理非常灵活,python有丰富的网络抓取模块,因此两者经常联系在一起python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。还可以模拟用户在浏览器或者app应用上的操作行为,实现程序自动化。
8880
2019-06-25 11:04:07
零基础学Python爬虫难不难?要怎么学?
零基础学Python爬虫难不难?要怎么学?众所周知,Python是最容易上手的编程语言,如果有一定基础,学会Python爬虫也是分分钟钟的事。对于零基础的学习者来说,Python爬虫也是比较简单的,只要先学习Python这门编程语言,再会写几行代码就可以做爬虫了。现在的学习资源也有很多,比如在博学谷平台上的Python爬虫教程。一起来看看具体怎么学习Python爬虫吧!
6858
2019-10-11 11:31:19
如何自学python?有好的建议吗?
自学的是一个节约成本的投资,能够按照自己设定的学习计划进行学习,时间安排也比较自由。可是自学需要强大的自制力,需要耐得住寂寞,每天固定的坚持学习,但是遇到技术难点很容易做牛角尖,导致半途而废。如何自学python?有好的建议吗?让我给大家说一说自学前大概做得准备吧!
6562
2020-01-13 15:56:28