在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
如今,网络爬虫早已被广泛应用在爬取网页上。虽然有许多编程语言都可以写爬虫,但是Python绝对是最好的选择。这是因为Python作为一种新手友好的语言,上手简单的同时标准库齐全,还有丰富的各种开源库,开发效率更是不用说,高于绝大多数语言。那么如何利用Python爬取网页呢?或者换句话说,怎样编写Python语言使用网络爬虫呢?
1、编写执行代码
首先,你要安装requests和BeautifulSoup4,然后执行如下代码.
import requests
from bs4 import BeautifulSoup
iurl = 'http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'
res = requests.get(iurl)
res.encoding = 'utf-8'
#print(len(res.text))
soup = BeautifulSoup(res.text,'html.parser')
#标题
H1 = soup.select('#artibodyTitle')[0].text
#来源
time_source = soup.select('.time-source')[0].text
#来源
origin = soup.select('#artibody p')[0].text.strip()
#原标题
oriTitle = soup.select('#artibody p')[1].text.strip()
#内容
raw_content = soup.select('#artibody p')[2:19]
content = []
for paragraph in raw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#责任编辑
ae = soup.select('.article-editor')[0].text
2、观看视频学习
如果大家觉得光是文字不足以弄清Python爬取网页的技巧,也可以免费观看博学谷的学习视频。该课程视频主要讲述利用Python语言实现网络爬虫的技巧,学完这门课程后,大家可以学习到scrapy的操作,制作属于自己的爬虫,并了解网页解析的技巧。下面是视频课程主要内容:
第一章 网络爬虫简介
(1)网络爬虫的定义
(2)URL的概述
(3)url请求的基本操作
(4)百度贴吧小爬虫-上
(5)百度贴吧小爬虫-下
(6)正则表达式
第二章 scrapy制作小爬虫
(1)内涵段子小爬虫上
(2)回顾
(3)内涵段子小爬虫下
(4)scrapy制作小爬虫上
(5)scrapy制作小爬虫下
相信大家看完博学谷的网络爬虫课程,就能轻松利用Python爬取网页。对Python爬虫感兴趣的同学,还在等什么,现在就上博学谷官网,开始观看视频学习吧!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Python爬虫入门教程 零基础高效学习Python爬虫技术
Python简单易学,爬虫技术,不需要你系统地精通一门编程语言,也不需要高深的数据库技术,从实际的项目中去学习这些零散的知识点。掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现。
10204
2019-08-08 16:07:57
如何实现python爬虫?python爬虫好学吗?
很多人喜欢将python作为自己的主开发语言,不仅仅是因为python的功能强大,更重要的是Python的代码简单易上手,并且相对应用领域非常广泛。想学习python的朋友一般都会从学习基础语言或者爬虫开始。那如何实现python爬虫?python爬虫好学吗?小编就和大家一起了解一下。
7066
2019-08-09 18:03:52
爬虫应用场景的利弊分析
相信大家在春节的时候都有过抢火车票的经历,对一些抢票软件一定不会感到陌生。今天我们就来从技术的角度,来看看抢票软件背后的东西——爬虫。通俗点说,爬虫就是模拟人的行为去各个网站溜达,并把看到的信息背回来的探测机器。如今随着网络和大数据的发展,爬虫的应用场景变得越来越广泛,下面我们就一起来分析一下爬虫应用场景的利弊吧!
8151
2020-04-15 10:51:25
Python主要用来做什么?
Python可以做web应用开发、网络爬虫、AI人工智能与机器学习、处理数据用来分析、数据科学:包括机器学习、数据分析和数据可视化、脚本等方面开发。
5125
2020-06-30 11:53:32
作为996社畜,如何自学Python?
作为996社畜,应该如何自学Python?确定好目标,选择合适的内容,制定计划,多多练习,多多分享,制定最适合自己的计划,然后按部就班的实施起来。如果你能坚持这么做,一定可以学好Python。
4201
2021-07-20 16:03:47