原创 如何利用Python爬取网页？

如今，网络爬虫早已被广泛应用在爬取网页上。虽然有许多编程语言都可以写爬虫，但是Python绝对是最好的选择。这是因为Python作为一种新手友好的语言，上手简单的同时标准库齐全，还有丰富的各种开源库，开发效率更是不用说，高于绝大多数语言。那么如何利用Python爬取网页呢？或者换句话说，怎样编写Python语言使用网络爬虫呢？

1、编写执行代码

首先,你要安装requests和BeautifulSoup4,然后执行如下代码.

import requests

from bs4 import BeautifulSoup

iurl = 'http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'

res = requests.get(iurl)

res.encoding = 'utf-8'

#print(len(res.text))

soup = BeautifulSoup(res.text,'html.parser')

#标题

H1 = soup.select('#artibodyTitle')[0].text

#来源

time_source = soup.select('.time-source')[0].text

#来源

origin = soup.select('#artibody p')[0].text.strip()

#原标题

oriTitle = soup.select('#artibody p')[1].text.strip()

#内容

raw_content = soup.select('#artibody p')[2:19]

content = []

for paragraph in raw_content:

content.append(paragraph.text.strip())

'@'.join(content)

#责任编辑

ae = soup.select('.article-editor')[0].text

2、观看视频学习

如果大家觉得光是文字不足以弄清Python爬取网页的技巧，也可以免费观看博学谷的学习视频。该课程视频主要讲述利用Python语言实现网络爬虫的技巧，学完这门课程后，大家可以学习到scrapy的操作，制作属于自己的爬虫，并了解网页解析的技巧。下面是视频课程主要内容：

第一章 网络爬虫简介

（1）网络爬虫的定义

（2）URL的概述

（3）url请求的基本操作

（4）百度贴吧小爬虫-上

（5）百度贴吧小爬虫-下

（6）正则表达式

第二章 scrapy制作小爬虫

（1）内涵段子小爬虫上

（2）回顾

（3）内涵段子小爬虫下

（4）scrapy制作小爬虫上

（5）scrapy制作小爬虫下

相信大家看完博学谷的网络爬虫课程，就能轻松利用Python爬取网页。对Python爬虫感兴趣的同学，还在等什么，现在就上博学谷官网，开始观看视频学习吧！