在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
很多人喜欢将python作为自己的主开发语言,不仅仅是因为python的功能强大,更重要的是Python的代码简单易上手,并且相对应用领域非常广泛。想学习python的朋友一般都会从学习基础语言或者爬虫开始。那如何实现python爬虫?python爬虫好学吗?小编就和大家一起了解一下。
一:爬虫准备
1.爬虫首先需要做的事情就是要确定好你想要爬取数据的对象,这里我将以百度主页logo图片的地址为例进行讲解。
2.首先,是打开百度主页界面,然后把鼠标移动到主页界面的百度logo图标上面,点击鼠标右键,然后点击审查元素,即可打开开发者界面。
3.然后再下面的界面里面,可以看到该logo图标在HTML里面的排版模式,<img hidefocus="true" src="//百度/img/bd_logo1.png" width="270" height="129">,这里百度我用字替换了。
二:开始爬虫
1.爬虫主要分为两个部分,第一个是网页界面的获取,第二个是网页界面的解析;爬虫的原理是利用代码模拟浏览器访问网站,与浏览器不同的是,爬虫获取到的是网页的源代码,没有了浏览器的翻译效果。
2.首先,我们进行页面获取,python爬虫的话很多模块包提供给开发者直接抓取网页,urllib,urllib2,requests(urllib3)等等,这里我们使用urllib2进行网站页面的获取;首先导入urllib2模块包(该包是默认安装的):import urllib2
3.导入模块包之后,然后调用urllib2中的urlopen方法链接网站,代码如下repr = urllib2.urlopen("XXXXXX"),XXXXXX代表的是网站名称。
4.得到网站的响应之后,然后就是将页面的源代码读取出来,调用read方法,html = repr.read()
5.获取到页面的源代码之后,然后接下来的工作就是将自己想要的数据从html界面源代码中解析出来,解析界面的模块包有很多,原始的re,好用的BeautifulSoup,以及高大上的lxml等等,这里我就简单的用re介绍介绍,首先导入re模块包:import re
6.然后进行利用re进行搜索,这里我有使用正则表达式,看不懂的同学需去补充点正则表达式方面的知识。
7.然后,我这里就实现了一个简单的爬虫流程,打印url,可以看见刚好就是之前我们看见的百度主页logo的地址。
8.源代码:
import urllib2
repr = urllib2.urlopen("URL")
html = repr.read()
import re
省略一行代码
print url
以上就是和大家分享的实现爬虫的一个真实案例。希望大家能够对爬虫有一个了解。当然在python学习中一定要自己亲手联系,目前企业对于求知者的要求更加注重其实战能力。所以掌握爬虫技术仅仅是入门,最好是能够熟练的应用。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Python知识点解析之urlopen()详解
在爬虫开发中,我们进场要使用urllib中的urlopen()和request.get()方法请求或获取一个网页的内容。Urliopen打开的UIR网址,url参数可以是一个字符创url或者是一个request对象,返回的网页内容实际上市没有被解码的。下面就具体为大家分享一下urlopen()的内容吧。
14232
2019-07-15 19:06:33
学习Python零基础需要学多久?
人工智能和大数据技术为互联网发展提供了更加强劲的动力。而Python编程语言在人工智能和数据科学领域都有非常广泛的应用。因此Python编程开发吸引了大批的新人加入。对于这些刚刚加入Python学习的朋友而言,比较关注几个问题:Python难不难?参加Python培训多少钱?学习Python需要多久?
6910
2019-11-04 18:49:46
学Python的理由有哪些?这四大理由足够了
学Python的理由有哪些?可能有人会说Python是一种计算机语言,具有简洁性、易读性、及可扩展性,相对于其他语言学起来会更加容易,目前应用也非常广泛等等。其实总结起来,学Python的理由不外乎四点,即丰富免费的模块库,新手入门上手快的学习优势,还有广泛的应用场景以及国家的重视和支持。因此这四大理由足够掀起全面学习Python的热潮。
5024
2020-04-15 11:35:41
不做程序员学Python有什么用?
不做程序员学Python有什么用?用处当然是十分广泛的,如果你的思维还停留在只有编程开发者才能学习Python,那就真的与现代社会脱节了。编程更像是一种工具,一种技能,而不仅仅只是一个职业岗位。尤其是以其高效简洁,新手友好著称的Python,更是适合所有想要提高工作效率的职场人掌握。下面我们一起看看学Python的实际作用,主要有自动化办公、数据分析以及Python的另类操作等等。
7495
2020-04-17 10:17:33
博学谷Python培训课程有哪些实战项目?
博学谷的Python培训课程以Python语言为开发工具,内容覆盖了Web前端、后端、架构、 数据库、项目部署、数据分析、深度学习、图像识别等领域所需要的前沿技术。除了课程内容系统全面,整个Python培训课程还覆盖了多个领域的开发项目,比如美多商城、黑马头条Web项目、黑马推荐系统项目、NLP小智聊天机器人项目以及爬虫项目库。下面一起来看看博学谷Python培训课程有哪些实战项目吧!
5318
2020-06-22 18:04:59
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么?先掌握这三大核心关键技术
- 前端开发的工作方向有哪些?
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试?两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些,才能成为架构师 查看更多
扫描二维码,了解更多信息
