在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
在爬虫开发中,我们进场要使用urllib中的urlopen()和request.get()方法请求或获取一个网页的内容。Urliopen打开的UIR网址,url参数可以是一个字符创url或者是一个request对象,返回的网页内容实际上市没有被解码的。下面就具体为大家分享一下urlopen()的内容吧。
Urlopen介绍
urllib.request.urlopen()函数用于实现对目标url的访问。其函数原型如下:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
其中url是需要打开的网址;data是Post提交的数据;timeout:设置网站的访问超时时间。同时需要说明的是直接用urllib.request模块的urlopen()获取页面,page的数据格式为bytes类型,需要decode()解码,转换成str类型。
函数参数介绍
1. url 参数:目标资源在网路中的位置。可以是一个表示URL的字符串(如:https://www.boxuegu.com);也可以是一个urllib.request对象。
2. data参数:data用来指明发往服务器请求中的额外的参数信息(如:在线翻译,在线答题等提交的内容),data默认是None,此时以GET方式发送请求;当用户给出data参数的时候,改为POST方式发送请求。
3. cafile、capath、cadefault 参数:用于实现可信任的CA证书的HTTP请求。(基本上很少用)
4. context参数:实现SSL加密传输。(基本上很少用)
返回处理方法详解
urlopen返回对象提供方法:
read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作。
info():返回HTTPMessage对象,表示远程服务器返回的头信息。
getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到。
geturl():返回请求的url。
版本区别
python2和python3在导入urlrequest的方式是不一样的。
python2中:import urllib2
而python3里面把urllib分开了,分成了urlrequest和urlerror,在这里我们只需导入urlrequest即可。from urllib.request import urlopen
以上就是为大家介绍的python爬虫开发中的urlopen()的介绍。现在python编程语言应用率越来越高,也因此越来越多的朋友加入到python的学习之中。Python具有极其广泛的应用:人工智能、数据分析、爬虫、全站开发、自动化运维、自动化测试等等。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
python主要用来做什么?Python开发简单吗?
Python技术可做web开发、Python技术可做数据分析、Python技术可做人工智能、将Python用于机器学习,流行的Python机器学习库和框架,其中最流行的两个是scikit-learn和TensorFlow。
7638
2019-06-11 15:19:29
Python开发岗位求职面试常见问题集锦(二)
Python是目前国内外广受关注的编程语言之一。因此很多朋友选择学习python编程语言,而再人才大量涌入这个行业的同时,企业有了更多的选择性,对求职者的筛选也越来越严格。如果没有充分准备就去面试,很容易遭遇碰壁。那如何才能增加自己面试成功的几率呢?……
7896
2019-06-28 18:21:33
反爬技术解决方案有哪些?常见的反爬措施分享
反爬技术解决方案有哪些?常见的反爬措施分享关于反爬技术Headers、IP限制、UA限制、验证码反爬虫或者模拟登陆、Ajax动态加载、cookie限制的相关介绍。
8365
2019-07-16 18:25:48
Python爬虫Ajax动态加载知识点讲解
Python爬虫Ajax动态加载知识点讲解,Ajax动态加载工作原理从网页的url加载网页的源代码之后,会在浏览器里执行JavaScript程序。这些程序会加载出更多的内容,并把这些内容传输到网页中。
6769
2019-07-25 18:03:44
Python bs4怎么安装?
bs4是BeautifulSoup4的简称,它是一个可以从HTML中提取数据的Python第三方库。具体来讲,bs4可以从茫茫的HTML代码中准确查找出你想要的内容,甚至一个小小的字符串。听起来是不是感觉bs4很厉害的样子?那么,Python bs4怎么安装呢?下面小编带领大家一步步的实现安装与导入的过程。
5054
2020-08-07 09:54:41