在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
做爬虫合不合法?这得分情况而定,最近有程序员因为做爬虫而被刑侦的报道,相信很多人都已经知道了。但是爬虫本身这个岗位是合法的,只是有的公司用错了地方。那么爬取什么内容是合法的?什么内容是违法的呢?根据《中华人民共和国网络安全法》的最新规定,爬取涉及个人隐私的信息是不合法的。下面我们来看看爬虫合法和不合法的具体边界在哪里,大家在做爬虫工作的时候要注意了。
首先还是那句老话,爬虫技术本身无罪是合法的,可以说互联网上 50%以上的流量都是爬虫创造的,也许你看到很多热门数据都是爬虫所创造的,所以可以说无爬虫就无互联网的繁荣。但是爬虫技术用错了地方就会构成犯罪行为,在今年国家颁布《中华人民共和国网络安全法》之后,很多以前处于灰色地带的业务都不能做了。因为最新的安全法强调:贩卖个人信息超过50条属于“情节严重”,需要追求其法律责任。很多涉及版权信息的网站,比如书籍、影视剧、课程等后期也会面临越来越严格的审查,这就是目前大的形势。
那么什么样的爬虫是非法的呢?前面说了,不能涉及隐私,另外还有三种情况也是不合法的,情节严重的还有可能构成犯罪行为。比如:
1、爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施,非法获取相关信息,情节严重的,有可能构成“非法获取计算机信息系统数据罪”。
2、爬虫程序干扰被访问的网站或系统正常运营,后果严重的,触犯刑法,构成“破坏计算机信息系统罪”
3、爬虫采集的信息属于公民个人信息的,有可能构成非法获取公民个人信息的违法行为,情节严重的,有可能构成“侵犯公民个人信息罪”。
讲了不合法的爬虫行为,那么爬取什么内容是合法的呢?归纳起来也是三点:
1、 遵守 Robots 协议。Robots 协议也叫 robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。Robots 协议就是告诉爬虫,哪些信息是可以爬取,哪些信息不能被爬取,严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。
2、不能造成对方服务器瘫痪。但不是说只要遵守 Robots 协议的爬虫就没有问题,还涉及到两个因素,第一不能大规模爬虫导致对方服务器瘫痪,这等于网络攻击。2019年05月28日国家网信办发布的《数据安全管理办法(征求意见稿)》中,拟通过行政法规的形式,对爬虫的使用进行限制:网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。
3、不能非法获利。恶意利用爬虫技术抓取数据,攫取不正当竞争的优势,甚至是牟取不法利益的,则可能触犯法律。实践中,非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少,大多是以不正当竞争为由提请诉讼。举个例子,如果你把大众点评上的所有公开信息都抓取了下来,自己复制了一个一模一样的网站,并且还通过这个网站获取了大量的利润,这样也是有问题的。或者是把别人网站上的付费课程爬取下来,私自售卖也是一样的不合法行为。
综上所述,做爬虫合不合法,还要看你爬取什么内容。一般情况下,正规公司和企业的爬虫岗位都是合法的。当然,大家也需要牢记,不要使用爬虫爬取个人隐私信息和非法获利,就不会触碰到法律的底线。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Python开发工程师面试题之爬虫面试题分享
Python开发工程师的就业方向非常多,其中一个方向就是python爬虫开发工程师,这也是很多企业热招的岗位之一。如何能提高自己面试的成功率,不仅仅需要开发者在学习工作中不断的积累专业技能知识,最关键的是在面试过程中能正常发挥。下面为大家提供几个Python爬虫工程师面试的题目,希望对大家的面试有帮助。
6734
2019-08-14 10:20:09
新手小白必看 Python爬虫学习路线全面指导
爬虫是大家公认的入门Python最好的方式,没有之一。虽然Python有很多应用的方向,但爬虫对于新手小白而言更友好,原理也更简单,几行代码就能实现基本的爬虫,零基础也能快速入门,让新手小白体会更大的成就感。因此小编整理了新手小白必看的Python爬虫学习路线全面指导,希望可以帮到大家。
7585
2019-12-05 14:17:14
学Python好还是学Java好?学哪个更好就业?
学Python好还是学Java好?学哪个更好就业?对于刚刚入行的的初学者来说,常常会在Python和Java这两大编程语言面前感到迷茫。Python作为后起之秀,潜力无限;而Java是行业经典,成熟稳定。对于想从事IT技术的人员来说,选择哪一个学习都好就业。以下是小编对Python和Java的分析,学习者可以根据这个分析来结合自己的实际情况选择。
6245
2019-07-10 12:12:22
十款Python爬虫框架大推荐
Python爬虫框架的优点真是说也说不完,它可以让程序员以更少的代码实现自定义功能,还可以将更多的精力集中在业务逻辑上,更加的轻松便利。因此本文将为大家推荐十款常见且好用的爬虫框架。
10798
2019-07-30 15:03:49
网络爬虫是干什么的?有哪些应用场景?
随着互联网信息的爆炸,网络爬虫渐渐为人所熟知。作为一种自动爬取网页信息的手段,很多人其实都不太清楚它在实际生活的巨大作用。那么,网络爬虫是干什么的?有哪些应用场景呢?简单来讲,搜索引擎、统计数据、出行类软件、聚合类平台等等方面,都离不开网络爬虫的使用。下面让我们来详细看看网络爬虫的应用场景和作用吧!
14938
2020-08-05 11:45:41