在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
什么是数据科学异常值检测原理？异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等。使用pandas，可以直接使用describe()来观察数据的统计性描述，或者简单使用散点图也能很清晰的观察到异常值的存在。
一、数据科学异常值检测前提
数据样本符合标准正态分布，正态分布的核心是中心极限定理即：如果一个事物受到多种因素的影响，不管每个因素本身是什么分布，它们加总后，结果的平均值就是正态分布。如果要符合正态分布则这些因素必须彼此独立，彼此不独立的各项因素会互相加强影响，那么就构不成正态分布。
二、数据科学异常值检测原理
标准正态分布下的曲线为钟型曲线，期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。因此对于一组数据，如果符合正态分布，则可以通过经验法则来检测异常值，同图中可以发现，68.2%的测量值落在μ值处正负一个标准差σ的区间内，95.4%的测量值将落在μ值处正负两个标准差σ的区间内，99.7%的值落在μ值处正负三个标准差σ的区间内。因此，对于一组符合正态分布的数据，如果某个值距离μ值超过三个标准差σ则可以判断这个值属于异常数据。
三、计算步骤
μ值：μ是遵从正态分布的随机变量的均值，由于前提是各种因素对结果的影响为相加，因此μ值的计算可以为样本数据的算术平均值。
标准差σ：所有数据减去其平均值的平方和，所得结果除以该组数之个数N(数据集为总体数据情况，一般用于大数据算法)或者个数N减1(数据集为样本数据情况，认为数据集不是总体数据而是总体数据的一部分，一般用于统计学)，再把所得值开根号，所得之数就是这组数据的标准差。
判断逻辑：计算μ+3σ，μ-3σ，当单个数据大于μ+3σ或者小于μ-3σ时，认为此数据为异常值，因为按照经验法则，此数据在数据集的99.7%范围外。
首先理解数据科学异常值检测原理，掌握计算步骤，最终实现对数据科学异常值检测。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
机器学习和数据科学工程师的区别是什么？
下一篇：
常见的数据建模工具有哪些？
相关推荐 更多
线上大数据培训哪家好如何选择？
线上大数据培训哪家好应该如何选择？就线上培训这块，博学谷算是做的比较好的大数据培训平台。简单来讲，建议大家在做选择的时候，在口碑和知名度都不错的培训机构中挑选。同时多多考察大数据培训机构的课程质量、师资力量、教学模式等等方面，当然考察的方式不仅仅是听信培训机构的宣传，还要亲自体验课程，最好能和之前毕业的学员联系，深入了解培训的效果怎么样。
5979
2019-09-18 12:48:17
大数据是思维还是技术？
大数据是思维还是技术？大数据既离不开思维也无法脱离技术支持，大数据思维是解决问题的方法，而大数据技术是手机数据的的工具，二者结合在一起才是大数据。大数据无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
9359
2019-10-25 10:46:40
数据库原理知识点全面讲解
掌握数据库已经成为了每个程序员的必备基本技能，今天我们就来带大家彻彻底底弄数据库原理的相关知识点，内容包括了事务、并发一致性、封锁、隔离级别、多版本并发控制和Next-Key Lock。希望本文全面的讲解可以一次性解决大家关于数据库原理的所有疑问。
6936
2020-04-29 11:10:35
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐，以往的数据开发需要一定的Java基础和工作经验，门槛高，入门难。如果零基础入门数据开发行业的小伙伴从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘。
3391
2022-04-15 11:20:22
大数据广泛用于预测交通和避免事故效果如何？
大数据广泛用于预测交通和避免事故效果如何？通过大数据和汽车技术的大规模投资和发展，减少道路交通事故造成的死亡和受伤人数这一目标似乎是可能的。目前，大数据和高级分析的主要用例之一是使用数据来提高道路和车辆的安全性。
3664
2022-04-29 11:23:18
