在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
数据处理的工作时间占据了整个数据分析项目的70%以上。因此,数据的质量直接决定了分析模型的准确性。那么,数据预处理的方法有哪些呢?比如数据清洗、数据集成、数据规约、数据变换等,其中最常用到的是数据清洗与数据集成,下面小编将来详细介绍一下这2种方法。
1、数据清洗
数据清洗是通过填补缺失值,平滑或删除离群点,纠正数据的不一致来达到清洗的目的。简单来说,就是把数据里面哪些缺胳膊腿的数据、有问题的数据给处理掉。总的来讲,数据清洗是一项繁重的任务,需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据,从而得到标准的、干净的、连续的数据。
(1)缺失值处理
实际获取信息和数据的过程中,会存在各类的原因导致数据丢失和空缺。针对这些缺失值,会基于变量的分布特性和变量的重要性采用不同的方法。若变量的缺失率较高(大于80%),覆盖率较低,且重要性较低,可以直接将变量删除,这种方法被称为删除变量;若缺失率较低(小于95%)且重要性较低,则根据数据分布的情况用基本统计量填充(最大值、最小值、均值、中位数、众数)进行填充,这种方法被称为缺失值填充。对于缺失的数据,一般根据缺失率来决定“删”还是“补”。
(2)离群点处理
离群点(异常值)是数据分布的常态,处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。
(3)不一致数据处理
实际数据生产过程中,由于一些人为因素或者其他原因,记录的数据可能存在不一致的情况,需要对这些不一致数据在分析前进行清理。例如,数据输入时的错误可通过和原始记录对比进行更正,知识工程工具也可以用来检测违反规则的数据。
2、数据集成
随着大数据的出现,我们的数据源越来越多,数据分析任务多半涉及将多个数据源数据进行合并。数据集成是指将多个数据源中的数据结合、进行一致存放的数据存储,这些源可能包括多个数据库或数据文件。在数据集成的过程中,会遇到一些问题,比如表述不一致,数据冗余等,针对不同的问题,下面简单介绍一下该如何处理。
(1)实体识别问题
在匹配来自多个不同信息源的现实世界实体时,如果两个不同数据库中的不同字段名指向同一实体,数据分析者或计算机需要把两个字段名改为一致,避免模式集成时产生的错误。
(2)冗余问题
冗余是在数据集成中常见的一个问题,如果一个属性能由另一个或另一组属性“导出”,则此属性可能是冗余的。
(3)数据值的冲突和处理
不同数据源,在统一合并时,需要保持规范化,如果遇到有重复的,要去重。
本文介绍了两种最常见的数据预处理方法,实际操作中,我们拿到的数据可能包含了大量的缺失值、异常点等,非常不利于数据分析。这时需要我们对脏数据进行预处理,得到标准的、干净的、连续的数据,提供给数据分析、数据挖掘等使用。希望大家通过本文能对数据预处理有一个简单的了解,在数据处理时,能根据具体遇到的问题采取相应的方法。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
常用的数据分析方法论有哪些?
很多人在做数据分析时,经常遇到这几个难题:应该从哪方面入手开展分析;分析的内容和指标常常被质疑是否合理、完整,而自己也说不出个所以然来。因此当大家在做数据分析的时候,如果根据数据分析方法论的指导,就不会出现逻辑混乱、南辕北辙的情况。常用的数据分析方法论如下:
11831
2019-07-03 17:11:17
数据分析课程大纲是什么?
马云说我们已经进入数据时代。大量的数据为我们提供更多客观的、有效的决策支撑。同时伴随着大数据的发展,衍生出大量的鱼数据相关的技术岗位:大数据开发工程师、数据挖掘工程师、数据分析等等。相对于相关工程师而言,数据分析对于从业者要求较低,因此大量的求学者进入数据分析的课程学习中。那数据分析都需要学习哪些知识点呢?我们就博学谷数据分析课程大纲为大家说明。
9699
2019-08-23 18:40:33
数据科学家人才需求缺口大的原因
数据科学家人才需求缺口大的原因,很多公司需要资深的、经验丰富的数据科学家,帮助企业管理数据并利用这些信息为公司的发展服务,各行业排名前三分之一的企业中,使用了数据驱动决策分析,其生产率平均比竞争对手高5%,利润率高6%。
5900
2019-08-28 16:45:53
大数据疫情防控应用 大数据与个人隐私之间存在的冲突
大数据与个人隐私之间存在的冲突,网上出现多起以寻找确诊病例密切接触者为名,公布个人姓名、手机号码、户籍地详址、身份证号码等个人隐私的事件,且电信运营、铁路部门和各大互联网公司等事实上掌握了大量公民的个人信息,特别是联系方式、地理位置和行踪轨,这无疑是掌握了用户的个人隐私。
8721
2020-02-21 10:17:35
Zookeeper基本知识总结
本文为大家整理总结了Zookeeper的基本知识,主要内容有Zookeeper概述、ZooKeeper特性、ZooKeeper集群角色以及ZooKeeper集群搭建。下面一起来看看大数据学习中的干货知识吧~
4877
2020-06-11 19:12:50