在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。那大数据技术自学能学会吗？大数据应该如何自学呢？
通过几个问题了解我们应该学习那些技术：
数据来源广，该如何采集汇总?，对应出现了Sqoop，Cammel，Datax等工具。
数据采集之后，该如何存储?，对应出现了GFS，HDFS，TFS等分布式文件存储系统。
数据存储之后，该如何快速运算出自己想要的结果?对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理(实质上是微批处理)。而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。
为了提高工作效率我们应该掌握哪些工具：
Ozzie，azkaban：定时任务调度的工具。
Hue，Zepplin：图形化任务执行管理，结果查看工具。
Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
Python语言：编写一些脚本时会用到。
Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上就是从技术点和工具使用上为计划自学的同学们提供的学习方案。对于任何技术都是可以通过自学掌握的，如果有一定的技术基础是最好的状态，而如果是零基础的同学，则需要慎重考虑自学这个方式是否真的适合你了。建议零基础的同学通过培训的方式进行学习，这样不至于消耗过多的时间成本。了解更多关于大数据学习方面的知识，可以通过博学谷平台云计算大数据课程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hadoop中HDFS 存储的机制？
下一篇：
浅析五种编程模型
相关推荐 更多
大数据Kafka进阶面试题汇总
Kafka是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。在大数据面试中，Kafka也是一个必考点。因此小编汇总了历年来比较经典常见的大数据Kafka进阶面试题。
7964
2019-08-22 19:26:09
大数据技术应用专业有哪些？主要做什么？
大数据概念持续火爆，其核心价值并非仅仅是数据量大，更重要的是在海量的数据背后所体现出来的应用价值。如果把大数据比作一种产业链的话，那么这个产业最终实现价值的关键在于，通过对数据的“加工处理”实现数据的“增值”。因此围绕大数据技术衍生出来大量的应用专业方向。都有哪些大数据技术应用专业呢？他们主要做什么工作呢？下面我们一起来看一下。
15353
2019-09-11 18:29:17
大数据Apache Hadoop YARN 工作原理介绍
Apache Hadoop YARN是一种新的 Hadoop 资源管理器，通用资源管理系统可为上层应用提供统一的资源管理和调度，引入为集群在利用率、资源统一管理和数据共享等方面具有很强的优势。
7940
2020-04-27 14:27:28
大数据开发常用的工具介绍
Java语言和 Linux操作系统，它们是学习大数据的基础。java：只需了解一些基本知识，不需要用很深的 Java技术来做大数据，学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行，所以 Linux要学扎实一点，学好Linux对你快速掌握与大数据有关的技术，能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
7293
2020-07-02 13:49:48
大数据Hadoop生态体系中常见的子系统有哪些？
Hadoop是一个针对大量数据进行分布式处理的软件框架，是一个开发和运行处理大规模数据的软件平台，是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，具有可靠、高效、可伸缩的特点，很多程序会用到这个框架。
7525
2021-03-17 13:58:05
