在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。那大数据技术自学能学会吗？大数据应该如何自学呢？
通过几个问题了解我们应该学习那些技术：
数据来源广，该如何采集汇总?，对应出现了Sqoop，Cammel，Datax等工具。
数据采集之后，该如何存储?，对应出现了GFS，HDFS，TFS等分布式文件存储系统。
数据存储之后，该如何快速运算出自己想要的结果?对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理(实质上是微批处理)。而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。
为了提高工作效率我们应该掌握哪些工具：
Ozzie，azkaban：定时任务调度的工具。
Hue，Zepplin：图形化任务执行管理，结果查看工具。
Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
Python语言：编写一些脚本时会用到。
Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上就是从技术点和工具使用上为计划自学的同学们提供的学习方案。对于任何技术都是可以通过自学掌握的，如果有一定的技术基础是最好的状态，而如果是零基础的同学，则需要慎重考虑自学这个方式是否真的适合你了。建议零基础的同学通过培训的方式进行学习，这样不至于消耗过多的时间成本。了解更多关于大数据学习方面的知识，可以通过博学谷平台云计算大数据课程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hadoop中HDFS 存储的机制？
下一篇：
浅析五种编程模型
相关推荐 更多
参加大数据培训班能找到工作吗？
在大数据就业火热的背景下，许多人想要去参加大数据培训，那么参加云计算大数据培训班能找到工作吗？相信这是大家都十分关注的问题。答案是当然能，英雄不问出身，只要是真正学到了技术，还怕参加了大数据培训找不到工作吗？
10191
2019-07-30 16:44:35
云计算大数据在线培训免费试学 零基础大数据培训班
零基础大数据在线培训班是博学谷为初学者量身打造的课程，学习内容共包括十个大阶段，从Java基础开始，内容精准聚焦大数据开发过程中必备的核心技术。为了更好地让学员感受到课程的优质，博学谷开通了第一阶段Java基础的部分课程，大家可以免费试学体验。下面是试学课程的大纲介绍：
8105
2019-12-16 17:18:22
数据仓库和数据挖掘的有什么联系和区别？
数据仓库和数据挖掘的有什么联系和区别？首先我们要清楚数据仓库是一个实现数据存放庞大的地方，而数据挖掘是从海量的数据中提取数据。因此这两者在本质上就存在明显的区别，不过两者既相互区别又相互联系，数据仓库和数据挖掘都可以看做是商业智能工具集合。下面我们来好好认识一下数据仓库和数据挖掘的定义、联系和区别吧！
11044
2020-01-12 17:13:04
大数据测试的发展和困境分析
随着大数据技术的日益深入发展，大数据测试应运而生。可以预见，大数据测试将成为软件测试工程师的发展目标之一。可能对于许多人来讲，大数据测试还是一个十分陌生的概念。实际上，大数据测试不同于传统的软件测试，在测试类型、策略和工具上，都有很大的不同。本文将为大家仔细分析一下大数据测试的发展和困境，下面我们一起来看看！
8959
2020-03-03 23:44:15
大数据岗位基础要求有哪些？
大数据岗位基础要求:谈起大数据，当然少不了分析软件，这应该是做大数据工作的基础，但市场上有很多各种各样的分析软件，如果没有过人的经验，真的很难找到适合自己或者适合企业的。笔者通过各大企业对大数据相关行业的职位要求，归纳出如下要点：
7433
2020-07-06 14:22:39
