在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
学习大数据的同学都知道，Hadoop是一个很重要的知识点。本文主要概括了Hadoop的定义、优势和作用，带大家了解Hadoop基础知识能够快速入门。
1、Hadoop的定义
一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。
2、Hadoop的优势
高可靠性 ： Hadoop 按位存储和处理数据的能力值得人们信赖。
高扩展性 ： Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以干计的节点中。
高效性 ： Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性 ： Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分。
低成本 ： 与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比，Hadoop 是开源的，项目的软件成本因此会大大降低。
Hadoop 带有用 Java 语言编写的框架，因此运行在 linux 生产平台上是非常理想的， Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
3、Hadoop可以做什么
可以大数据存储：分布式存储
日志处理：擅长日志分析
ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
机器学习: 比如Apache Mahout项目
搜索引擎:Hadoop + lucene实现
数据挖掘：目前比较流行的广告推荐，个性化广告推荐
Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。
以上就是Hadoop基础知识的快速入门讲解，大家都弄清楚了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
仅会使用Excel能做数据分析师吗？
下一篇：
云计算大数据好就业吗？未来前景如何？
相关推荐 更多
大数据核心技术：spark学习总结
想要学习大数据，一定要充分掌握大数据的核心技术：Hadoop、Strom、spark等等。Spark是一种与Hadoop像是的开源集群计算环境。它启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
9142
2019-06-19 17:37:43
做大数据开发累吗？需不需要加班？
做大数据开发累吗？需不需要加班？首先我们来了解大数据的工作内容，用一句话总结就是分析历史、预测未来、优化选择。总体上看来，大数据开发的工作需要按部就班进行，因此一般不需要加班，但是偶尔也会因为额外的需求增加以及对项目进度的把控而需要加班。不过，就与其它的研发技术岗位比较，大数据开发已经算是比较轻松的工作了。
15489
2019-09-16 10:10:54
大数据从零开始入门自学书籍推荐
如今，有数据的地方就有大数据，大数据的火爆也造就了大数据人才在就业市场上的抢手。随着未来大数据的进一步发展，大数据的人才空缺会越来越大。正因如此，许多人都想在大数据时代的浪口，掌握这门安身立命的本领和技能。对于那些从零开始入门自学大数据的朋友，本文将推荐几本适合小白学习的书籍，希望对大家有所帮助。
5736
2019-12-27 17:08:42
Hadoop入门基础知识总结
大数据时代的浪潮袭来，Hadoop作为一种用来处理海量数据分析的工具，是每一个大数据开发者必须要学习和掌握的利器。本文总结了Hadoop入门基础知识，主要包括了Hadoop概述、Hadoop的发展历程和Hadoop的特性。下面一起来看看吧！
5156
2020-06-18 10:14:31
大数据开发工程师需要学习哪些知识点？
大数据开发工程师需要学习哪些知识点？大数据程序员需要有坚实的大数据技术理论基础、了解数据平台、掌握数据存储 HDFS、、日志解析及计算 MR、数据获取和预处理 Flume、结构化查询 Hive、数据获取和预处理 Sqoop、大数据调度框架Azkaban、Scala编程基础等相关知识。
5756
2020-09-03 14:13:34
