在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
随着移动互联网的发展,云计算大数据开发求职者越来越多,面对如此激烈的市场竞争,小编特为大家整理了大数据面试题:Hadoop/MapReduce,Spark,Strom,Hive的特点及适用场景。
Hadoop :是一种分布式系统基础架构当处理海量数据的程序,开始要求高可靠、高扩展、高效、低容错、低成本的场景
MapReduce: MapReduce 是一种编程模型,用于大规模数据集(大于 1TB) 的并行运算。MapReduce 的典型应用场景中,目前日志分析用的比较多,还有做搜素的索引,机器学习算法包 mahout 也是之一,当然它能做的东西还有很多,比如数据掘、信息提取。
Spark:拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。数据过于繁杂,并且需要让计算通过迭代,并在内存中,极大地提高效率的场景
Strom:一个分布式实时计算系统,Storm是一个任务并行连续计算引擎。Storm 本身并不典型在 Hadoop 集群上运行,它使用 Apache ZooKeeper 的和自己的主/从工作进程,协调拓扑,主机和工作者状态,保证信息的语义。无论如何, Storm必定还是可以从 HDFS 文件消费或者从文件写入到 HDFS。
Hive:基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。应用场景:十分适合数据仓库的统计分析。
Hbase:应用场景: 数据量太大,以至于传统 RDBMS 无法胜任、联机业务功能开发、离线数据分析(数据仓库)
以上就是Hadoop/MapReduce,Spark,Strom,Hive 的特点及适用场景,希望能帮助大家梳理核心技能点,让大家在面试过程中胸有成竹。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据Hbase面试宝典(中)
应广大同学的需求,本文继续整理了大数据HBase面试问题,希望大家阅读本篇文章以后有所收获,能够对大数据技术的理解更加深入和全面。
7968
2019-07-04 13:58:56
Namenode HA 知识点讲解
今天,小编准备了今天,小编准备了Namenode HA 知识点讲解,现在分享给大家。
6487
2019-07-04 16:13:08
大数据面试题 Hadoop的联邦机制
大数据学习需要掌握很多技术知识点,包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop的联邦机制。
9158
2019-07-18 23:40:42
大数据面试题 Hive数仓开发的基本流程
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。数据仓库的设计大体上可以分为以下几个步骤:概念模型设计、技术准备工作、逻辑模型设计、物理模型设计、数据仓库生成、数据仓库运行与维护。下面我们来看看Hive数仓开发的基本流程。
9779
2019-07-15 16:07:11
大数据岗位Spark面试题整理附答案
众所周知,Spark作为一个集群计算平台和内存计算系统,它是专门为速度和通用目标设计的。从事大数据岗位的工作者,像是ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师都需要熟练掌握Spark相关知识点,因此Spark也是常常会出现的必考面试题。下面我整理了一些Spark面试题,并附上了答案,一起来看看做一做吧!
7585
2020-04-01 17:52:24