• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 大数据面试题 Hadoop/MapReduce,Spark,Strom,Hive 的特点及适用场景

发布时间:2019-07-09 15:08:42 浏览 7796 来源:博学谷资讯 作者:照照

    随着移动互联网的发展,云计算大数据开发求职者越来越多,面对如此激烈的市场竞争,小编特为大家整理了大数据面试题:Hadoop/MapReduce,Spark,Strom,Hive的特点及适用场景。

     

    大数据面试题 Hadoop/MapReduce,Spark,Strom,Hive 的特点及适用场景

     

    Hadoop :是一种分布式系统基础架构当处理海量数据的程序,开始要求高可靠、高扩展、高效、低容错、低成本的场景

     

    MapReduce: MapReduce 是一种编程模型,用于大规模数据集(大于 1TB) 的并行运算。MapReduce 的典型应用场景中,目前日志分析用的比较多,还有做搜素的索引,机器学习算法包 mahout 也是之一,当然它能做的东西还有很多,比如数据掘、信息提取。

     

    Spark:拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。数据过于繁杂,并且需要让计算通过迭代,并在内存中,极大地提高效率的场景

     

    Strom:一个分布式实时计算系统,Storm是一个任务并行连续计算引擎。Storm 本身并不典型在 Hadoop 集群上运行,它使用 Apache ZooKeeper 的和自己的主/从工作进程,协调拓扑,主机和工作者状态,保证信息的语义。无论如何, Storm必定还是可以从 HDFS 文件消费或者从文件写入到 HDFS。

     

    Hive:基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。应用场景:十分适合数据仓库的统计分析。

     

    Hbase:应用场景: 数据量太大,以至于传统 RDBMS 无法胜任、联机业务功能开发、离线数据分析(数据仓库)

     

    以上就是Hadoop/MapReduce,Spark,Strom,Hive 的特点及适用场景,希望能帮助大家梳理核心技能点,让大家在面试过程中胸有成竹。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 科普Spark,什么是Spark? 下一篇: 参加大数据培训能找哪些工作?需要具备什么技能?

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码