相信大家都明白开源软件的重要性,好用的开源软件真的是太多了。本文就主要针对大数据领域,给大家推荐十款好用的开源软件,即HBase、Hadoop分布式文件系统、Hive、Spark、Redis、SpagoBI、Lucene、HDP、CDH、HPCC。
1、HBase
HBase是为有数十亿行和数百万列的超大表设计的,这是一种分布式数据库,可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable,不过基于Hadoop和Hadoop分布式文件系统(HDFS)而建。
2、Hadoop分布式文件系统(HDFS)
HDFS是面向Hadoop的文件系统,不过它也可以用作一种独立的分布式文件系统。它基于Java,具有容错性、高度扩展性和高度配置性。支持的操作系统:Windows、Linux和OS X。
3、Hive
Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据,这是一种类似SQL的语言。
4、Spark
作为MapReduce之外的一种选择,Spark是一种数据处理引擎。它声称,用在内存中时,其速度比MapReduce最多快100倍;用在磁盘上时,其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。支持的操作系统:Windows、Linux和OS X。
5、Redis
Redis现在由Pivotal赞助,这是一种键值缓存和存储系统。提供收费支持。要注意:虽然该项目并不正式支持Windows,不过微软在GitHub上有一个Windows派生版。支持的操作系统:Linux。
6、SpagoBI
Spago被市场分析师们称为“开源领袖”,它提供商业智能、中间件和质量保证软件,另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源,不过也提供收费的支持、咨询、培训及其他服务。
7、Lucene
基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称,它在现代硬件上每小时能够检索超过150GB的数据,它含有强大而高效的搜索算法。开发工作得到了Apache软件基金会的赞助。
8、HDP
HDP是Apache Hadoop分发版。Hortonworks Data Platform(HDP)用于创建安全的企业数据湖,为企业提供实现快速、实时商业洞察力所需的分析信息。HDP是一个开源大数据的生态系统。
9、CDH
CDH是Apache Hadoop分发版。CDH除没有HDP那样开放开源外,其它都很类似。CDH文档都组织、整理的不错,可作为了解、学习大数据、Apache Hadoop的一个重要资源。
10、HPCC
在Apache Hadoop & Spark统治的大数据市场,HPCC显得弥足珍贵,值得更多关注。HPCC 包括以下核心组件:Thor (the Data Refinery Cluster);Roxie (Rapid Online XML Inquiry Engine, the Query Cluster);ECL (Enterprise Control Language)ECL IDE;ESP (Enterprise Services Platform)。HPCC在安全、身份和风险管理有众多成功案例。
以上十款大数据领域好用的开源软件就推荐到这里了。当然啦,好用的开源软件的还有很多,小编会陆续整理出来。希望本篇文章能够对大家有所帮助。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据面试:数据仓库工具hive面试题集锦
进入DATE时代,大数据技术成为互联网发展的核心要素之一。与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术:Hadoop、Hive、Storm、Spark、Scala等等。而且这些技术知识点已经成为大数据工程师进入职场时面试中必备的考点。这里主要和大家分享一下数据仓库工具hive相关的面试题!
11714
2019-07-05 17:30:53
Hive数据仓库层级划分介绍
本文就Hive数据仓库层级划分进行详细介绍,全文大概分为数据仓库的四个操作和四逻辑架构层次两个部分。这些都是Hive数据仓库的基础知识,大家一定要掌握哦!
7407
2019-08-09 19:31:31
大数据挖掘工具软件有哪些?大数据软件工具介绍
当下,我们无时无刻不徜徉在大数据的海洋。对于数据分析师来讲,借助一些大数据挖掘工具软件,可以更好地帮助企业了解用户并提供相应的服务。那么大数据挖掘工具软件有哪些呢?
6023
2019-09-03 11:41:21
ETL数据工程师职业发展怎么样?
随着大数据发展的逐渐落地,其技术也被广泛的应用于各个领域,大数据工程师也因此成为了目前最具潜力的热门岗位。说到大数据工程师就不得不提及ETL数据工程师,相信大家对这个职位或多或少都有所了解。但是对于ETL数据工程师的具体工作内容、能力要求和职业发展规划大家又了解多少呢?本文就来和大家好好谈谈ETL数据工程师的这一岗位,希望给想从事这个行业的小伙伴一点方向的指引。
4762
2020-02-25 18:28:52
大数据开发常用的工具介绍
Java语言和 Linux操作系统,它们是学习大数据的基础。java:只需了解一些基本知识,不需要用很深的 Java技术来做大数据,学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行,所以 Linux要学扎实一点,学好Linux对你快速掌握与大数据有关的技术,能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
2559
2020-07-02 13:49:48
热门文章
- JavaEE极速就业班课程怎么样?有哪些优势?
- 狂野大数据课程怎么样?项目实战多吗?
- 狂野架构师课程培训哪些内容?能学会吗?
- Spark SQL 结构化数据处理流程及原理是什么?
- Java互联网架构师就业前景怎么样?待遇好不好?
- 狂野架构师课程怎么样?Java架构师学什么内容?
- 狂野大数据厉害吗?可以提升哪些核心技能?
- 缓存淘汰策略有几种?要怎么用?
- 软件测试极速就业班课程怎么样?零基础能学吗
- 狂野架构师学习效果好不好?互联网Java架构师前景怎么样? 查看更多
扫描二维码,了解更多信息
