在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。数据仓库的设计大体上可以分为以下几个步骤：概念模型设计、技术准备工作、逻辑模型设计、物理模型设计、数据仓库生成、数据仓库运行与维护。下面我们来看看Hive数仓开发的基本流程。
1.从业务系统获取数据
Sqoop 导入数据库的数据：spoop 可以在 Hive 与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到 Hadoop 的HDFS中，也可以将 HDFS 的数据导进到关系型数据库中。
Flume 采集文本数据：Flume 可以将各类型的文件进行采集，存放入 hdfs中。
Ftp 文件服务器：从文件服务器上下载分析所需的源数据（增量数据、全量数据）。
2.数据存储
数据仓库分层 ods 层、dw 层、da 层：
源数据层 ODS ：直接引用外围的数据 没有统一格式化的 不会直接应用使用不利于分析。
数据仓库层 DW ：来自于 ODS 要经过 ETL 的过程 格式统一 数据规整 干净清洁。
数据应用层 DA ：要去用 DW 层数据真正的数据使用者。
数据集市：也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。
3.配置调度系统
4.导出数据&展示
以上就是小编整理的有关大数据面试题之Hive数仓开发的基本流程，都是干货，小伙伴赶紧掌握吧！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
揭秘 数据分析究竟在企业经营中有什么实际作用？
下一篇：
大数据对企业的意义是什么？有哪些大数据经典案例？
相关推荐 更多
Namenode HA 知识点讲解
今天，小编准备了今天，小编准备了Namenode HA 知识点讲解，现在分享给大家。
6291
2019-07-04 16:13:08
大数据面试题 Hadoop/MapReduce，Spark，Strom，Hive 的特点及适用场景
随着移动互联网的发展，云计算大数据开发求职者越来越多，面对如此激烈的市场竞争，小编特为大家整理了大数据面试题：Hadoop/MapReduce，Spark，Strom，Hive 的特点及适用场景。
7887
2019-07-09 15:08:42
大数据进阶面试题Storm开源软件
在大数据求职者眼中，Storm肯定是一款高效的开源软件，它主要用于解决数据的实时计算和实时的处理等方面的问题。同时Storm也是大数据进阶面试题的重难点，因此小编整理了一些近些年来比较经典常见有关Storm的面试题,希望对大家有用。
5767
2019-08-15 16:41:39
大数据面试题之分布式资源调度框架Yarn
Yarn作为一个资源管理、任务调度的框架，其重要性不言而喻。尤其是在近些年的大数据面试中，更是面试题的重点知识之一。为了大家在面试的时候，能够准备的更加充分，小编整理了一份有关分布式资源调度框架Yarn的大数据面试题,内容包括Yarn的架构、工作流程、调度器Scheduler。
6496
2019-09-12 11:00:53
大数据工程师常见面试题 编程模型
在大数据工程师的面试过程中，编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容，感兴趣的小伙伴就赶紧接着看下去吧！
4891
2019-10-14 18:46:44
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
