• 15h

    课程时长

  • 无限期

    有效期

  • 813

    学习人数

课程简介

ETL工程师,在数据仓库类职位中占有很大比例,而且薪水都不差。IT人一下子转型数据分析师可能跳跃度比较大难度高,先转型数据仓库/ETL工程师再择机往更高处走是合理选择之一。在ETL软件中,使用最多的是开源的Kettle,完全免费,功能和性能不弱于datastage这类商业ETL软件,使用Kettle和其它开源数据平台软件,例如Mysql集群,Hadoop集群等组合在一起,是性价比极高的架构选择。

适学人群

1 对数据仓库感兴趣的高校学生和教师

2 在职的IT人员

学完收获

使用kettle完成数据的抽取、清洗、加载

课程亮点

全面讲解:全面讲解了开发中使用的模块

实战学习:先理论后案例动手实战学习

全新软件:采用了kettle8.2来进行教学

主讲内容

Kettle简介:

kettle、转换、作业、Step、Hop

Kettle输入

Excel输入、Get data from XML、JSON input、文本文件输入、生成记录、自定义常量数据、表输入

Kettle输出

Excel输出、Microsoft Excel输出、SQL文件输出、删除、插入/更新、文本文件输出、更新、表输出

Kettle转换

Concat fields、值映射、列拆分为多行、列转行、剪切字符串、去除重复记录、唯一行(哈希值)、增加常量、增加序列、字段选择、字符串操作、字符串替换、拆分字段、排序记录、行扁平化、行转列、计算器

Kettle应用

写日志、替换NULL值

Kettle流程

Switch/case、中止、空操作(什么也不做)、过滤记录

Kettle脚本

Java代码、JavaScript代码、执行SQL脚本

Kettle查询

HTTP Client、数据库查询、数据库连接、流查询

Kettle连接

合并记录、记录关联(笛卡尔积输出)、记录集连接

Kettle统计

分组

Kettle映射

映射(子转换)、映射输入规范、映射输出规范

Kettle作业

作业、参数

课程效果

师资团队
  • 大数据高级讲师
    高级讲师
    多年JavaEE开发及编码经验,曾主导多个项目开发,熟悉SpringMVC、MyBatis、Spring等JavaWeb技术,具有多年大数据开发经验,对大数据领域中的常用框架hadoop、hive、flume、kafka、storm、spark等有丰富的实战经验和研究。授课风格严谨,课堂气氛活跃。