<>前言:Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

 

<>Kettle中有两种脚本文件:

<>transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

<>基本概念:

<>Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界面来设计ETL过程。启动过程为进入data-integration目录,双击spoon.bat

PAN 允许你批量运行由Spoon设计的ETL转换 。Pan是一个后台执行的程序,没有图形界面。

CHEF 允许你创建任务(Job)。

KITCHEN 允许你批量使用由Chef设计的任务。KITCHEN也是一个后台运行的程序。

作业(job)
负责将[转换]组织在一起进而完成某一块工作,通常我们需要把一个大的任务分解成几个逻辑上隔离的作业,当这几个作业都完成了,也就说明这项任务完成了。

转换(Transformation)

定义对数据操作的容器,数据操作就是数据从输入到输出的一个过程,可以理解为比作业粒度更小一级的容器,我们将任务分解成作业,然后需要将作业分解成一个或多个转换,每个转换只完成一部分工作。

<>kettle搭建非常简单,开箱即用。前提是java的环境变量得本地电脑配置好。

技术
©2019-2020 Toolsou All rights reserved,
java实现抢红包功能TP6验证器的使用示例及正确验证数据员工网上晒腾讯年终奖:每人100股公司股票 价值超6万元!QCustomPlot系列(5)-实时动态曲线连 CEO 都不香了?这些互联网大佬接连辞任"头孢就酒 说走就走"?危险!服用这些药物千万别喝酒Python+OpenCV人脸识别技术详解蚂蚁集团董事长井贤栋安抚员工:公司终究会上市的面试的时候突然遇到答不上的问题怎么办?关于keras使用fit_generator中遇到StopIteration