`

开源ETL工具kettle--数据迁移

阅读更多



 背景

由于项目的需求,需要将数据从Oracle迁移到MSSQL,不是简单的数据复制,而是表结构和字段名都不一样,甚至需要处理编码规范不一致的情况,如下图所示




 
 

 

注意:Oracle和MSSQL中的同名表的字段名是不相同的

如果要是采用手工SQL语句操作的话会很麻烦,需要考虑

Oracle和MSSQL SQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题

而这些问题对于kettle来说都不叫事,下面就为大家介绍如何使用强大的kettle实现数据的迁移

实战

Kettle翻译成中文是“水壶”,这个名字很形象,不管你向水壶当中添加了哪些液体或者可溶物质从壶嘴里面出来的都是均匀统一的液体。对于数据加载就是:不管数据源采用什么样的格式,Excel、datatable、纯文本或者是xml,kettle都能转化成统一的格式进行处理,并且能够更具用户的需要导出不同的格式

下面我们就用kettle来解决上述问题

首先介绍一下kettle的两个工作单元:transformation和job

transformation:实现数据的转化

job:对transformation根据依赖关系组织执行顺序,还可以对job的执行进行条件判断和预处理,用户还可以设 置job的执行时间,比如每天的9:00开始执行job,这和持续构建中的job意思一样。

看一下这款神奇的软件长的什么样子



 

 

首先我们创建一个transformation,命名:tr_stu_and_class,如下图所示,目的是先将学生和班级的信息从Oracle迁移到mssql

\" width=下载地址

http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download

  • 大小: 609 KB
  • 大小: 117.4 KB
  • 大小: 23.3 KB
  • 大小: 15.3 KB
  • 大小: 42.4 KB
  • 大小: 176.8 KB
  • 大小: 13.3 KB
分享到:
评论

相关推荐

    ETL工具KETTLE实例手册

    开源ETL工具 Kettle ------------------------------------------ 分享到 新浪微博腾讯微博已用 +30 收藏+164 Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中...

    使用PDI构建开源ETL解决方案 [MATT CASTERS著;初建军,曹雪梅译]

    通过这本书你可以学习到: 1. 数据整合是什么?数据整合的价值 2. Kettle解决方案的概念基础 3. 如何在单机和客户/服务器环境...6. Kettle如何完成数据抽取/清洗和确认,处理维度表,加载事实表,操作OLAP立方体 .....

    Kettle使用培训文档

    Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

    Kettle 培训手册

    Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高 效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针 对数据的基础转换,job则完成整个工作流的控制。

    kettle数据库迁移

    ettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix等上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。 Spoon通过图形化的页面,方便直观的...

    百度地图毕业设计源码-x-smart-kettle-server:基于当前互联网最热的springboot微服务架构,采用丰富的vue、ivi

    数据的ETL(抽取、转换、加工)的能力。 注意:本系统并非是对kettle源码的再造,而是借助kettle的API,实现kettle在web端功能华丽的转身 1. 它是一款超轻量级的kettle web端调度监控平台 支持作业、转换的自定义...

    Kettle 使用说明书

    ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于金融IT 来说,经常会遇到大数据量的处理,转换,迁移,...Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定。

    kettle(学习手册、中文手册、Kettle使用培训文档)

    ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于 金融IT 来说,经常会遇到大数据...Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高 效稳定。是学习kettle的好资料!

    Kettle 4.4.0_API CHM格式

    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的...

    kettle5.0软件包

    kettle5.0软件包 Kettle是一款开源的ETL(Extract, Transform, Load)工具,也被称为Pentaho Data ...无论是数据仓库、商业智能、数据迁移、数据同步还是其他数据处理需求,Kettle都是一个值得考虑和使用的工具。

    Kettle 7.1.0 API (CHM格式)

    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的...

    js-1.7r3.jar

    kettle开发工具包,Kettle 是一款国外开源的 etl 工具,纯 java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,...

    kattle.rar

    Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作...

Global site tag (gtag.js) - Google Analytics