Spoon工具使用(kettle进行实时同步数据)

您所在的位置:网站首页 kettle数据同步工具 Spoon工具使用(kettle进行实时同步数据)

Spoon工具使用(kettle进行实时同步数据)

2023-03-24 11:56| 来源: 网络整理| 查看: 265

文章目录 Spoon工具使用(kettle进行实时同步数据)安装相关概念转换DB连接步骤和节点连接作业DB连接作业项目

Spoon工具使用(kettle进行实时同步数据) 安装

解压完Spoon安装包后,双击.bat文件打开在这里插入图片描述在这里插入图片描述

相关概念 转换:一个或多个数据抽取的工作流程,比如全量抽取某个表的数据等等作业:进行转换或其他操作的集合转换

在这里插入图片描述 新建转换之后,找到主对象树,这里DB连接、步骤、节点连接是必要的,其他的功能项按需求来在这里插入图片描述

DB连接

DB连接是配置数据库的连接信息,以供步骤进行使用(下面会讲到步骤)

这里我们新建数据连接,填上数据库的连接信息

在这里插入图片描述

插入表为127-mysql-test 库中的user2表更新表为127-mysql-test2库中的user3表步骤和节点连接

步骤是用图形化的界面展示你进行kettle转换的一些详细操作 节点连接是连接各个步骤之间的操作

步骤里面包含表输入、表输出、写脚本…选取拖动即可在这里插入图片描述

我这里要做的步骤是:每次增量替换数据(插入/更新/删除数据) 1、执行sql脚本,清空目标表(下面两个方面设置后可以单次执行插入和更新,但是删除源表后,插入表不能同步删除,所以需要设置“执行sql脚本”进行同步删除操作。)在这里插入图片描述 2、表输入在这里插入图片描述 3、表输出在这里插入图片描述 到此就写完了一个转换,如果有多张表,可以在图形化界面中加入多个转换在这里插入图片描述

作业

在这里插入图片描述 新建作业之后,找到主对象树,这里DB连接、作业项目等做详细建设在这里插入图片描述

DB连接

跟之前一样,就不详细介绍了,有需要可以用到

作业项目

这里是使用你刚才写的转换,然后启动作业进行kettle抽取

在这里插入图片描述在这里插入图片描述

在这里插入图片描述 然后启动就可以定时调度了,定时同步数据就完成了。

1、job文件加入对应参数的初始值在这里插入图片描述

2、转换文件用${…}填入在这里插入图片描述



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3