一、Dlink 是什么

Dlink 是一个基于 Apache Flink 开发的 FlinkSQL Studio，可以连接多个 Flink 集群实例，并在线开发、执行、提交 FlinkSQL 语句以及预览其运行结果，支持 Flink 官方所有语法并进行了些许增强。

Dlink 在 DataLink（https://github.com/DataLinkDC/DataLink） 中的定位是一个实时计算平台，将提供相关功能如开发调试、元数据、血缘分析、任务调度等功能。

二、与Flink的关系

Dlink 基于 Flink 源码二次开发，主要应用于 SQL 任务的管理与执行。以下将介绍 Dlink-0.2.3 与 Flink 的关系。

Dlink 主要依靠 Flink Client 和 Rest API 与远程的 Flink 集群实例进行数据交互与业务操作。

Dlink 在执行 FlinkSQL 的过程中通过 Executor 和 Interceptor 添加了其特有的功能，使 Flink 的交互更加友好。

Dlink 的 Connector 的使用与扩展同 Flink 的完全一致，即当使用 Flink 集成 Dlink 时，只需要将 Flink 扩展的依赖加入 Dlink 的 lib 下即可。

当然，Dlink 自身源码也提供了一些 Connector ，它们遵循 Flink 的扩展要求，可以直接被加入到 Flink 的 lib 下进行使用。

Dlink 的单机版只能同时稳定连接同一大版本号下的不同版本的 Flink 集群实例，连接其他大版本号的集群实例在提交任务时可能存在问题；而 DataLink 中的 Dlink 微服务版可以同时稳定连接所有版本号的 Flink 集群实例。

Dlink 提供了多版本的 dlink-client.jar，根据需求选择对应版本的依赖加入到 lib 下即可稳定连接该版本的 Flink 集群实例。

Dlink 提供的共享会话对 Flink 的 Catalog、环境配置等进行了长期管理，可以实现团队开发共享 Catalog 的效果。

Dlink 对 FlinkSQL 的语法进行增强，主要表现为 Sql 片段与表值聚合 Sql 化。

Dlink 可以对同步执行的 FlinkSQL 进行运行完成的结果预览，同 sql-client。

三、概念原理

在 Dlink 中具有六个概念，当熟悉他们的原理时，可以搭配出更强大的使用效果。

本地环境即为LocalEnvironment，是在本地模式运行 Flink 程序的句柄，在本地的 JVM （standalone 或嵌入其他程序）里运行程序，通过调用ExecutionEnvironment.createLocalEnvironment()方法来实现。

Dlink 通过本地环境来实现隔离调试，本地环境执行时所需要的 connector 等资源在 lib 目录下引入。本地环境执行过程包含完整的 sql 执行过程。

远程环境即为RemoteEnvironment，是在远程模式中向指定集群提交 Flink 程序的句柄，在目标集群的环境里运行程序，通过调用ExecutionEnvironment.createRemoteEnvironment(host,port)方法来实现，其中 host 为 rest.address ，port 为 rest.port 。

Dlink 可以对任意 standalone、on yarn等运行模式的远程集群进行 sql 提交。远程环境执行过程只包含 sql 任务的准备工作，即解析、优化、转化物理执行计划、生成算子、提交作业执行图。所以远程环境执行时所需要的 connector 等资源也需要在 lib 目录下引入。

共享会话为用户与执行环境的操作会话，主要包含 Catalog、片段、执行环境配置等内容。可以认为官方的 sql-client 是一个会话，保留了本次命令窗口的操作结果，当退出 sql-client 后，会话结束。

Dlink 的共享会话相当于可以启动多个 sql-client 来进行会话操作，并且其他用户可以使用您的会话 key ，在对应环境中共享您的会话的所有信息。例如，通过执行环境 + 共享会话可以确定唯一的 Catalog。

临时会话指不启用共享会话，您每次交互执行操作时，都会创建临时的独立的会话，操作解释后立即释放，适合作业解耦处理。

Dlink 的临时会话相当于只启动一个 sql-client ，执行完语句后立即关闭再启动。

同步执行指通过 Studio 进行操作时为同步等待，当语句运行完成后返回运行结果。

Dlink 的语句与官方语句一致，并做了些许增强。Dlink 将所有语句划分为三种类型，即 DDL、DQL 和 DML 。对于同步执行来说， DDL 和 DQL 均为等待语句执行完成后返回运行结果，而 DML 语句则立即返回异步提交操作的执行结果。

异步提交指通过 Studio 进行操作时为异步操作，当语句被执行后立马返回操作执行结果。

对于三种语句类型，Dlink 的异步提交均立即返回异步操作的执行结果。当前版本的 Dlink 的异步提交不进行历史记录。

组合效果

运行环境

会话类型

运行方式

适用场景

本地环境

临时会话

同步执行

无集群或集群不可用的情况下单独开发FlinkSQL作业，需要查看运行结果

本地环境

共享会话

同步执行

无集群或集群不可用的情况下复用Catalog或让同事排查bug，需要查看运行结果

本地环境

临时会话

异步提交

无集群或集群不可用的情况下快速启动一个作业，不需要查看运行结果

本地环境

共享会话

异步提交

共享会话效果无效

远程环境

临时会话

同步执行

依靠集群单独开发FlinkSQL作业，需要查看运行结果

远程环境

共享会话

同步执行

依靠集群复用Catalog或让同事排查bug，需要查看运行结果

远程环境

临时会话

异步提交

快速向集群提交任务，不需要查看运行结果

远程环境

共享会话

异步提交

共享会话效果无效

四、源码扩展

Dlink 的源码是非常简单的， Spring Boot 项目轻松上手。

该模块为管理模块，基于 Spring Boot + MybatisPlus 框架开发，目前版本对作业、目录、文档、集群、语句等功能模块进行管理。

该模块为 Client 的封装模块，依赖了 flink-client，并自定义了新功能的实现如 CustomTableEnvironmentImpl、SqlManager 等。

通过该模块完成对不同版本的 Flink 集群的适配工作。

该模块为 Connector 的封装模块，用于扩展 Flink 的 Connector。

该模块为 Dlink 的核心处理模块，里面涉及了共享会话、拦截器、执行器等任务执行过程使用到的功能。

该模块为 Dlink 的文档模块，部署相关资源以及使用文档等资料都在该模块下。

该模块为 UDF 的封装模块，用于扩展 Flink 的 UDF 。

该模块为 Dlink 的前端工程，基于 Ant Design Pro 开发，属于 React 技术栈，其中的 Sql 在线编辑器是基于 Monaco Editor 开发。

安装相关依赖

启动前端项目

编译项目后，运行 dlink-admin 下的 Dlink启动类。

当前版本的 Dlink 在 IDE 进行调试时，需要将 dlink-core 下 pom 中的 dlink-client-1.12、dlink-connector-jdbc、dlink-function 的 scope 注释掉后才能正常加载运行环境。

打包成功后将 dlink-web/dist 目录下的内容放到 dlink-admin 的 static 下。

五、部署-单机

链接：https://pan.baidu.com/s/16egitElK1p8QcyDEavzMRQ

提取码：0203

六、未来

Dlink 从零开源三周了，目前正在积极地通过小伙伴们反馈的问题进行优化改进，后续将随版本号开放更多实用的功能。近期，Dlink 将开放集群任务的管理与血缘分析等功能。

未来，Dlink 将紧跟 Flink 官方社区发展，为推广及发展 Flink 的应用而奋斗。

Dlink 将后续不断完善 Studio，打造 FlinkSQL 的最佳搭档的形象。当然元数据、时间与依赖调度、血缘分析、影响分析、数据地图、监控预警等核心功能将逐步上线。

与此同时，DataLink 数据中台将同步发展，未来将提供开源的企业级数据中台解决方案。