Flink教程(01)

您所在的位置:网站首页 flink组件介绍 Flink教程(01)

Flink教程(01)

#Flink教程(01)| 来源: 网络整理| 查看: 265

文章目录 01 引言 02 Flink 知识结构 2.1 Flink介绍 2.2 环境准备 2.3 Flink编程模型 2.4 DataStream API 2.5 Flink状态管理和容错 2.6 DataSet API 2.7 Table API & SQL 2.8 Flink组件栈 2.9 Flink部署与应用 2.10 Flink监控与性能优化 03 Flink 知识图谱 04 文末

01 引言

最近因为工作需要用到了Flink,所以博主开了《Flink教程》专栏来记录Flink的笔记。

在学习Flink之前,我们必须要了解Flink究竟要学习什么?本文列了一个目录,主要用于为后续的教程作一个指南针向导,有个学习的方向。

02 Flink 知识结构

如果用文本来描述Flink图谱,如下:

2.1 Flink介绍

|- Flink介绍 |------Apache Flink是什么 |------数据架构的演变 |------------传统数据基础架构 |------------大数据基础架构 |------------有状态流计算架构 |------------为什么会是Flink |------Flink应用场景 |------Flink基础架构 |------------基本组件栈 |------------基本架构图

2.2 环境准备

|- 环境准备 |------运行环境介绍 |------Flink项目模板 |------------基于Java实现的项目模板 |------------基于Scala实现的项目模板 |------Flink开发环境配置 |------------下载IDEA |------------安装Scala Plugins |------------导入Flink应用代码 |------------项目配置 |------------运行Scala REPL |------------Flink源码编译

2.3 Flink编程模型

|- Flink编程模型 |------数据集类型 |------Flink编程接口 |------Flink程序结构 |------Flink数据类型 |------------数据类型支持 |------------TypeInfomation信息获取

2.4 DataStream API

|- DataStream API |------DataStream编程模型 |------------DataSources数据输入 |------------DataStream转换操作 |------------DataSlinks数据输出 |------时间概念与Watermark |------------时间概念 |------------EventTime和Watermark |------Windows窗口计算 |------------Windows Assigner |------------Windows Function |------------Trigger窗口触发器 |------------Evictors数据剔除器 |------------延迟数据处理 |------------连续窗口计算 |------------Windows多流合并 |------作业链和资源组 |------------作业链 |------------Slots资源组 |------------Asynchronous I/O异步操作

2.5 Flink状态管理和容错

|- Flink状态管理和容错 |------有状态计算 |------Checkpoints和Savepoints |------------Checkpoints检查点机制 |------------Savepoints机制 |------状态管理器 |------------StateBackend类别 |------------状态管理器适配 |------Querable State

2.6 DataSet API

|- DataSet API |------DataSet API |------------应用实例 |------------DataSources数据接入 |------------DataSet转换操作 |------------DataSlinks数据输出 |------迭代计算 |------------全量迭代 |------------增量迭代 |------广播变量 |------分布式缓存 |------语义注解 |------------Forwarded Fields注解 |------------Non-Forwarded Fields注解 |------------Read Fields注解

2.7 Table API & SQL

|- Table API & SQL |------TableEnviroment |------------开发环境构建 |------------TableEnvironment基本操作 |------------外部连接器 |------------时间概念 |------------Temporal Tables临时表 |------Flink Table API |------------Table API 应用实例 |------------数据查询和过滤 |------------窗口操作 |------------聚合操作 |------------多表关联 |------------集合操作 |------------排序操作 |------------数据写入 |------Flink SQL使用 |------------Flink SQL实例 |------------执行SQL |------------数据过滤与查询 |------------Group Windows操作 |------------数据聚合 |------------多表关联 |------------集合操作 |------------数据输出 |------自定义函数 |------------Scalar Function |------------Table Function |------------Agreegation Function |------自定义数据源 |------------TableSource定义 |------------TableSlink定义 |------------TableFactory定义

2.8 Flink组件栈

|- Flink组件栈 |------Flink复杂事件处理 |------------基础概念 |------------Pattern API |------------事件获取 |------------应用实例 |------Flink Gelly图计算应用 |------------基本概念 |------------Graph API |------------迭代图处理 |------------图生成器 |------FlinkML机器学习 |------------基本概念 |------------有监督学习算子 |------------数据预处理 |------------推荐算法 |------------Pipelines In FlinkML

2.9 Flink部署与应用

|- Flink部署与应用 |------Flink集群部署 |------------Standalone Cluster 部署 |------------Yarn Cluster部署 |------------Kubernetes Cluster部署 |------Flink高可用配置 |------------Standalone集群高可用配置 |------------Yarn Session集群高可用配置 |------Flink安全管理 |------------认证目标 |------------认证配置 |------------SSL配置 |------Flink集群升级 |------------任务重启 |------------状态维护 |------------版本升级

2.10 Flink监控与性能优化

|- Flink监控与性能优化 |------监控指标 |------------系统监控指标 |------------监控指标注册 |------------监控指标报表 |------Backpressure监控与优化 |------------Backpressure进程抽样 |------------Backpressure页面监控 |------------Backpressure配置 |------Checkpointing监控与优化 |------------Checkpointing页面监控 |------------Checkpointing优化 |------Flink内存优化 |------------Flink内存配置 |------------Network Buffers配置

03 Flink 知识图谱

Flink教程(01)- Flink知识图谱_hadoop

04 文末

参阅文献:《Flink原理、实战与性能优化》

本文主要列出需要Flink的知识点,谢谢大家的阅读,本文完!



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3