红帽家 记录技术与生活

大数据-阿里开源Flink极速上手教程

DAG:directed Acyclic Graph 有向无环图

![[大数据-Flink学习-有向无环图.png]] 命令式编程和声明式编程 ![[大数据-Flink学习-编程类型-命令和声明.png]] ![[大数据-阿里开源Flink极速上手教程-API层次.png]]

![[大数据-阿里开源Flink极速上手教程-作业产生过程.png]]

以上图用于辅助观看源码,观察整个作业的生成过程。 ![[大数据-阿里开源Flink极速上手教程-DataStrem转换操作.png]] preocessFunction和CoProcessFunction是底层的function,左边蓝色操作都可以基于这两个函数实现。

数据分区(Shuffle)

  • 批处理-Shuffle
  • 流处理-Partition ![[大数据-阿里开源Flink极速上手教程-数据分区.png]]

![[大数据-阿里开源Flink极速上手教程-分区策略.png]]

keyBy()不算底层的分区策略,是一个转换操作 dataStream.RESCALE(), 避免跨网络分配数据 ![[大数据-阿里开源Flink极速上手教程-连接器.png]]

![[大数据-阿里开源Flink极速上手教程-有状态的计算.png]]

![[大数据-阿里开源Flink极速上手教程-状态原语.png]]

![[大数据-阿里开源Flink极速上手教程-keyedstate.png]]

![[大数据-阿里开源Flink极速上手教程-时间.png]]

![[大数据-阿里开源Flink极速上手教程-时间2.png]] ![[大数据-阿里开源Flink极速上手教程-watermark.png]]

![[大数据-阿里开源Flink极速上手教程-时间API.png]]

![[大数据-阿里开源Flink极速上手教程-作业.png]]

评论 (0)

还没有评论,来抢沙发吧~

无需注册,留下昵称即可评论。

支持 Markdown 基本语法(链接会自动加 nofollow);不支持图片、HTML、代码高亮。