DAG:directed Acyclic Graph 有向无环图
![[大数据-Flink学习-有向无环图.png]] 命令式编程和声明式编程 ![[大数据-Flink学习-编程类型-命令和声明.png]] ![[大数据-阿里开源Flink极速上手教程-API层次.png]]
![[大数据-阿里开源Flink极速上手教程-作业产生过程.png]]
以上图用于辅助观看源码,观察整个作业的生成过程。 ![[大数据-阿里开源Flink极速上手教程-DataStrem转换操作.png]] preocessFunction和CoProcessFunction是底层的function,左边蓝色操作都可以基于这两个函数实现。
数据分区(Shuffle)
- 批处理-Shuffle
- 流处理-Partition ![[大数据-阿里开源Flink极速上手教程-数据分区.png]]
![[大数据-阿里开源Flink极速上手教程-分区策略.png]]
keyBy()不算底层的分区策略,是一个转换操作 dataStream.RESCALE(), 避免跨网络分配数据 ![[大数据-阿里开源Flink极速上手教程-连接器.png]]
![[大数据-阿里开源Flink极速上手教程-有状态的计算.png]]
![[大数据-阿里开源Flink极速上手教程-状态原语.png]]
![[大数据-阿里开源Flink极速上手教程-keyedstate.png]]
![[大数据-阿里开源Flink极速上手教程-时间.png]]
![[大数据-阿里开源Flink极速上手教程-时间2.png]] ![[大数据-阿里开源Flink极速上手教程-watermark.png]]
![[大数据-阿里开源Flink极速上手教程-时间API.png]]
![[大数据-阿里开源Flink极速上手教程-作业.png]]
评论 (0)