专业编程基础技术教程

网站首页 > 基础教程 正文

FLINK-SQL之JOIN的6种方式 flink join方式

ccvgpt 2024-10-11 11:39:21 基础教程 9 ℃

1.regular join

重点 left join,right join,full join 会存在着 retract 回撤的问题(图中的+I,-D),如果目标端不能去重幂等,数据会重复。

FLINK-SQL之JOIN的6种方式 flink join方式



2.interval join

消除上述regular的retract,左右流等待一段时间或者设置Watermark后容忍时间关联,注意时间大小设置对state size影响



3.temporal join

版本属性,拉链时间,维度起止有效期等类似概念。

左右两张表都设置 Watermark,Versioned Table 的主键包含在 Join on 的条件中




4.lookup join

俗称维度表join,例如关联mysql,hbase,redis的维度属性表


5.array expansion

类似presto,hive,clickhouse等olap的炸裂函数类似,一列转多行


6.table function

属于自定义函数范畴,有两种写法实现

倾向于create function xx as “类路径”




Tags:

最近发表
标签列表