靓丽时尚馆

位置:首页 > 健康生活 > 心理

flink数据延迟怎么处理

心理3.07W
flink数据延迟怎么处理

Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时,该元素本该被分配到某个窗口,但由于延迟,窗口已经触发计算。目前Flink有三种处理迟到数据的方式:

(1)直接将迟到数据丢弃:会造成数据丢失

(2)将迟到数据发送到另一个流:输出到侧输出流,保证数据的完整性,可更新计算结果

(3)重新执行一次计算,将迟到数据考虑进来,更新计算结果:数据准确率高,保证数据完整性

标签:flink 延迟