flink和spark对比（Structured streaming time模拟eve）

作者：百科火更新：2022-05-02 13:17:01 数码极客

最佳答案技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch，数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种伪实时。而Flink是基于事件驱动，它是一个面向流的处理框架，Flink基于每个事件一行一行地流式处理，是真正的流式计算。

1、技术性核心理念不一样：Spark的新技术核心理念是采用微批来模拟流的测算，根据Micro-batch,数据流以时间为企业被切分成一个个批号，根据分布式系统数据集RDD开展批量处理，是一种伪即时。而Flink是根据量化策略，它是一个面对流的解决架构， Flink根据每一个事情一行一行地流式的解决，是真真正正的流式计算。此外他还可以根据流来模拟批开展测算完成批处理命令，从技术上具备更强的扩展性。

2、时间机制：SparkStreaming只支持解决时间，最合适的地应用processing time来相近地完成event time有关的业务流程。应用processing time模拟event time必定会形成一些偏差，特别是在造成数据沉积的情况下，偏差则更显著，乃至造成数值不能用，Structured streaming 支持解决时间和事件时间，与此同时支持 watermark 机制解决落后数据Flink 支持三种时间机制：事情时间、引入时间、解决时间、与此同时支持 watermark 机制解决晚到的数据，表明Flink在解决乱序大即时数据的情况下，优点非常大。

- END -

文章有误？点击报错