“实时”指实时处理,计算框架支持按消息时间逐条处理;
“流”指数据如水流,一个接着一个;“计算”指数学运算、数据分析、算法模型执行等。
“实时流计算”指实时处理当下正在发生的数据流,逐条大数据分析或算法运算。
目前支持Flink、Spark Streaming两种引擎。其中Flink支持上传jar包、通过IDE拖拽插件的方式进行流计算作业的开发,Spark Streaming只支持上传jar包的方式。
Source支持:Kafka
Sink支持:Kafka、Mysql、Oracle、MPP、ES、HBase、Redis
SavePoint可以支持程序升级后,继续从升级前的那个点开始执行计算, 保证数据不中断。SavePoint需要用户手动创建。
流计算支持用户自定义函数,函数统一作用在租户级别。
流计算支持Kafka Source、SQL operator、ETL operator、JDBC Sink、HBase Sink、ES Sink、Redis Sink、Kafka Sink 这8个插件,可灵活满足用户的各种需求。插件由平台统一维护,不支持租户自定义扩展。
Flink Sql不支持TopN、Emit等语法,可采用ETL实现。
KafkaSource多流Join,不可同时支持多个Kafka 版本。
文档内容是否对您有帮助?
评价建议不能为空
非常感谢您的反馈,我们会继续努力做到更好!