常见问题

1. 什么是实时流计算？

“实时”指实时处理，计算框架支持按消息时间逐条处理；
“流”指数据如水流，一个接着一个；“计算”指数学运算、数据分析、算法模型执行等。
“实时流计算”指实时处理当下正在发生的数据流，逐条大数据分析或算法运算。

2. 目前要流计算引擎支持哪几种？在使用上有什么区别？

目前支持Flink、Spark Streaming两种引擎。其中Flink支持上传jar包、通过IDE拖拽插件的方式进行流计算作业的开发，Spark Streaming只支持上传jar包的方式。

3. 目前要流计算支持哪几种数据源？

Source支持：Kafka
Sink支持：Kafka、Mysql、Oracle、MPP、ES、HBase、Redis

4. 如何快速测试流计算作业是否有问题？

• 在IDE开发页面进行在线开发，开发完毕后，可点击单元测试快速进行作业测试；
• 单元测试使用线下上传的测试数据包充当数据源，支持对数据进行延迟、乱序测试，并快速生成结果；
• 单元测试无误后，可将作业发布到测试环境，进行试运行。经过数据验证后，可将该流计算作业发布至生产环境进行正式运行。

5. 流计算的作业怎么更新？

• 流计算作业支持多版本，版本生成动作通过开发IDE界面的提交进行触发
• 作业提交前，可以在流计算的开发IDE页面进行作业编辑。
• 作业提交后，为保障已有版本作业的稳定，以后版本不可再进行编辑操作，但可以通过生成新版本的方式替换老版本，实现流作业的更新。

6. SavePoint有什么作用，如何创建？

SavePoint可以支持程序升级后，继续从升级前的那个点开始执行计算， 保证数据不中断。SavePoint需要用户手动创建。

7. 是否支持自定义函数，自定义函数的作用范围多大？

流计算支持用户自定义函数，函数统一作用在租户级别。

8. 流计算是否支持用户自定义扩展插件？

流计算支持Kafka Source、SQL operator、ETL operator、JDBC Sink、HBase Sink、ES Sink、Redis Sink、Kafka Sink 这8个插件，可灵活满足用户的各种需求。插件由平台统一维护，不支持租户自定义扩展。

9. 流计算有哪些使用限制？

Flink Sql不支持TopN、Emit等语法，可采用ETL实现。
KafkaSource多流Join，不可同时支持多个Kafka 版本。