常见问题

最近更新时间:2023-06-16 11:46:57

查看PDF
  1. 什么是实时流计算?

“实时”指实时处理,计算框架支持按消息时间逐条处理;
“流”指数据如水流,一个接着一个;“计算”指数学运算、数据分析、算法模型执行等。
“实时流计算”指实时处理当下正在发生的数据流,逐条大数据分析或算法运算。

  1. 目前要流计算引擎支持哪几种?在使用上有什么区别?

目前支持Flink、Spark Streaming两种引擎。其中Flink支持上传jar包、通过IDE拖拽插件的方式进行流计算作业的开发,Spark Streaming只支持上传jar包的方式。

  1. 目前要流计算支持哪几种数据源?

Source支持:Kafka
Sink支持:Kafka、Mysql、Oracle、MPP、ES、HBase、Redis

  1. 如何快速测试流计算作业是否有问题?
  • 在IDE开发页面进行在线开发,开发完毕后,可点击单元测试快速进行作业测试;
  • 单元测试使用线下上传的测试数据包充当数据源,支持对数据进行延迟、乱序测试,并快速生成结果;
  • 单元测试无误后,可将作业发布到测试环境,进行试运行。经过数据验证后,可将该流计算作业发布至生产环境进行正式运行。
  1. 流计算的作业怎么更新?
  • 流计算作业支持多版本,版本生成动作通过开发IDE界面的提交进行触发
  • 作业提交前,可以在流计算的开发IDE页面进行作业编辑。
  • 作业提交后,为保障已有版本作业的稳定,以后版本不可再进行编辑操作,但可以通过生成新版本的方式替换老版本,实现流作业的更新。
  1. SavePoint有什么作用,如何创建?

SavePoint可以支持程序升级后,继续从升级前的那个点开始执行计算, 保证数据不中断。SavePoint需要用户手动创建。

  1. 是否支持自定义函数,自定义函数的作用范围多大?

流计算支持用户自定义函数,函数统一作用在租户级别。

  1. 流计算是否支持用户自定义扩展插件?

流计算支持Kafka Source、SQL operator、ETL operator、JDBC Sink、HBase Sink、ES Sink、Redis Sink、Kafka Sink 这8个插件,可灵活满足用户的各种需求。插件由平台统一维护,不支持租户自定义扩展。

  1. 流计算有哪些使用限制?

Flink Sql不支持TopN、Emit等语法,可采用ETL实现。
KafkaSource多流Join,不可同时支持多个Kafka 版本。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈