常见问题

最近更新时间:2019-12-20 14:15:48

  1. 什么是实时流计算?

“实时”指实时处理,计算框架支持按消息时间逐条处理; “流”指数据如水流,一个接着一个;“计算”指数学运算、数据分析、算法模型执行等。 “实时流计算”指实时处理当下正在发生的数据流,逐条大数据分析或算法运算。

  1. 目前要流计算引擎支持哪几种?在使用上有什么区别?

目前支持Flink、Spark Streaming两种引擎。其中Flink支持上传jar包、通过IDE拖拽插件的方式进行流计算作业的开发,Spark Streaming只支持上传jar包的方式。

  1. 目前要流计算支持哪几种数据源?

Source支持:Kafka Sink支持:Kafka、Mysql、Oracle、MPP、ES、HBase、Redis

  1. 如何快速测试流计算作业是否有问题?
  • 在IDE开发页面进行在线开发,开发完毕后,可点击“单元测试”快速进行作业测试;
  • 单元测试使用线下上传的测试数据包充当数据源,支持对数据进行延迟、乱序测试,并快速生成结果;
  • 单元测试无误后,可将作业发布到测试环境,进行试运行。经过数据验证后,可将该流计算作业发布至生产环境进行正式运行。
  1. 流计算的作业怎么更新?
  • 流计算作业支持多版本,版本生成动作通过开发IDE界面的“提交”进行触发
  • 作业提交前,可以在流计算的开发IDE页面进行作业编辑。
  • 作业提交后,为保障已有版本作业的稳定,以后版本不可再进行编辑操作,但可以通过生成新版本的方式替换老版本,实现流作业的更新。
  1. SavePoint有什么作用,如何创建?

SavePoint可以支持程序升级后,继续从升级前的那个点开始执行计算, 保证数据不中断。SavePoint需要用户手动创建。

  1. 是否支持自定义函数,自定义函数的作用范围多大?

流计算支持用户自定义函数,函数统一作用在租户级别。

  1. 流计算是否支持用户自定义扩展插件?

流计算支持Kafka Source、SQL operator、ETL operator、JDBC Sink、HBase Sink、ES Sink、Redis Sink、Kafka Sink 这8个插件,可灵活满足用户的各种需求。插件由平台统一维护,不支持租户自定义扩展。

  1. 流计算有哪些使用限制?

Flink Sql不支持TopN、Emit等语法,可采用ETL实现。 KafkaSource多流Join,不可同时支持多个Kafka 版本。

金山云,开启您的云计算之旅

免费注册