全部文档
当前文档
最近更新时间：2025-06-23 14:44:06
金山云KMR Serverless 计算引擎是一款专为处理大规模数据和执行复杂计算任务而设计的全托管Serverless产品，集成了Apache Spark、Apache Flink、Ray三种流行计算框架，提供了开箱即用、高性能、灵活弹性、无需管理底层服务器的高性能计算解决方案，助力用户专注业务逻辑开发，提升工作效率。
多引擎支持
深度集成Apache Spark、Apache Flink，Ray，为用户提供强大的数据处理和分析能力。
高性能
秒级弹性与供给，100%兼容开源技术栈的企业级增强数据处理服务。
易用性强
开箱即用，无需关注服务器配置、扩缩容等运维工作，提供更优质的使用体验，让复杂计算回归业务本身。
灵活弹性，更低成本
资源使用灵活，无需为低谷时段闲置计算资源买单。
方案特点
金山云采用KMR托管集群与Serverless算力集群的混合架构，高效处理面向大模型训推场景的文本、音视频数据清洗任务。长期稳态清洗由KMR集群稳定承载，增量清洗及临时任务则通过Serverless资源弹性伸缩处理，兼顾业务稳定性与资源灵活性，满足用户对性能及成本效益的诉求。
场景分析
方案特点
金山云通过构建从消息队列到计算引擎Serverless Flink，再到多种实时数仓的完整处理链路，实现数据全流程高效流转，通过多数据源联邦查询，无缝对接Hive、ICEBERG、Apache Paimon等不同数据源，灵活满足个性化推荐、订单追踪等多场景需求。
Serverless计算引擎：Serverless Flink
实时存储：Serverless Starrocks
消息队列：Kafka
场景分析
方案特点
金山云方案基于Serverless计算引擎构建高效数据处理链路，通过实时消费Kafka消息队列数据，Serverless Flink进行流式计算处理，并将结果同步写入KV数据库或ClickHouse云数仓，为上层应用提供高并发、低延时的数据查询服务。该架构有效支撑服务器日志、网络日志等场景的实时分析需求，实现数据从采集到服务的端到端低延迟闭环。
Serverless计算引擎：Serverless Flink，Serverless Spark
数据存储：HBase，Clickhouse
消息队列：Kafka
纯净模式
