全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

数据开发

最近更新时间:2026-10-26 16:34:19

前提

已创建1个及以上Serverless 计算引擎工作空间,创建操作详见创建工作空间。

操作步骤

  1. 登录金山云星泓训推平台控制台,点击左侧导航栏【数据处理】中【数据开发】进入列表页面;

  2. 点击列表页面左上方的【提交任务】,选择提交的任务类型,进入数据开发任务创建页面;

  3. 在创建页面填写相关参数,具体参数如下:

新建Spark任务

参数名称

参数说明

作业名称

SparkJar作业的名称

AK

执行Spark任务使用的金山云账号或RAM用户的AccessKey ID

SK

执行Spark任务使用的金山云账号或RAM用户的AccessKey Secret

优先级

任务执行优先级,数值越小优先级越高,默认优先级为P1

Driver核数

Spark任务的Driver核数

Driver内存

Spark任务的Driver内存

Executor数量

Spark任务的Executor核数

Executor核数

Spark任务的Executor核数

Executor内存

Spark任务的Executor内存

工作空间

Spark任务运行的Serverless 计算引擎工作空间

AppResource

Spark任务应用程序代码,您可以将资源上传至KS3,在此指定KS3路径

Class

Spark任务的主类

ExtraArgs

额外参数数组

Conf

设置Spark任务配置项,以key=value形式填写

Jars

Spark任务需要引用的JAR包,您可以将资源上传至KS3,在此指定KS3路径

Files

Spark任务需要引用的资源文件,您可以将资源上传至KS3,在此指定KS3路径

PyFiles

Spark任务需要引用的Python脚本,您可以将资源上传至KS3,在此指定KS3路径

Archives

Spark任务需要引用的archive包资源,您可以将资源上传至KS3,在此指定KS3路径

Packages

Spark任务需要的外部依赖包,您可以将资源上传至KS3,在此指定KS3路径

CacheFile

用于缓存加速archive资源,多个文件以数组形式提供

ProxyUser

设置代理用户,实现用户直接的资源隔离和安全授权

自定义镜像

任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址

新建Flink任务

参数名称

参数说明

作业名称

Flink作业的名称

AK

执行Flink任务使用的金山云账号或RAM用户的AccessKey ID

SK

执行Flink任务使用的金山云账号或RAM用户的AccessKey Secret

优先级

任务执行优先级,数值越小优先级越高,默认优先级为P1

Job核数

Flink任务的Job核数

Job内存

Flink任务的Job内存

Task数量

Flink任务的Task数量

Task核数

Flink任务的Task核数

Task内存

Flink任务的Task内存

工作空间

Flink任务运行的Serverless 计算引擎工作空间

Jar uri

Flink任务应用程序代码,您可以将资源上传至KS3,在此指定KS3路径

依赖文件

Spark任务需要的外部依赖文件,您可以将资源上传至KS3,在此指定KS3路径

Conf

设置Spark任务配置项,以key=value形式填写

Entrypoint class

Flink任务应用程序代码的主类

Entrypoint main args

Flink任务应用程序代码的main函数和arg[]函数

Parallelism

Flink任务中每个算子的并行度

Number of task slots

Flink任务中每个TaskManager能够并行执行的任务(task)数量

Initial savepoint path

Flink 任务的初始保存点(Savepoint)路径,可以从特定时间点恢复作业,仅支持KS3路径

自定义镜像

任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址

新建Ray任务

参数名称

参数说明

作业名称

Ray作业的名称

AK

执行Flink任务使用的金山云账号或RAM用户的AccessKey ID

SK

执行Flink任务使用的金山云账号或RAM用户的AccessKey Secret

优先级

任务执行优先级,数值越小优先级越高,默认优先级为P1

Head核数

Ray任务的Head节点核数

Head内存

Ray任务的Head节点内存

Worker数量

Ray任务的Worker节点核数

Worker核数

Ray任务的Worker节点内存

Worker内存

Ray任务的Worker节点数量

WorkerGPU数量

Ray任务的Worker节点GPU数量

工作空间

Ray任务运行的Serverless 计算引擎工作空间

Entrypoint.cmd

Ray任务的入口命令

Entrypoint.resource

Ray任务的文件路径,支持KS3或KPFS

Runtime_env

运行时环境配置,例如依赖、环境变量、工作目录等

Conf

任务的配置信息

JuiceFs

JuiceFS配置,Ray head节点挂载 JuiceFS 存储卷

MountPath

挂载路径

自定义镜像

任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈