最近更新时间:2026-10-26 16:34:19
已创建1个及以上Serverless 计算引擎工作空间,创建操作详见创建工作空间。
登录金山云星泓训推平台控制台,点击左侧导航栏【数据处理】中【数据开发】进入列表页面;
点击列表页面左上方的【提交任务】,选择提交的任务类型,进入数据开发任务创建页面;
在创建页面填写相关参数,具体参数如下:
参数名称 | 参数说明 |
|---|---|
作业名称 | SparkJar作业的名称 |
AK | 执行Spark任务使用的金山云账号或RAM用户的AccessKey ID |
SK | 执行Spark任务使用的金山云账号或RAM用户的AccessKey Secret |
优先级 | 任务执行优先级,数值越小优先级越高,默认优先级为P1 |
Driver核数 | Spark任务的Driver核数 |
Driver内存 | Spark任务的Driver内存 |
Executor数量 | Spark任务的Executor核数 |
Executor核数 | Spark任务的Executor核数 |
Executor内存 | Spark任务的Executor内存 |
工作空间 | Spark任务运行的Serverless 计算引擎工作空间 |
AppResource | Spark任务应用程序代码,您可以将资源上传至KS3,在此指定KS3路径 |
Class | Spark任务的主类 |
ExtraArgs | 额外参数数组 |
Conf | 设置Spark任务配置项,以key=value形式填写 |
Jars | Spark任务需要引用的JAR包,您可以将资源上传至KS3,在此指定KS3路径 |
Files | Spark任务需要引用的资源文件,您可以将资源上传至KS3,在此指定KS3路径 |
PyFiles | Spark任务需要引用的Python脚本,您可以将资源上传至KS3,在此指定KS3路径 |
Archives | Spark任务需要引用的archive包资源,您可以将资源上传至KS3,在此指定KS3路径 |
Packages | Spark任务需要的外部依赖包,您可以将资源上传至KS3,在此指定KS3路径 |
CacheFile | 用于缓存加速archive资源,多个文件以数组形式提供 |
ProxyUser | 设置代理用户,实现用户直接的资源隔离和安全授权 |
自定义镜像 | 任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址 |
参数名称 | 参数说明 |
|---|---|
作业名称 | Flink作业的名称 |
AK | 执行Flink任务使用的金山云账号或RAM用户的AccessKey ID |
SK | 执行Flink任务使用的金山云账号或RAM用户的AccessKey Secret |
优先级 | 任务执行优先级,数值越小优先级越高,默认优先级为P1 |
Job核数 | Flink任务的Job核数 |
Job内存 | Flink任务的Job内存 |
Task数量 | Flink任务的Task数量 |
Task核数 | Flink任务的Task核数 |
Task内存 | Flink任务的Task内存 |
工作空间 | Flink任务运行的Serverless 计算引擎工作空间 |
Jar uri | Flink任务应用程序代码,您可以将资源上传至KS3,在此指定KS3路径 |
依赖文件 | Spark任务需要的外部依赖文件,您可以将资源上传至KS3,在此指定KS3路径 |
Conf | 设置Spark任务配置项,以key=value形式填写 |
Entrypoint class | Flink任务应用程序代码的主类 |
Entrypoint main args | Flink任务应用程序代码的main函数和arg[]函数 |
Parallelism | Flink任务中每个算子的并行度 |
Number of task slots | Flink任务中每个TaskManager能够并行执行的任务(task)数量 |
Initial savepoint path | Flink 任务的初始保存点(Savepoint)路径,可以从特定时间点恢复作业,仅支持KS3路径 |
自定义镜像 | 任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址 |
参数名称 | 参数说明 |
|---|---|
作业名称 | Ray作业的名称 |
AK | 执行Flink任务使用的金山云账号或RAM用户的AccessKey ID |
SK | 执行Flink任务使用的金山云账号或RAM用户的AccessKey Secret |
优先级 | 任务执行优先级,数值越小优先级越高,默认优先级为P1 |
Head核数 | Ray任务的Head节点核数 |
Head内存 | Ray任务的Head节点内存 |
Worker数量 | Ray任务的Worker节点核数 |
Worker核数 | Ray任务的Worker节点内存 |
Worker内存 | Ray任务的Worker节点数量 |
WorkerGPU数量 | Ray任务的Worker节点GPU数量 |
工作空间 | Ray任务运行的Serverless 计算引擎工作空间 |
Entrypoint.cmd | Ray任务的入口命令 |
Entrypoint.resource | Ray任务的文件路径,支持KS3或KPFS |
Runtime_env | 运行时环境配置,例如依赖、环境变量、工作目录等 |
Conf | 任务的配置信息 |
JuiceFs | JuiceFS配置,Ray head节点挂载 JuiceFS 存储卷 |
MountPath | 挂载路径 |
自定义镜像 | 任务使用的自定义镜像,您可以将资源上传至KCR中,在此指定KCR地址 |
纯净模式
