全部文档
当前文档

热搜词推荐

云服务器 虚拟私有网络 边缘节点计算 对等连接

共搜索到 0 条结果

暂无内容

如果没有找到您期望的内容，请尝试其他搜索词

文档中心

托管Hadoop(KMR)

查看更多结果
未找到含当前关键字的文档标题
页面目录
全部展开全部收起
未找到含该关键词的产品
文档中心 托管Hadoop(KMR) KMR Serverless 计算引擎 通过控制台提交作业

通过控制台提交作业

最近更新时间：2025-12-19 09:31:39

Serverless 计算引擎支持直观的图形化作业提交方式，用户可通过控制台直接提交多种类型的计算作业，包括 Spark、Ray、Flink 以及自定义 Application 作业类型。在保留命令行与 API 等原有提交方式的基础上，进一步降低了任务配置门槛，支持快速完成作业创建、资源配置、依赖设置与存储挂载等操作。

入口：进入Serverless计算引擎控制台，选择目标工作空间，选择作业提交。点击提交按钮，选择对应的作业类型，进入作业提交页面。

核心配置流程：基本信息-> 作业配置-> 资源配置-> 其他设置-> 确认

提交Spark作业

入口：点击 “提交”​ 按钮，在作业类型中选择 “Spark”，进入作业提交表单页面。

第一步：填写「基本信息」

配置项

说明

规则/示例

作业名称​

作业的唯一标识名称。

规则：1-64个字符。
允许：字母、中文、数字、下划线(_)、斜线(/)。
限制：必须以字母开头。

作业优先级​

定义作业在调度队列中的优先级。

P0：较高优先级。
P1：普通优先级（通常为默认选项）。

作业描述​

（可选）对作业的补充说明。

文本描述，最多支持200个字符。

配置建议：建议使用有明确业务含义的作业名称，便于后续检索和管理。

第二步：配置「作业配置」

在此区域定义Spark作业的核心执行参数。作业类型是核心选项，选择不同的类型，下方所需填写的必填项和界面会相应变化。

作业类型

说明

关键配置项与界面变化

填写指引

SparkJar​

适用于Scala/Java编写的Jar包程序。

1. 作业主文件​ (必填)
2. 主类​ (必填)
3. AK/SK (必填)
4. 其他通用选项

• 作业主文件：填写您的Jar包在KS3上的完整路径，如ks3://bucket/path/your-app.jar。
• 主类：填写包含main方法的完整类名，如com.example.YourSparkApp。

PySpark​

适用于Python编写的作业。

1. 作业主文件
3. AK/SK (必填)
4. 其他通用选项

• 作业主文件：填写您的Python脚本在KS3上的完整路径，如ks3://bucket/path/your_script.py。
• 其他Python文件或依赖可在“其他设置”的“Files”中指定。

SparkSQL​

适用于直接提交SQL脚本。

1. SQL命令​
4. AK/SK (必填)
5. 其他通用选项

• SQL命令：在大文本框中直接编写或粘贴要执行的SQL语句。
• 可使用“从模板中加载配置”功能快速填充复杂SQL。

通用配置项说明（适用于所有作业类型）：

配置项

说明

必填/可选

从模板加载配置​

从下拉菜单中选择已保存的配置模板，快速填充当前表单。

可选

自定义镜像​

从下拉列表中选择您已创建并推送的自定义Docker镜像作为运行环境。

可选

网络连接​

从下拉列表中选择作业运行所在的网络环境（如VPC）。

可选

*AK/SK​

访问对象存储等受保护资源所需的凭证。
• accessKey：填写您的AccessKey ID。
• secretKey：填写对应的密钥。

必填​

第三步：设置「资源配置」

在此区域定义Spark作业执行所需的计算资源。图形化界面通常提供增减按钮进行调节。

资源类型

说明

默认值/建议

Driver核数 (CPU)​

分配给Driver进程的CPU核心数量。

默认：1 CPU

Driver内存 (Gi)​

分配给Driver进程的内存大小。

默认：4 GiB

Executor核数 (CPU)​

每个Executor进程的CPU核心数量。

默认：1 CPU

Executor内存 (Gi)​

每个Executor进程的内存大小。

默认：4 GiB

Executor数量​

启动的Executor进程实例数。

默认：1

配置建议：根据作业的数据量大小和计算复杂度调整资源配置。大数据量或复杂计算通常需要更多的Executor和更大的内存。

第四步：调整「其他设置」

在此区域配置作业的依赖文件、参数及高级Spark参数。

分类

配置项

说明

依赖与文件​

Jars​

（可选）指定额外的依赖Jar包路径，多个路径需换行。

Files​

（可选）指定需要分发到工作目录的文件路径，多个需换行。

Archives​

（可选）指定需要分发并解压的归档文件路径（如.zip），多个需换行。

Packages​

（可选）指定来自Maven仓库的依赖坐标，多个需换行。

运行时​

ExtraArgs​

（可选）传递给主类的命令行参数，每行一个参数。

ProxyUser​

（可选）指定代理提交作业的用户。

Spark参数​

Spark配置​

（可选）以Key-Value对的形式设置任意的Spark配置属性（如spark.sql.shuffle.partitions）。
• 点击 “+添加”​ 按钮新增配置行。
• 支持最多添加20个自定义配置。

提交Ray作业

入口：点击 “提交”​ 按钮，在作业类型中选择 “Ray”，进入作业提交表单页面。

第一步：填写「基本信息」

同Spark提交作业第一步。

第二步：配置「作业配置」

配置项

必填/可选

说明

填写指引

从模板中加载配置​

可选

使用保存的配置模板快速填充表单

从下拉菜单中选择已创建的Ray作业模板

*入口命令​

必填

Ray作业的启动命令

输入Ray启动命令，如：python train.py --data_path=/data/mnist

*环境依赖项​

必填

JSON格式的环境依赖配置

输入JSON配置，定义Python包、系统依赖等
示例：{"pip": ["torch==1.13.0", "numpy"], "conda": ["tensorflow=2.10"]}

自定义镜像​

可选

使用自定义Docker镜像作为运行环境

从下拉列表中选择您已创建并推送的自定义镜像

网络连接​

可选

配置作业运行的网络环境

从下拉列表中选择已有的VPC网络配置

*AK/SK​

必填

访问对象存储等受保护资源的凭证

- accessKey：输入AccessKey ID
- secretKey：输入对应的密钥

第三步：设置「资源配置」

资源配置决定了Ray集群的计算能力。界面顶部会显示当前配置的概览。

资源类型

说明

默认值

调整方式

Head核数(CPU)​

Head节点的CPU核心数

1 CPU

点击"+"增加，点击"-"减少

Head内存(Gi)​

Head节点的内存大小

4 GiB

点击"+"增加，点击"-"减少

Worker核数(CPU)​

每个Worker节点的CPU核心数

1 CPU

点击"+"增加，点击"-"减少

Worker内存(Gi)​

每个Worker节点的内存大小

4 GiB

点击"+"增加，点击"-"减少

Worker数量​

Worker节点的数量

1

点击"+"增加，点击"-"减少

WorkerGPU数量​

每个Worker节点的GPU卡数

0

点击"+"增加，点击"-"减少

WorkerGPU使用百分比​

GPU使用率限制

100%

点击"+"增加，点击"-"减少

GPU硬限制​

是否启用GPU硬限制

false

开关按钮

配置建议：

  • 对于CPU密集型任务，增加Worker核数和数量

  • 对于内存密集型任务，增加Worker内存

  • 对于GPU计算任务，设置WorkerGPU数量>0

  • Head节点通常用于协调，默认1CPU/4Gi足够

第四步：配置「存储挂载」

在「其他设置」中配置存储挂载，允许作业访问文件系统和对象存储中的数据。

KPFS文件系统挂载

配置项

说明

填写指引

文件系统​

选择已创建的文件系统

从下拉列表中选择，如shuchang_test

文件系统路径​

文件系统中的路径

输入文件系统内的具体路径

挂载路径​

挂载到容器内的路径

输入容器内的挂载点，如/mnt/data

操作​

管理挂载配置

点击"删除"移除该挂载配置，点击+添加KPFS路径，最多可添加20个KPFS挂载点

KS3对象存储挂载

配置项

说明

填写指引

KS3路径​

KS3对象存储路径

输入完整KS3路径，如ks3://bucket-name/data/

挂载路径​

挂载到容器内的路径

输入容器内的挂载点，如/mnt/ks3

操作​

管理挂载配置

点击"删除"移除该挂载配置，点击+添加KS3路径，最多可添加20个KS3挂载点

提交Flink作业

入口：点击 “提交”​ 按钮，在作业类型中选择 “Flink”，进入作业提交表单页面。

第一步：填写「基本信息」

同Spark提交作业第一步。

第二步：配置「作业配置」

配置项

说明

必填/可选

填写指引

从模板中加载配置​

使用保存的配置模板快速填充

可选

从下拉菜单中选择已创建的Flink作业模板

*作业主文件​

Flink作业的JAR包路径

必填​

输入完整的对象存储（KS3）路径，如：ks3://your-bucket/path/flink-job.jar

*主类​

包含main方法的完整类名

必填​

如：com.example.StreamingJob

主程序参数​

传递给主类的命令行参数

可选

每行一个参数，如：
--input-topic orders
--output-topic results

启动模式​

Flink作业的启动方式

必选

- 无状态启动：默认，适合无状态作业
- 有状态启动：适合需要从检查点恢复的作业

自定义镜像​

使用自定义Docker镜像

可选

从下拉列表中选择您已创建并推送的镜像

网络连接​

作业运行的网络环境

可选

从下拉列表中选择已有的VPC网络配置

*AK/SK​

访问受保护资源的凭证

必填​

- accessKey：您的AccessKey ID
- secretKey：对应的密钥

第三步：设置「资源配置」

资源配置决定Flink集群的计算能力。所有数值可通过输入框右侧的"+"、"-"按钮调整。

资源类型

说明

默认值

配置指导

JobManager核数(CPU)​

JobManager的CPU核心数

1 CPU

JobManager负责协调，建议至少1-2 CPU

JobManager内存(Gi)​

JobManager的内存大小

4 GiB

根据作业复杂度调整，建议4-8 GiB

TaskManager核数(CPU)​

每个TaskManager的CPU核心数

1 CPU

数据处理单元，根据并发需求调整

TaskManager内存(Gi)​

每个TaskManager的内存大小

4 GiB

根据数据量和状态大小调整

TaskSlot数量​

每个TaskManager的Slot数

1

每个Slot可运行一个任务子任务

并行度​

作业的并行度

1

决定作业的并发执行数

磁盘数量​

附加磁盘数量

0

用于存储检查点、状态后端等

磁盘大小(GB)​

每个磁盘的大小

0 GB

根据状态存储需求设置

资源配置公式参考：

  • 总并行度 ≈ TaskManager数量 × TaskSlot数量

  • 建议TaskManager内存中预留20-30%给Flink框架使用

第四步：配置「其他设置」

在此区域自定义Flink引擎的核心配置参数。以Key-Value形式配置。

配置项

说明

填写指引

key​

Flink配置属性名

输入Flink配置项，如：taskmanager.numberOfTaskSlots

value​

配置属性值

输入对应的值，如：4

操作​

管理配置项

点击「删除」移除该配置

+添加(1/20)​

添加新的配置项

最多可添加20个Flink配置

提交Application作业

入口：点击 “提交”​ 按钮，在作业类型中选择 “Application”，进入作业提交表单页面。

第一步：填写「基本信息」

同Spark提交作业第一步。

第二步：配置「作业配置」

配置项

说明

必填/可选

填写指引

从模板中加载配置​

使用保存的配置模板快速填充

可选

从下拉菜单中选择已创建的Application作业模板

*作业主文件​

应用程序主文件路径

必填​

输入完整的对象存储（KS3）路径，如：ks3://bucket/path/application.jar或 ks3://bucket/path/script.sh

*自定义镜像​

运行应用程序的Docker镜像

必填​

从下拉列表中选择已创建的自定义镜像

网络连接​

作业运行的网络环境

可选

从下拉列表中选择已有的VPC网络配置

*AK/SK​

访问资源的凭证

必填​

- accessKey：输入AccessKey ID
- secretKey：输入对应的密钥

第三步：设置「资源配置」

资源类型

说明

默认值

配置指导

*Worker核数(CPU)​

每个Worker的CPU核心数

1 CPU

根据应用计算需求调整

*Worker内存(Gi)​

每个Worker的内存大小

4 GiB

根据应用内存需求调整

*Worker数量​

Worker节点的数量

1

根据并发需求调整

WorkerGPU数量​

每个Worker的GPU卡数

0

GPU计算任务需设置>0

WorkerGPU使用百分比​

GPU使用率限制

100%

可限制GPU使用率以共享资源

GPU硬限制​

是否启用GPU硬限制

false（关闭）

开启后严格限制GPU使用量

配置公式：

  • 总CPU = Worker核数 × Worker数量

  • 总内存 = Worker内存 × Worker数量

  • 总GPU = WorkerGPU数量 × Worker数量

第四步：配置「其他设置」

命令与参数

配置项

说明

填写示例

命令​

（可选）覆盖镜像的默认启动命令

每行一个命令，如：
python
app.py

命令参数​

（可选）传递给命令的参数

每行一个参数，如：
--input=/data/input
--output=/data/output

环境变量

配置项

说明

操作

key​

环境变量名称

输入变量名，如DATABASE_URL

value​

环境变量值

输入变量值，如mysql://host:3306/db

操作​

管理环境变量

点击「删除」移除该变量，点击+添加新的环境变量，最多可添加20个环境变量

存储挂载

存储挂载配置同Ray作业存储配置。

作业提交

完成配置后点击页面底部「确定」按钮提交作业，可跳转至作业列表页面查看状态。

文档导读
上一篇：通过客户端提交自定义Application作业
下一篇：常用参数调优
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈