全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

离在线混部

最近更新时间:2024-06-18 15:23:40

集群管理的一个重要目标是提高资源利用率,随着集群规模的扩大,基础设施成本上涨,资源利用率问题逐步突显,为降低成本,我们提供离在线混部方案。

操作步骤

弹性伸缩

1.登录金山云KMR控制台

2.点击集群名称进入集群详情界面。

3.点击弹性伸缩页面的添加时间弹性策略进入配置界面。

4.配置相应策略,实现离在线混部。

  • 节点数量范围:若其他弹性策略已配置该节点组数量范围,互不影响,以各自配置为准,达到该策略数量上限或下限则规则不执行。最大是256台。

  • Yarn Label: 可以通过 Yarn 标签管理任务队列,支持为节点和队列打标签。

    • 开启/编辑Yarn Label:您可前往“集群管理” > “服务管理”开启或编辑Yarn Label,参见Yarn 标签管理

    • 建议您开启Yarn Label,并将高优任务运行在离线集群固定资源以保证高优业务稳定运行,如未开启Yarn Label系统将对资源统一调度。

  • 是否周期性缩容: 该策略扩/缩容后的一定时间后,将对应弹性策略补充或释放掉。

  • 单次操作台数:单节点最大单次操作台数为256台,最小为1台。

  • 优雅缩容: 资源类型为容器时,强制开启优雅缩容。

注意事项

  1. 扩容、缩容、弹性伸缩不支持操作资源类型为POD的节点组,可通过销毁实例选中具体POD删除。

  2. 销毁实例需按缩容流程,强制开启优雅缩容,先等待任务结束,再注销NM、删除数据,再删除POD。

  3. 容器资源关联Yarn Label,用户可通过标签设置非核心任务运行在POD上,极端情况下,POD被剔除可保证核心任务不受影响。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈