最近更新时间:2024-06-18 15:23:40
集群管理的一个重要目标是提高资源利用率,随着集群规模的扩大,基础设施成本上涨,资源利用率问题逐步突显,为降低成本,我们提供离在线混部方案。
1.登录金山云KMR控制台。
2.点击集群名称进入集群详情界面。
3.点击弹性伸缩页面的添加时间弹性策略进入配置界面。
4.配置相应策略,实现离在线混部。
节点数量范围:若其他弹性策略已配置该节点组数量范围,互不影响,以各自配置为准,达到该策略数量上限或下限则规则不执行。最大是256台。
Yarn Label: 可以通过 Yarn 标签管理任务队列,支持为节点和队列打标签。
开启/编辑Yarn Label:您可前往“集群管理” > “服务管理”开启或编辑Yarn Label,参见Yarn 标签管理。
建议您开启Yarn Label,并将高优任务运行在离线集群固定资源以保证高优业务稳定运行,如未开启Yarn Label系统将对资源统一调度。
是否周期性缩容: 该策略扩/缩容后的一定时间后,将对应弹性策略补充或释放掉。
单次操作台数:单节点最大单次操作台数为256台,最小为1台。
优雅缩容: 资源类型为容器时,强制开启优雅缩容。
扩容、缩容、弹性伸缩不支持操作资源类型为POD的节点组,可通过销毁实例选中具体POD删除。
销毁实例需按缩容流程,强制开启优雅缩容,先等待任务结束,再注销NM、删除数据,再删除POD。
容器资源关联Yarn Label,用户可通过标签设置非核心任务运行在POD上,极端情况下,POD被剔除可保证核心任务不受影响。
纯净模式