全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

KMR在离线混部

最近更新时间:2023-11-27 11:51:06

KMR在离线混部是一种通过Yarn资源管理以及弹性伸缩将在线任务和离线任务相结合的部署策略,支持全时混部以及分时混部策略。在全时混部中,根据在线任务负载情况调度离线任务,以充分利用在线任务的空闲资源。在分时混部中,按照用户部署的时间策略合理安排在离线任务,减少资源潮汐,提高资源的利用率。

操作步骤

  1. 登录金山云KMR控制台

  2. 点击集群名称进入集群详情界面。

  3. 点击容器混部可进入策略配置界面。
    image.png

规则说明

  • Yarn Label: 可以通过 Yarn 标签管理任务队列,支持为节点和队列打标签。
    • 开启/编辑Yarn Label:您可前往“集群管理” > “服务管理”开启或编辑Yarn Label,参见Yarn 标签管理
    • 建议您开启Yarn Label,并将高优任务运行在离线集群固定资源以保证高优业务稳定运行,如未开启Yarn Label系统将对资源统一调度。
  • 结合弹性伸缩:灵活调度离线资源和在线资源,通过混部将离线任务调度到在线集群;通过弹性伸缩负载或时间维度,及时调整离线资源,实现整体资源最大利用率
  • 同一时间,同一KMR集群,只能在一个容器集群上开启一条策略。
  • 集群在非运行状态时,不允许添加/编辑/删除策略等操作。

全时策略

image.png

  1. 在“策略配置”页面选中“全时策略”并开启开关,点击添加。

  2. 根据业务需要配置全时混部策略。

容器集群: 指共享资源的容器集群,您可从集群列表中选择想要操作的集群。

筛选规则: 标签/污点用于约束Pod调度,可单选、全选或全不选,填写上限为5条(标签+污点),若全不选系统将根据Pod的负载自动调度。

标签筛选: 当您为节点打上标签时,将会把pod指派给特定节点或优先在特定节点运行。为节点添加标签或管理节点标签请参见管理节点标签

污点筛选: 若节点被上打污点,pod将尽量不被调度到该节点,可筛选配置允许容忍污点。为节点添加污点或管理节点污点请参见管理节点污点

计算资源冗余: 默认填写建议值30%。最大100%,最小1%(每个worker离线资源预留量会根据您设置的资源冗余百分比,预留相应资源,建议您结合弹性伸缩能力,在保证在线业务不被影响的情况下,最大程度提升资源利用率。比如容器集群总量40C160G,在线业务低峰期为凌晨1:00-早上7:00,利用率为20%。则离线集群建议您每天凌晨1:30进行扩容,早上6:30进行缩容,离线资源预留量为25C102G)。

策略编辑: 集群运行状态中,可在"策略配置"页面中编辑策略。

  • 可编辑项: 仅可编辑“计算资源冗余”。
  • 对于全时策略,点击编辑后只可更改"计算资源冗余",最大100%,最小1%。

状态切换: 全时策略与分时策略不可同时部署,如需开启另一种状态请先关闭当前状态。

分时策略

image.png

  1. 在“策略配置”页面选中“分时策略”并开启开关,点击添加。

  2. 根据业务需要配置分时混部策略。

容器集群: KMR集群同一VPC下的容器集群。

筛选规则: 标签/污点用于约束Pod调度,可单选、全选或全不选,填写上限为5条(标签+污点),若全不选系统将根据Pod的负载自动调度。

标签筛选: 当您为节点打上标签时,将会把pod指派给特定节点或优先在特定节点运行。为节点添加标签或管理节点标签请参见管理节点标签

污点筛选: 若节点被上打污点,pod将尽量不被调度到该节点,可筛选配置允许容忍污点。为节点添加污点或管理节点污点请参见管理节点污点

重复执行: 您可选择是否重复执行该策略,如果不重复执行,此策略执行完毕将不被保留,您可从执行历史查看已执行过的策略。

执行时间: 您在一天之中执行该策略的时间段。

有效时间: 该策略的有效期,在该时间范围内,符合弹性规则即触发该策略。

是否周期性缩容: 该策略扩/缩容后的一定时间后,将对应弹性策略补充或释放掉。

策略编辑: 集群运行状态中,可在"策略配置"页面中编辑策略。

  • 可编辑项: 仅可编辑 “执行时间”、“是否周期性缩容”及相应设置。
  • 对于分时策略,点击编辑后可选是否重复执行该策略,如需重复执行则需设定重复执行策略的周期,起止时间。
  • 如需周期性缩容则需设定扩容后缩容的时间以及周期性缩容的时间。需注意,周期性扩缩容仅对当次扩容的节点进行缩容操作。

执行历史

1700116668078.png
支持查看近30天容器混部执行操作历史。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈