最近更新时间:2024-08-19 16:26:45
KMR容器混部是一种通过YARN资源管理以及弹性伸缩将在线任务和离线任务相结合的部署策略,支持全时混部以及分时混部策略。在全时混部中,根据在线任务负载情况调度离线任务,以充分利用在线任务的空闲资源。在分时混部中,按照用户部署的时间策略合理安排在离线任务,减少资源潮汐,提高资源的利用率。
登录金山云KMR控制台。
点击集群名称进入集群详情界面。
点击容器混部可进入策略配置界面。
YARN Label: 可以通过 YARN 标签管理任务队列,支持为节点和队列打标签。
开启/编辑YARN Label:您可前往“集群管理” > “服务管理”开启或编辑YARN Label,参见YARN 标签管理。
建议您开启YARN Label,并将高优任务运行在离线集群固定资源以保证高优业务稳定运行,如未开启YARN Label系统将对资源统一调度。
结合弹性伸缩:灵活调度离线资源和在线资源,通过混部将离线任务调度到在线集群;通过弹性伸缩负载或时间维度,及时调整离线资源,实现整体资源最大利用率
同一时间,同一KMR集群,只能在一个容器集群上开启一条策略。
集群在非运行状态时,不允许添加/编辑/删除策略等操作。
在“策略配置”页面选中“全时策略”并开启开关,点击添加。
根据业务需要配置全时混部策略。
容器集群: 指共享资源的容器集群,您可从集群列表中选择想要操作的集群。
筛选规则: 标签/污点用于约束Pod调度,可单选、全选或全不选,填写上限为5条(标签+污点),若全不选系统将根据Pod的负载自动调度。
标签筛选: 当您为节点打上标签时,将会把pod指派给特定节点或优先在特定节点运行。为节点添加标签或管理节点标签请参见管理节点标签。
污点筛选: 若节点被上打污点,pod将尽量不被调度到该节点,可筛选配置允许容忍污点。为节点添加污点或管理节点污点请参见管理节点污点。
计算资源冗余: 默认填写建议值30%。最大100%,最小1%(每个worker离线资源预留量会根据您设置的资源冗余百分比,预留相应资源,建议您结合弹性伸缩能力,在保证在线业务不被影响的情况下,最大程度提升资源利用率。比如容器集群总量40C160G,在线业务低峰期为凌晨1:00-早上7:00,利用率为20%。则离线集群建议您每天凌晨1:30进行扩容,早上6:30进行缩容,离线资源预留量为25C102G)。
策略编辑: 集群运行状态中,可在"策略配置"页面中编辑策略。
可编辑项: 仅可编辑“计算资源冗余”。
对于全时策略,点击编辑后只可更改"计算资源冗余",最大100%,最小1%。
状态切换: 全时策略与分时策略不可同时部署,如需开启另一种状态请先关闭当前状态。
在“策略配置”页面选中“分时策略”并开启开关,点击添加。
根据业务需要配置分时混部策略。
容器集群: KMR集群同一VPC下的容器集群。
筛选规则: 标签/污点用于约束Pod调度,可单选、全选或全不选,填写上限为5条(标签+污点),若全不选系统将根据Pod的负载自动调度。
标签筛选: 当您为节点打上标签时,将会把pod指派给特定节点或优先在特定节点运行。为节点添加标签或管理节点标签请参见管理节点标签。
污点筛选: 若节点被上打污点,pod将尽量不被调度到该节点,可筛选配置允许容忍污点。为节点添加污点或管理节点污点请参见管理节点污点。
重复执行: 您可选择是否重复执行该策略,如果不重复执行,此策略执行完毕将不被保留,您可从执行历史查看已执行过的策略。
执行时间: 您在一天之中执行该策略的时间段。
有效时间: 该策略的有效期,在该时间范围内,符合弹性规则即触发该策略。
是否周期性缩容: 该策略扩/缩容后的一定时间后,将对应弹性策略补充或释放掉。
策略编辑: 集群运行状态中,可在"策略配置"页面中编辑策略。
可编辑项: 仅可编辑 “执行时间”、“是否周期性缩容”及相应设置。
对于分时策略,点击编辑后可选是否重复执行该策略,如需重复执行则需设定重复执行策略的周期,起止时间。
如需周期性缩容则需设定扩容后缩容的时间以及周期性缩容的时间。需注意,周期性扩缩容仅对当次扩容的节点进行缩容操作。
支持查看近30天容器混部执行操作历史。
纯净模式