全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

应用场景

最近更新时间:2025-01-03 14:01:32

AI训练与推理

业务痛点及需求

  1. PiB级训练数据存储,数十亿~百亿级文件管理

  2. POSIX兼容,数据共享访问

  3. 训练中海量小文件读取,对存储系统的读延迟和读IOPS要求高

  4. 训练中TiB级checkpoint写入,对存储系统的写吞吐要求高

  5. 模型的快速分发部署,对存储系统的吞吐、并发要求高

解决方案

  1. 依托全闪数据存储底座,对外提供POSIX 100%兼容的文件系统,可以支撑所有深度学习框架

  2. 全闪存实现的分布式元数据引擎,横向扩展,具备百亿文件管理能力

  3. 缓存加速,透明的客户端多级元数据和数据缓存,通过预热、预读、预取等功能,保证读取性能

  4. 文件分块存储,并发写入;通过异步写缓存,保证写入性能

容器共享存储

业务痛点及需求

  1. K8S容器平台需要一个支持多节点并发读写(ReadWriteMany)的共享存储

  2. 当有状态应用向K8S容器平台迁移时,数据如何存储和管理是一个关键问题

  3. 兼容POSIX语义,像使用本地文件系统一样使用共享存储

  4. 支持容器CSI驱动

解决方案

  1. 原生支持K8S CSI接口,应用通过声明PersistentVolumeClaim的方式静态/动态挂载存储卷

  2. 支持存储卷访问模式、回收策略、动态PV配额等PV设置,满足用户多种使用需求

  3. CSI驱动支持挂载点自动恢复,MountPod遭遇故障重启后,应用容器继续工作,保障数据可用性

  4. 支持上千客户端同时挂载及并发读写大规模应用的使用场景

纯净模式常规模式

纯净模式

点击可全屏预览文档内容