最近更新时间:2025-01-03 14:01:32
PiB级训练数据存储,数十亿~百亿级文件管理
POSIX兼容,数据共享访问
训练中海量小文件读取,对存储系统的读延迟和读IOPS要求高
训练中TiB级checkpoint写入,对存储系统的写吞吐要求高
模型的快速分发部署,对存储系统的吞吐、并发要求高
依托全闪数据存储底座,对外提供POSIX 100%兼容的文件系统,可以支撑所有深度学习框架
全闪存实现的分布式元数据引擎,横向扩展,具备百亿文件管理能力
缓存加速,透明的客户端多级元数据和数据缓存,通过预热、预读、预取等功能,保证读取性能
文件分块存储,并发写入;通过异步写缓存,保证写入性能
K8S容器平台需要一个支持多节点并发读写(ReadWriteMany)的共享存储
当有状态应用向K8S容器平台迁移时,数据如何存储和管理是一个关键问题
兼容POSIX语义,像使用本地文件系统一样使用共享存储
支持容器CSI驱动
原生支持K8S CSI接口,应用通过声明PersistentVolumeClaim的方式静态/动态挂载存储卷
支持存储卷访问模式、回收策略、动态PV配额等PV设置,满足用户多种使用需求
CSI驱动支持挂载点自动恢复,MountPod遭遇故障重启后,应用容器继续工作,保障数据可用性
支持上千客户端同时挂载及并发读写大规模应用的使用场景
纯净模式