对象存储 OSS - OSS Connector for AI/ML发布
Sep 02 2024
对象存储 OSS国际站产品文档
https://www.alibabacloud.com/help/oss/developer-reference/oss-connector-overview
适用客户
使用PyTorch框架进行大规模模型训练的客户
新增功能/规格
OSS Connector for AI/ML是一个用于在PyTorch训练任务中高效访问OSS数据的客户端。与PyTorch dataloader配合,支持构建适用于随机访问和流式顺序访问的Map-style dataset 和 Iterable-style dataset。训练数据无需先保存到本地文件系统,可直接读取到系统内存中供PyTorch处理。OSS Connector内嵌了预读和并发优化可有效发挥OSS的高吞吐优势,避免传统FUSE客户端的性能瓶颈。















