配置生命周期策略,将长期未访问的数据自动转为低频存储,降低存储成本。需要时可直接访问或批量取回,实现数据冷热分层的智能管理。
生命周期管理功能目前处于邀测阶段。如需体验,请提交工单申请开通。
工作原理
CPFS生命周期管理基于文件访问时间实现数据冷热分层:
自动分层存储:配置策略后,系统定期扫描文件系统,将超过指定天数未访问的文件从标准存储自动转为低频存储。
透明访问机制:低频存储中的数据可直接访问,支持所有标准POSIX操作,无需改变访问方式。
灵活取回策略:根据策略配置,首次访问时可自动转回标准存储,或保持低频状态直接读取。
配置生命周期策略
步骤一:创建策略
同一文件系统可创建多个策略,应用于不同目录。
登录CPFS控制台,进入目标文件系统详情页。
在左侧导航栏选择生命周期,在生命周期策略页签下,单击创建生命周期管理策略。
配置策略参数:
参数
说明
策略名称
自定义策略名称,例如“AI训练数据归档策略”
生效对象
/ 整个文件系统:应用于所有文件。
输入目录路径:仅应用于指定目录,如
/training/completed/。
转换为低频存储
设置天数(1~365天),文件超过该天数未访问后自动转为低频存储。
未访问时间 = 未被读取或修改的天数,ls、stat不会重置计时
转换为标准存储
勾选:访问时自动转回标准存储,适合后续频繁使用的数据。
不勾选:保持低频状态,适合偶尔查看的数据。
单击确定完成创建。
步骤二:验证策略生效
策略在创建后的下一个扫描周期生效。系统每24小时执行一次扫描,首次执行时间取决于创建时间。
在策略列表中确认状态为已启用。
等待24小时后,在文件系统详情页的基本信息中查看低频存储容量是否开始增加。
在性能监控页面查看标准转低频成功率指标。
配置参考
根据不同使用场景,推荐以下配置方案:
场景 | 生效对象 | 转换为低频存储 | 转换为标准存储 | 适用说明 |
AI训练数据归档 |
| 30天 | 勾选 | 训练完成的数据集,可能用于复现实验 |
自动驾驶数据归档 |
| 60天 | 不勾选 | 历史传感器数据,长期保存,很少访问 |
日志审计归档 |
| 7天 | 不勾选 | 系统日志需长期保留,偶尔查看 |
全盘冷数据归档 | /整个文件系统 | 90天 | 不勾选 | 整个文件系统长期归档 |
低频数据的访问与转回
低频存储中的数据可随时使用,支持两种方式:
方式一:直接访问
直接通过挂载路径读写低频存储文件,适用于临时查看或少量文件操作场景。支持所有标准文件操作,包括读取、写入、修改和删除,使用体验与访问本地文件完全一致。访问性能取决于低频存储策略配置:
若勾选了转为标准存储:首次访问时存在轻微延迟。同时系统会异步将该文件转为标准存储,转换完成后即可享受标准存储的高性能表现。
若未勾选:每次访问都直接从低频存储读取数据,文件始终保持低频状态。虽然访问性能略低于标准存储,但可持续享受低频存储的成本优势。
方式二:批量取回
当需要批量访问大量低频文件时(如AI训练读取数千个文件),建议创建数据取回任务,批量将文件转为标准存储,避免累积延迟影响业务性能。
在文件系统详情页,选择生命周期 > 数据取回任务列表页签。
单击创建数据取回任务,配置以下参数:
策略名称:为任务命名,例如"训练数据预热-2024Q1"。
生效对象:选择/整个文件系统或者输入目录路径 (必须以"/"开头的绝对路径)。
单击确定创建任务。
在任务列表中查看取回进度:
等待中:任务已创建,等待执行。
运行中:正在将低频存储文件转为标准存储,可查看进度百分比。
已完成:所有文件已成功转为标准存储,可以开始训练。
部分失败:部分文件转换失败,可查看详情并重试失败的文件。
失败:任务失败,可单击重试。
查看存储使用情况
在文件系统详情页,您可以查看:
基本信息:标准存储和低频存储的使用量。
监控:容量趋势、IOPS、吞吐、时延、转换成功率。
配额与限制
项目 | 限制 |
生命周期策略数量 | 每个阿里云账号在单个地域最多创建20个策略 |
单个策略包含的目录数 | 最多10个目录 |
数据取回任务数量 | 每个账号在单个地域最多同时运行20个任务 |
文件系统类型 | 仅支持CPFS智算版 |
计费说明
低频存储采用按量付费,不支持包年包月。低频存储没有最低保存时间限制,删除文件时无需支付额外费用。
计费项 | 是否收费 | 说明 |
低频存储空间 | 收费 | 按实际使用的低频存储容量计费,每小时统计一次,按月结算 |
标准转低频 | 不收费 | 数据从标准存储转为低频存储不收取流量费 |
低频转标准 | 不收费 | 数据从低频存储转回标准存储不收取流量费 |
API请求 | 不收费 | 访问低频存储文件的请求次数不收费 |
数据取回任务 | 不收费 | 批量取回任务不收取额外费用 |
常见问题
为什么我的文件还没有转为低频存储?
生命周期策略不是实时生效的,系统会定期扫描文件系统并应用策略。通常在策略创建后的24小时内开始执行。
访问低频存储的文件会有延迟吗?
如果您勾选了转为标准存储,首次访问时数据返回会有轻微延迟,同时异步转换存储类型。
如果没有勾选,直接从低频存储读取,性能略低于标准存储。
如何知道哪些文件在低频存储中?
目前不支持直接查看低频存储文件列表。您可以通过控制台查看文件系统的低频存储总使用量。
修改低频存储中的文件会怎样?
修改低频存储中的文件时,系统会自动将文件取回到标准存储,然后再进行修改。修改完成后,该文件会重新开始计算未访问时间。
一个目录可以配置多个策略吗?
可以。如果一个文件匹配多条规则,按以下优先级执行: 转为低频存储 > 转为标准存储