为什么 AI 工作负载会重新定义存储问题
AI 基础设施的瓶颈并不固定在 GPU、CPU 或 SSD 的某一个部件上,而常常出现在数据抵达计算资源之前的整条路径:数据集读取、解压与预处理、缓存命中、网络传输、文件系统调度,以及最终的训练检查点写入。因而,采购清单中的“最高顺序读取速度”只能说明单一条件下的能力,不能直接等同于真实训练吞吐或推理响应时间。
NVMe 是为非易失性存储而设计的协议,支持多队列和并行命令处理;NVM Express 也将较低延迟、更高 IOPS 与数据中心扩展能力列为其主要价值。 这意味着在需要大量并发小 I/O 的场景,队列深度、软件栈与服务质量往往和峰值带宽一样重要。
先把数据路径拆成四类,而不是用一个规格覆盖所有工作负载
| 数据路径 | 典型特征 | 选型关注点 |
|---|---|---|
| 数据集准备与预处理 | 大文件与小文件并存,读取模式会随框架改变 | 并发读取、文件系统、CPU 解压能力、缓存策略 |
| 训练检查点 | 周期性大量写入,恢复时有读取高峰 | 持续写入性能、DWPD、写放大、掉电保护与恢复流程 |
| 推理与检索 | 更重视响应尾部而非平均值 | 延迟分位数、QoS、容量规划、热数据命中率 |
| 日志与运维数据 | 写入持续、保留策略明确 | 耐久度、隔离、监控告警、分层与归档策略 |
把这四类路径分别量化后,企业才能判断应使用本地 NVMe、共享存储、缓存层还是对象存储;也能避免由某一种“全能型”规格承担互相冲突的读写需求。
企业级评估应关注哪些指标
第一,明确测试数据集和 I/O 模式。随机与顺序、读写比例、块大小和队列深度都会改变结果;脱离这些条件比较 IOPS,结论没有可迁移性。第二,要求观察稳定阶段而非仅看空盘峰值。第三,把容量利用率、预留空间、散热边界和固件版本记录在验证报告中。最后,为检查点和生产推理预留故障恢复演练,包括单盘失效、节点重启和异常掉电后的恢复时间。
从“单盘性能”转向“单位工作负载的可预测性”
对大多数团队而言,更实用的目标不是追求某项单点跑分,而是在既定数据集、并发用户数和恢复目标下得到可复现的吞吐与延迟。建议在小规模试点阶段收集 I/O 追踪数据,再用接近生产的服务器、操作系统、驱动与文件系统进行验证。这样得到的结论,才可以用于容量、耐久度和预算之间的取舍。
