企業級特性

訓練流水線裡的三段儲存負載:樣本載入、檢查點與 KV Cache

作者:軍航科工半導體AI訓練儲存 / GPU利用率 / 資料載入

把“AI 儲存”當成一類需求會導致選型錯誤。樣本載入看隨機讀 IOPS,檢查點看單位位元成本,KV Cache 看尾延遲——三段負載對應產品線上不同的系列與耐久檔位。

三段負載的形狀完全不同

訓練流水線上至少存在三種截然不同的訪問模式。樣本載入是海量小物件的隨機讀,每個 epoch 重新打亂順序,幾乎沒有局部性;檢查點寫入是週期性的順序大塊寫,寫完立刻沉寂;推理側的 KV Cache 換入換出則是延遲敏感的小粒度讀寫,對尾延遲的容忍度遠低於前兩者。用一種規格覆蓋全部,必然在某一段上付出不必要的成本。下文引用的規格均為產品定義/EVT 階段的規劃目標值,型號名已固定,容量與配置通過 SKU 管理。

樣本載入:IOPS 與延遲決定 GPU 空轉比例

DataLoader 的工作執行緒拿不到下一批樣本,GPU 就在空轉。這一段的瓶頸通常不是頻寬而是 IOPS 與響應時間——影像或音訊樣本往往只有幾十到幾百 KB,順序頻寬再高也幫不上忙。CORE 7 的 J750、J770 規劃 4KB 隨機讀 1,500 KIOPS、QD1 平均讀延遲 65 µs,對應的正是這類負載。整條產品線規劃的最高順序讀 14,500 MB/s 是另一回事,它服務的是大檔案流式讀取與資料集預熱。

檢查點:單位位元成本優先

大模型檢查點單次落盤量可達數百 GB,寫完之後長期只讀、極少訪問。把這類資料放在高耐久 TLC 盤上是浪費。Q9 系列的 J960Q、J960QD 以 Gen5 QLC 面向 AI 檢查點與超大容量陣列,寫入以順序大塊為主,恰好避開了 QLC 最不擅長的隨機小寫。產品線整體的單盤容量上限規劃到 122.88TB,容量密度換回的正是單位位元成本的下降。

KV Cache:尾延遲與耐久優先

推理服務把注意力鍵值快取下沉到 SSD 之後,一次慢速讀會直接體現為 token 輸出的卡頓,而快取條目的頻繁覆寫又對耐久提出要求。X9 系列的 J990X、J995X 按 Gen5 超低延遲高耐久定位,服務的正是 KV Cache 與即時資料庫場景。產品線整體的寫入耐久上限規劃到 120 DWPD,這是產品線的邊界值;具體型號落在哪一檔由該型號的規格與 SKU 定義,選型時必須按型號核對,不能拿產品線邊界值去推斷。

選型的實際含義

同一個訓練叢集裡,這三段理想情況下由三類盤分別承擔:隨機讀密集層放高效能 TLC 盤,冷檢查點層放大容量 QLC 盤,快取層放低延遲高耐久盤。真正的判據是每一段最先撞上的那堵牆——空轉的 GPU、每 TB 的成本,還是 P99 的讀延遲。

關鍵詞
AI訓練儲存GPU利用率資料載入模型檢查點KV CacheQ9系列X9系列