推理規模化把讀延遲推到前臺
訓練階段的儲存壓力集中在資料載入頻寬與檢查點寫入,負載形態相對可預測。推理規模化之後形態變了:大量併發會話各自持有上下文,KV Cache 從視訊記憶體溢位到主機記憶體、再溢位到 SSD,命中與否直接反映在首 token 時延上。這類訪問是小塊、隨機、讀多寫少,但對延遲分佈的敏感度遠高於平均值——平均值好看而 P99.9 掉到毫秒級的盤,在會話層面就是可感知的停頓。
X9 為什麼按超低延遲疊加高耐久來定義
型號帶 X 的產品針對的正是這一層。X9 的 J990X 與 J995X 走 PCIe 5.0,定位超低延遲高耐久,面向 AI KV Cache 與即時資料庫。全產品線規劃的寫入耐久上限是 120 DWPD,這是產品線層面的包絡值,不是某個系列的標稱規格;但快取層確實是最需要往這個方向靠的負載——會話進出會持續覆寫同一批區域,日均寫入量遠高於常規資料盤,用 1 DWPD 定位的通用盤去承接,先撞上的是壽命而不是效能。代價同樣明確:低延遲高耐久要求更保守的介質工作點,容量密度必然讓位。這些型號名已於 2026-07-22 固定,效能與耐久數值仍是產品定義/EVT 階段的目標值。
檢查點與歸檔不是同一層
另一端的負載幾乎相反,但它內部也要再分。Q9 的 J960Q 與 J960QD 走 Gen5 QLC,定位 AI 檢查點與超大容量陣列:檢查點落盤是低頻、大塊、順序的,寫完之後長期只讀,容量與順序頻寬比隨機延遲重要得多;帶 QD 的雙埠型號面向需要雙路徑訪問的陣列。Q7 的 J760Q 與 J760QD 是 Gen4 QLC,方向不同,物件導向儲存、備份與歸檔這類真正的冷資料留存。產品線規劃的單盤最大容量 122.88TB 說明的是容量層能做到的量級,屬於全線邊界數字,具體落點由各型號的容量 SKU 組合決定。QLC 每單元四位元帶來更窄的讀窗口、更長的編程時間與更低的耐久,在大塊低頻改寫下這些代價可控,同一顆盤放到 KV Cache 層則會立刻暴露短板。
中間層與形態約束
線上資料庫、向量索引與後設資料要吞吐與延遲兼顧,對應 TITAN 9(J960、J980、J961、J981,PCIe 5.0 U.2/U.3),其中 J960C 提供透明壓縮,對可壓縮資料可以換取有效容量。產品線規劃的最高順序讀 14,500 MB/s 同樣標註在產品線層面,而不是掛在某一個系列名下。高密度節點受機架散熱與背板約束,用 FLEX 9 的 E3.S(J100E、J130E)與 E1.S(J100S、J130S)形態適配 OCP 機型;日誌、後設資料與快取層若仍在 Gen4 平臺上,則由 X7(J790X、J795X)承接。
分層的成本邏輯
把不同型號混在一個叢集裡的理由不是型號多,而是每層的付費口徑不同:延遲敏感層按微秒與 DWPD 付費,容量層按 TB 付費,中間層按吞吐與 QoS 穩定性付費。真正的工程量在跨層隔離——多命名空間劃分、QoS 權重分配、雙埠路徑切換,都屬於叢集級而非單盤級的設計,分層收益也只能在平臺級測試裡確認,不能靠單盤指標外推。
