30 秒看重點
- 事件:輝達積極推動 GPUDirect Storage 技術,讓 GPU 繞過 CPU 直接讀取 SSD。
- 意義:打破傳統運算架構的「傳輸塞車」瓶頸,讓資料讀取速度逼近記憶體。
- 影響:台灣 AI 伺服器代工與高速儲存晶片供應鏈迎來新一波規格升級紅利。
AI 運算速度再快,如果卡在資料送不進去也是白搭。輝達這次直接打破傳統「CPU 說了算」的架構,讓 GPU 與硬碟(儲存裝置)進行高鐵級的直達對接,徹底解放生成式 AI 的算力極限。
為什麼 GPU 需要直接讀取硬碟?
在傳統電腦架構中,CPU 一直是發號施令的「大腦」,任何資料要從硬碟(SSD)傳送到顯示卡(GPU),都必須先經過 CPU 和系統記憶體(RAM)的轉運。這種架構在處理一般工作時綽綽有餘,但在動輒數千億參數的大語言模型(LLM)時代,這條傳輸路線就變成了致命的交通瓶頸。當 GPU 算力強大到幾微秒就能處理完資料,卻得花好幾倍的時間「等資料」從硬碟送過來,這就是所謂的傳輸塞車。
為了解決這個痛點,輝達(NVIDIA)力推的 GPUDirect Storage (GDS) 技術,就是直接在 GPU 和儲存裝置之間拉一條「高鐵直達專線」。這項技術允許 GPU 利用 PCIe 通道,繞過 CPU 直接伸手去 NVMe SSD 拿資料,不僅把傳輸延遲降到最低,更將資料讀取速度提升到接近系統記憶體的恐怖等級。這樣一來,AI 模型在進行深度學習訓練或即時推論時,就不會因為「等資料」而原地發呆,讓整體的運算效率呈現爆發式成長。
- 近期 輝達大舉在 AI 資料中心與 DGX 系統中導入 GPUDirect Storage (GDS) 技術架構。
- 未來展望 GDS 預計將成為下一代 AI 伺服器的標配規格,推動高頻寬、低延遲儲存晶片需求大爆發。
台灣怎麼看這件事?
台灣作為全球 AI 伺服器的製造重鎮,輝達這項技術的普及將直接帶動台灣供應鏈的規格大洗牌。當 GPU 需要直連儲存裝置,伺服器內部的主機板(PCB)設計、高速連接器以及散熱模組都需要同步升級。特別是台灣的高速傳輸介面晶片廠(如祥碩、譜瑞-KY)與高速 SSD 控制晶片廠(如群聯),將在這波「GPU 直連儲存」的架構變革中,直接切入高毛利的伺服器市場,擺脫過去消費級市場的價格戰,迎來含金量極高的黃金升級潮。
編輯觀點
這是一場安靜卻致命的架構革命。過去市場過度關注 GPU 算力本身,卻忽略了「水管不夠粗,水龍頭再大也沒用」的道理。輝達推動 GDS 技術,本質上是在重新定義資料中心的硬體遊戲規則。對台灣科技業來說,這是一劑強心針,證實了 AI 伺服器絕非只是單純的代工組裝,誰能率先搞定高速傳輸與複雜的訊號完整性,誰就能在下一波 AI 紅利中賺得盆滿缽滿。
常見問題
- 什麼是輝達的 GPUDirect Storage (GDS) 技術?
- 這是一種讓 GPU 繞過 CPU,直接讀取 NVMe 儲存裝置(如 SSD)的技術,能大幅減少傳輸延遲。
- 為什麼傳統的傳輸方式會成為 AI 運算的瓶頸?
- 因為傳統方式需要 CPU 進行中轉,當 AI 資料量極大時,CPU 的處理速度跟不上,會造成 GPU 閒置等待。
- GPUDirect Storage 對 AI 效能有什麼具體幫助?
- 它能讓資料傳輸速度逼近系統記憶體,顯著縮短大語言模型(LLM)的訓練時間並提高推論效率。
- 這項技術對台灣哪些產業最有利?
- 對台灣的高速傳輸晶片廠、AI 伺服器代工廠(廣達、緯穎等)以及高階 SSD 控制晶片廠最為有利。
- 導入 GDS 技術會增加伺服器成本嗎?
- 會的,因為需要採用支援更高頻寬的 PCIe 規格與高速 SSD,這也將推升 AI 伺服器的整體產值。
名詞小教室
- GPUDirect Storage (GDS)
- 就像是幫 GPU 與硬碟之間蓋一條「無人駕駛的高速直達公路」,貨物(資料)不需經過 CPU 轉運站,直接送達目的地。