AI運算慢不是GPU的鍋？HBM之父：AI瓶頸是記憶體

30 秒看重點

• 事件： HBM之父三星常務柳秀政指出，AI運算慢主因是GPU九成時間等待記憶體資料。
• 意義： 揭露AI核心瓶頸不在GPU算力，而在高速記憶體頻寬與數據互連技術。
• 影響： 催生新一代HBM及CoWoS先進封裝需求，對台灣半導體產業鏈至關重要。

AI加速瓶頸，真是GPU的鍋？

全球AI浪潮洶湧，大家總以為只要GPU算力夠強，AI就能跑得飛快，但事實卻可能出乎意料。三星半導體HBM研發部門常務柳秀政，這位被譽為「HBM之父」的關鍵人物，近日直言不諱地指出，現今的AI加速器，包括大家瘋搶的AI GPU，其高達九成的運算時間，竟然都花在等待高頻寬記憶體（HBM）傳輸資料上。這意味著，AI的真正瓶頸並非來自於圖形處理單元（GPU）本身的計算速度，而是數據從記憶體傳輸到處理器的「通道」不夠寬、速度不夠快，這正是AI記憶體頻寬的挑戰。

他解釋說，目前的AI模型越來越龐大，需要處理的數據量呈指數級增長。GPU雖然運算能力驚人，但若資料像是在塞車的馬路上緩慢移動，那麼再強的處理器也只能空轉，白白浪費寶貴的計算週期。這就像是擁有法拉利引擎的超跑，卻只能在產業道路上龜速行駛，根本無法發揮其潛在性能。因此，他大膽預測，AI的本質，與其說是「算力」，不如說是「記憶體」。這項觀點無疑為整個AI硬體產業敲響警鐘，預示著未來AI晶片設計與製造的重心，將從單純提升AI算力，轉向更重視記憶體頻寬、低延遲，以及更高效的數據互連技術。這也解釋了為何像是NVIDIA的Hopper或Blackwell架構，都大幅度地整合了HBM，甚至讓HBM成為核心競爭力之一，顯示HBM技術發展已成為AI加速的必經之路。

台灣怎麼看這件事？

對台灣而言，這項洞察無疑是機會與挑戰並存。台灣在全球半導體供應鏈中扮演關鍵角色，尤其是台積電在先進封裝（CoWoS）技術上的領先地位，正是解決HBM與GPU整合痛點的關鍵。當AI的重心轉向記憶體與互連技術時，台灣的晶圓代工、封裝測試業者，如日月光、力成等，將獲得更多高價值訂單。這也促使台灣相關的IC設計公司，在開發AI晶片時，必須更深入地思考AI記憶體架構與整合方案，而非僅聚焦於運算核心。對於台灣的AI伺服器廠商如廣達、緯創、英業達等，也意味著未來的伺服器設計將更著重於如何優化記憶體配置和資料流，以最大化AI加速器的效率。簡而言之，這波AI記憶體革命，將深化台灣在全球AI供應鏈中的獨特且不可取代的地位。

編輯觀點

「AI的本質是記憶體」這句話，聽起來或許顛覆直覺，卻是直指核心。它提醒我們，科技發展不應只看單一指標的極限，更要關注整體系統的協同效率。對於台灣而言，這不是壞事，反而是我們長期累積的半導體製造與CoWoS先進封裝實力，在AI時代再度被凸顯的機會。與其盲目追逐高算力，不如專注於提升數據傳輸效率，這才是讓AI真正「快起來」的關鍵。我們期待台灣業者能把握住這個「AI記憶體時代」的黃金機遇，持續引領產業脈動，強化台灣半導體AI的全球領先地位。

常見問題

什麼是HBM？為什麼它對AI很重要？

HBM（High Bandwidth Memory）是一種高頻寬記憶體，能以超快速度傳輸大量數據。對AI而言，它像一條超寬高速公路，讓GPU能快速取得資料進行運算，大幅提升AI訓練與推論效率。

如果GPU大部分時間都在等待記憶體，那是不是說GPU不夠力？

不，這並非指GPU算力不足，而是指資料從記憶體傳輸到GPU的速度跟不上GPU的運算需求。GPU本身計算能力很強，但如果「食材」送達太慢，「廚師」也只能乾等。

這次的觀點對未來AI硬體發展會有什麼影響？

這將加速記憶體技術的創新，特別是HBM的發展與應用，並推動AI晶片設計更著重記憶體頻寬和先進封裝技術，以優化GPU與記憶體之間的數據傳輸。

台灣的半導體產業在這波趨勢中能扮演什麼角色？

台灣在HBM製造（如美光台灣廠）、晶圓代工（台積電）及先進封裝（CoWoS）領域具全球領先地位，將成為AI記憶體革命的關鍵推手，提供核心技術與製造服務。

一般人會感受到「AI的本質是記憶體」帶來的影響嗎？

雖然感受不直接，但這將間接影響AI服務的成本與效能。更高效的AI硬體意味著更快的AI應用、更便宜的雲端AI服務，甚至會影響未來智慧裝置的AI能力。

名詞小教室

HBM (High Bandwidth Memory)

一種堆疊式的高速記憶體，比傳統記憶體能提供更寬的數據通道，就像把單線道拓寬成超級多線道高速公路，讓資料傳輸效率倍增。

GPU (Graphics Processing Unit)

最初用於處理圖形，但因其大量平行運算能力，現在被廣泛用於AI訓練與推論，是AI運算的「主力戰將」。

AI加速器

專為AI運算設計的硬體，通常包含GPU、NPU或其他特製晶片，能大幅提升AI任務的處理速度。