30 秒看重點
- 事件： HBM之父金正浩指出，AI運算本質是記憶體，GPU實際高效工作時間僅10%。
- 意義： 這顛覆傳統GPU主導論，揭示AI運算效率瓶頸，引導硬體設計往記憶體靠攏。
- 影響： 加速高頻寬記憶體發展，台灣在AI記憶體與先進封裝產業鏈地位更形關鍵。
這可不是開玩笑！高頻寬記憶體（HBM）之父金正浩博士重磅開講，直指AI的真正核心是「記憶體」，而非我們常說的GPU。他甚至踢爆，現在動輒上萬元的頂級GPU，在AI運算時，大部分時間其實都在「發呆」，真正高效運作的時間不到10%！這個消息，對整個AI產業投下了一顆震撼彈，也讓台灣的AI供應鏈，再次成為全球焦點。
AI運算的本質真是記憶體嗎？
高頻寬記憶體（HBM）的先驅，SK海力士的研發顧問金正浩博士，日前一席話點醒夢中人：人工智慧（AI）的真正「本質」其實是記憶體，而不是大家過去總把光環戴在頭上的GPU（圖形處理器）。這番話乍聽之下有些逆耳，畢竟我們總認為GPU才是驅動AI突飛猛進的關鍵引擎，但金博士用他數十年深耕記憶體領域的權威視角，精準點出當前AI運算的深層瓶頸。他比喻說，GPU就像一個超級厲害的大廚，身懷絕技，能把各種食材變成美味佳餚，但如果冰箱裡（記憶體）的食材不夠新鮮、不夠多，或是從冰箱到廚師手上的速度太慢，那這位大廚就算再強，也只能乾等、發呆，根本無法全速發揮。
這個「廚師等待食材」的困境，就是金正浩所謂的「GPU真正工作的時間只有10%」的深層含義。目前的AI模型越來越龐大，需要處理的數據量也呈幾何級數增長，GPU強大的運算能力雖然傲視群雄，但它需要不斷地從記憶體中抓取數據來進行計算。如果傳統的DRAM記憶體頻寬不夠高，或傳輸速度不夠快，那麼GPU就得花大量時間等待數據傳輸，而這些等待的時間，就是算力白白浪費的時刻。HBM的出現，正是為了解決這個AI運算瓶頸。它像是把食材直接搬到廚師工作檯旁的「超大且超快速儲藏櫃」，大幅縮短了數據從記憶體傳輸到GPU的時間，讓GPU這台超級引擎可以持續且高效地運轉，真正將其算力潛能百分之百釋放出來。金正浩博士的這番見解，無疑為AI晶片設計指明了新的方向，讓業界重新思考如何平衡運算與記憶體之間的關係，將「高頻寬記憶體技術」推向AI發展的核心，成為未來AI硬體發展與「高效AI訓練」不可或缺的一環。
台灣怎麼看這件事？
金正浩博士的「AI本質是記憶體」論點，對台灣來說可謂意義非凡，甚至可以說是「天時地利人和」的絕佳機會。台灣在全球高頻寬記憶體（HBM）與相關先進封裝技術的產業鏈中，扮演著無可取代的關鍵角色。從上游的記憶體顆粒製造（雖然台廠較少直接生產HBM晶片，但DRAM技術基礎深厚，且有供應鏈合作關係），到中游的晶圓代工龍頭台積電（TSMC）其獨步全球的CoWoS先進封裝技術，正是整合HBM與GPU的關鍵。CoWoS技術能將多層HBM晶片與邏輯晶片緊密堆疊，大幅縮短數據傳輸路徑，實現高速運算，完美解決金博士指出的「數據搬運瓶頸」。此外，台灣還有眾多IC設計服務公司、載板廠、測試廠等，共同構建起一套完整的「AI記憶體供應鏈」。這意味著，未來隨著AI對HBM需求持續飆升，台灣的半導體產業將更受全球矚目，並從中獲取更大的價值，鞏固在AI時代的領先地位。
編輯觀點
金正浩博士的洞見，不僅是一項技術分析，更是一場思維革命。它提醒我們，AI的發展不僅要追求算力的極限，更要重視「數據流動」的效率。這對台灣而言，是挑戰，更是鞏固優勢的絕佳機遇。我們應當持續投入研發，尤其是在先進封裝、異質整合與下一代HBM技術上，持續強化台灣在AI記憶體這條「數位高速公路」上的戰略地位。未來AI的競爭，將是一場記憶體與運算協同的競賽，而台灣，手握致勝的關鍵籌碼。
常見問題
- 什麼是HBM？它跟一般記憶體有什麼不同？
- HBM（High Bandwidth Memory，高頻寬記憶體）是一種3D堆疊的記憶體技術，它將多個DRAM晶片垂直堆疊起來，再透過短距離的通道與處理器連接，提供比傳統DRAM快數倍的數據傳輸速度和更高的頻寬。可以想像成是把食材從遠端倉庫搬到廚房料理檯的速度，從一般道路變成多車道的超高速鐵路。
- 為什麼金正浩博士會說AI的本質是記憶體？
- 他認為，目前AI模型日益複雜，需要處理的數據量極大。雖然GPU運算能力強大，但如果記憶體無法以足夠的速度供應數據，GPU就會空轉等待，導致效率低下。因此，高速、大容量的記憶體（HBM）才是確保AI運算效率的關鍵。
- GPU只有10%時間工作，這代表GPU不重要嗎？
- 不，GPU依然是AI運算的核心引擎，其強大的平行運算能力無可取代。金博士的意思是，在現行架構下，由於記憶體傳輸瓶頸，GPU無法長時間全速運轉，其潛力未能完全發揮。HBM的目的正是要讓GPU能夠更長時間地保持高效率工作。
- 這對未來AI晶片設計會帶來什麼影響？
- 這將促使晶片設計更加重視記憶體與運算單元之間的平衡，除了追求GPU算力提升，也會更積極地整合、優化高頻寬記憶體，甚至發展記憶體內運算（Processing-in-Memory, PIM）等新架構，以減少數據搬運，提升整體系統效率。
- 台灣在HBM與AI記憶體產業鏈中扮演什麼角色？
- 台灣在全球AI記憶體產業鏈中扮演關鍵角色，特別是在先進封裝技術（如台積電的CoWoS），這項技術能將HBM與AI晶片整合，解決數據傳輸瓶頸。此外，台灣的載板、IC設計服務及測試產業也都是高頻寬記憶體供應鏈的重要環節。
名詞小教室
- HBM (High Bandwidth Memory)
- 一種像疊積木一樣的記憶體，可以堆很多層，讓數據跑得更快、更寬，就像從一條小巷變成多車道的超高速公路。
- GPU (Graphics Processing Unit)
- 專門處理大量平行運算的晶片，本來是為顯示圖形設計，後來發現它超適合做AI運算，就像是AI的大腦，負責高速的複雜計算。
- AI記憶體
- 泛指專為AI應用設計或優化的高效能記憶體，例如HBM，它們的特點是頻寬極高，能快速供應AI模型所需的龐大數據。