AI新瓶頸揭密：互連技術才是關鍵？

30 秒看重點

• 事件：雲端服務商CoreWeave指出，AI基建新瓶頸是數據中心的「互連技術」。
• 意義：AI運算效能遭遇新挑戰，將改寫晶片設計與資料中心佈局邏輯。
• 影響：台灣半導體業需關注互連技術與CPU發展，把握伺服器供應鏈新商機。

AI運算速度，為何卡關在「互連技術」？

AI時代算力需求飆升，各家業者都在搶GPU和高頻寬記憶體（HBM），然而，專門提供AI基礎設施的雲端大廠CoreWeave卻指出，現在AI運算最大的瓶頸已經不再是單一GPU的處理速度，也不是HBM記憶體的頻寬，而是數據中心裡面，數百甚至數千顆晶片之間「溝通」的速度與效率，也就是俗稱的「互連技術」。想想看，如果把數據中心比喻成一個大型的物流中心，GPU是堆高機，HBM是堆高機旁邊的快速貨架。過去我們總擔心堆高機不夠快或貨架不夠大，但現在的問題是，當你有成千上萬台堆高機時，運送貨物（數據）的道路（互連網路）太窄、交通號誌（通訊協議）太差，導致數據在不同晶片間傳輸時大塞車，再快的堆高機也動不了，這就是「互連瓶頸」的核心概念。聯合報也報導，AI模型愈來愈複雜，需要更龐大的數據量處理，這使得資料中心內部的CPU在協調與管理這些數據流動上扮演了更關鍵的角色，間接也凸顯了整個系統性溝通的重要性。當AI愈來愈好用，CPU的重要性也隨之提升，代表晶片戰爭的邏輯正在悄悄改寫。

台灣怎麼看這件事？

對於台灣這個全球半導體與伺服器供應鏈的核心，CoreWeave提出的「互連瓶頸」無疑是一劑強心針，也可能是新的挑戰。台灣在先進封裝（CoWoS）、IC設計、網通晶片、光通訊模組、伺服器主機板與整機組裝等領域，都扮演著舉足輕重的角色。互連技術的崛起，意味著我們的產業不能再只聚焦於單點晶片的效能，更要將眼光放遠到整個數據中心的系統整合、高速網路佈局以及相關軟硬體的協同優化。這將帶動高速交換器、光纖纜線、甚至是專為AI優化的網路晶片等新一波需求，台廠如廣達、緯創、技嘉、英業達等伺服器大廠，以及聯發科、瑞昱等網通晶片供應商，都有機會在新的 AI 基礎設施競爭中找到利基，開創新的商機。

編輯觀點

AI運算的新瓶頸浮現，再次證明了科技產業的發展永遠是動態且充滿變數。我們不能只看表面的GPU、HBM，而要深入理解AI運算的本質。台灣的半導體產業向來以靈活應變著稱，這次「互連技術」的重要性提升，正是我們從晶片製造優勢，延伸到系統整合與網路解決方案的絕佳機會。政府與產業應共同投入研發，鼓勵更多跨領域合作，將台灣打造成不只生產晶片，更是能提供完整AI運算解決方案的全球領航者。

常見問題

什麼是AI基建的「互連瓶頸」？

互連瓶頸是指在大型AI數據中心內，不同晶片（如GPU、CPU）與儲存裝置之間傳輸數據的速度受限，導致整體運算效率無法再提升的問題。

為什麼不是GPU或HBM記憶體？

GPU和HBM雖然很重要，但它們是單一晶片或模組的內部效能。當AI模型變大，需要大量晶片協作時，晶片間的「交通」速度反而成為新的瓶頸。

這對AI未來發展有何影響？

AI發展將更注重系統性優化，而非單純堆疊最強晶片。未來會看到更多針對互連技術、網路架構和CPU協同處理的創新。

台灣半導體產業如何應對？

台灣需加強高速網通晶片、光通訊技術、先進封裝以及伺服器系統整合的研發與生產，從單點零組件供應商轉向提供完整解決方案。

一般使用者會感受到什麼影響？

短期內影響不大，但長期而言，更有效率的AI基建能讓生成式AI服務速度更快、成本更低，應用更普及，間接提升用戶體驗。

名詞小教室

互連技術 (Interconnects)

想像數據中心裡有無數台電腦，互連技術就是這些電腦之間互相傳送資料的「高速公路和路網系統」，它決定了數據傳輸的速度和效率。

HBM (高頻寬記憶體)

HBM就像晶片旁邊一個超大的「臨時工作台」，讓晶片能極快速地存取大量資料，處理更複雜的運算任務。