Arm 基礎設施事業部行銷副總裁 Eddie Ramirez 今天（6/5）於 COMPUTEX 2024 生成式 AI 新賽局論壇中，以【以Arm Neoverse 建構永續且能因應 AI 需求的雲端資料中心】為題發表演說。

Eddie Ramirez 於 2024 台北國際電腦展論壇演講重點摘要如下：

• 呈指數型成長的人工智慧（AI）工作負載及其對能源消耗的影響 ：
  • AI日漸風行，在各行各業中無所不在，範圍涵蓋健康照護、零售、專業服務乃至於製造業等各種領域，這樣持續成長的AI工作負載，大幅增加能源消耗

• 我們需要更高效率的AI硬體：
  • 傳統的 AI 硬體不但價格昂貴，也需要大量電力。Arm 正努力促進新型晶片的創新，以提升AI運算硬體的效能及功耗效率，其中，Arm 與大型的超大規模運算業者和科技公司合作，設計工作負載最佳化的晶片。例如 NVIDIA、AWS、Microsoft 及 Google，都已宣布推出 Arm 架構的伺服器產品。

• CPU 及 GPU 對 AI 工作負載的重要性：
  • AI 資料中心需要 CPU 及 GPU 以便有效擴充AI運算效能。GPU 非常適合用於大型 AI 工作負載，但是價格昂貴且需要大量電力。CPU 用途更為多元，可用於各式各樣的工作負載。Arm 持續努力為 AI 推論工作負載提升 CPU 效能。其中一個明顯的例子，即是 Arm Neoverse 提升的效能及每瓦效能，在市場上超越其他競爭對手。

• 透過量化技術提升AI模型效率：
• 量化是一種技術，可用於減少人工智慧模型呈現數據時所需的位元數，以便縮小AI模型，並提升執行效率。Arm 正努力開發新的量化技術，用來提升AI模型效率而不犧牲準確性。藉由使用記憶體用量更小的模型，使其單獨於 CPU 執行，並運用模型量化策略降低硬體需求，為於邊緣和雲端上實現 AI 聊天機器人伺服器，開闢了新的可能性，範圍從RaspberryPi4 這類小型邊緣裝置到像 AWS Graviton3 這樣強大的雲端服務供應商。

• 經業界實證且通過驗證可以加快上市時程的高效能晶片，能夠迅速推動AI資料中心轉型：
• 正解就是 Arm Neoverse CSS。Arm 利用 Neoverse CSS 負責配置、最佳化及驗證完整的運算子系統，針對橫跨整個基礎設施市場的關鍵使用場景，進行配置，如此可以減輕合作夥伴的負擔，協助合作夥伴專注於其本身重視的系統層級工作負載的差異化，例如軟體調校、客製化加速或其他事宜。

• 小晶片為建構永續供應鏈發揮的作用：
• 小晶片是指小型模組化晶片，可結合為更複雜的晶片。小晶片可協助提升良率、降低一次性工程成本，並可重複使用 IP。Arm 正努力推進小晶片技術，並致力於促成多元的小晶片生態系。Arm 全面設計（Arm Total Design） 生態系計畫，集結整個半導體供應鏈的業界領先企業，以更強大的力量促成客製化晶片、並降低其成本。

• Arm 全面設計（Arm Total Design）合作夥伴最新動態：
• Arm 全面設計生態系計畫推出以來，在短短 6 個月內就吸引多達 25 家成員加入，包括新的 EDA 及輔助 IP 供應商，此外，來自龐大成長潛力市場的晶片設計合作夥伴也加入其中，例如韓國、台灣、中國及印度等地。
• 我們與三大主要晶圓製造夥伴密切交流互動，確保 CSS 產品成為他們先進製程節點的最佳選擇。
• 客製化晶片需要可靠的供應鏈。只有 Arm 能在半導體供應鏈中，提供如此的多元性及選擇。
• 6月4日聯發科技宣佈也加入Arm 全面設計生態系計畫。此外，ATD 的另一家合作夥伴聯詠科技和瑞昱科技，也宣布推出基於 Neoverse CSS N3 的AI 小晶片和網路邊緣SoC，並與台積公司合作。

• Arm 支援軟硬體共同設計的獨特性：
  • 透過 Arm 的合作模式，產業夥伴可以在我們開發 IP 的過程中，在對應的系統上運行他們的工作負載。這種合作模式能直接影響 Arm 架構的演進，以及我們如何在 IP 產品中實作該架構。在我們提供此項 IP 後，我們將在合作夥伴的完整 SOC 開發週期中提供支援，包括支援他們進行物理模擬和系統模擬的設計選項，並貫穿整個生產和開發週期中提供支援，以加速上市時程（TTM）。
• 我們共同合作，開創了邁向客製化運算的獨特路徑，以因應當前運算基礎設施的需求。不過這項共同設計不限於 CPU。為了徹底實現總持有成本的最佳化，我們從整體平台的角度切入。而只有 Arm 能在平台層級調校記憶體及 I/O，且增加客製化工作負載加速器。