代理式AI太受歡迎 CPU也鬧缺貨

代理式AI的崛起,讓缺貨潮蔓延至中央處理器(CPU)。路透

AI風潮之下,先是繪圖處理器(GPU)與記憶體大缺貨,如今代理式AI的崛起,讓缺貨潮蔓延至中央處理器(CPU)。

Wccftech報導,Semianalysis創辦人帕特爾(Dylan Patel)指出,雲端業者不僅GPU受限,CPU也喊缺。以往AI靠GPU執行簡單的推論,但新AI模型現身,代理式AI處理的任務,有些高度依賴CPU,如物理運算與模擬,導致資料中心的CPU用量激增。

與此同時,儘管GPU仍在AI雲端伺服器佔有主導地位,比方說每個機櫃中,單一CPU需要搭配八個GPU,但現在伺服器內的GPU與CPU的比例日益接近,也使得CPU陷入短缺。