新創公司Tiiny AI公開可執行120B AI模型的口袋尺寸AI電腦 搭12核Arm CPU與NPU與80GB記憶體

一家AI新創公司Tiiny AI宣布將在CES展示口袋尺寸的超級電腦Tiiny AI Pocket Lab，外表像是一顆大功率行動電源，但卻足以執行120B參數的大型語言模型，且僅需極低的功耗，關鍵在於該平台搭載一顆客製化的Arm架構CPU異構處理器與高達80GB的記憶體。

根據官方資料，Tiiny AI Pocket Lab採用SoC與獨立NPU的客製化異構運算模組，可提供約190TOPS的性能，平台約30WTDP、實際能耗約65W；雖然已AI平台而言性能不算太好，但借助搭載80GB LPDDR5記憶體，足以在裝置端執行120B參數模型。

除了龐大的80GB記憶體以外，Tiiny AI利用兩種技術使其可執行120B參數模型，一種是基於神經元等級的稀疏化技術TurboSparse，另一種則是可動態把運算負載分配到CPU與GPU、並於GitHub開源的異構推論引擎PowerInfer。

雖然DeepSeek掀起一股AI模型精簡瘦身的風潮，不過現實就是經過瘦身後參數較大的模型仍有其優勢，導致不少專為推論開發的新平台紛紛把重點放在「可執行」大型模型而非追求純性能，故具有大容量的記憶體也成了另一種方式；然而除了對於該平台實際表現仍待經過驗證外，隨著近期記憶體價格飆漲也對這款配置80GB LPDDR5x的產品的量產能力與價格增添變數。