成立於2015年的耐能總部位於美國,一直以邊緣運算所需的類神經網路晶片為產品主力,這種邊緣運算所需的專用處理晶片,如同大腦(雲端)延伸而出的神經系統,大多透過手機、電腦、行動裝置或5G基地台連網,就能處理緊急或特定需求的訊息,因具「快速、可靠、隱私」三大特性,非常適合有安全考量的應用領域,像電動車自動駕駛與智慧醫療場域;此外,智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人,也是常見的應用。
隨著生成AI崛起,這次的新品擴大到可支援nanoGPT的語言模型,公司以邊緣運算AI新革命做比喻,執行長劉峻誠在現場更興奮地展示用這顆晶片只需個別約15分鐘,就能生成出四個可年輕、可老派會說台、日語等的虛擬分身,更直言比起輝達(Nvidia)創辦人黃仁勳耗時3、4個月在發表會打造的虛擬分身,時間上明顯縮短,PK意味相當濃厚。
「GPT已不是一般公司可負擔的投資,真正為AI而生的應該是NPU,如此才能有效解決高成本問題並加速普及。」生成式AI帶動雲端服務業者大舉投資AI伺服器,然其所需的通用處理器晶片目前由輝達高佔9成,效能強大卻也高貴,劉峻誠認為,耐能這款新品,可以幫助企業降低導入生成式AI的訓練成本,此外,被訓練的資料不需放在雲端而在邊端(Edge)執行,隱私安全更能獲得保護,加上傳輸運算速度比上雲還快,更能解決大型資料中心帶來的耗電問題,這三大痛點,也是他信心看待需求面可與輝達一較上下的原因。
劉峻誠並透露,早在2021年,耐能就因應日系與德系車廠的需求,推出過第一代支持Transformer的處理器晶片KL530,然而,「當時並不知道大語言模型的應用會開展成這麼大。」但兩年後的今日拐點已到,ChatGPT問世刺激生成式AI大量需求,他看到客戶從過去的被動教育轉為主動詢問,因此,KL730不但在效能上做了有效提升,還擴大支援最先進輕量級 GPT 大型語言模型的nanoGPT,讓一般中小企業可負擔,加速AI普及。
談及KL730有何應用,劉峻誠表示,KL730的定位主要放在企業邊緣伺服器、智慧家居、汽車輔助駕駛(ADAS)與互聯網(AIOT)等四大場景,公司也強調,工程師也能依此來生成新的半導體晶片,無需與大型雲端公司營運的資料中心共用機密數據。
資料顯示,比起ChatGPT使用的GTP-3語言模型,NanoGPT是特斯拉(Tesla)前AI總監今年初才發布的中小型語言模型,即使參數量沒有GPT-3大,要提供38小时訓練,仍得包含Nvidia8顆A100、每顆A100搭40GBHBM記憶體的規格,一名在場參觀的業者因此指出,耐能KL730雖可支援nanoGPT,若要穩定的完成運算,算力的配合也是關鍵。