「幾天前,我們董事長(劉克振)受訪提到,邊緣AI太厲害了,事實上,我們內部已看到客戶陸續在邊緣AI創造各種應用,甚至是以前IPC沒有接觸到的領域。」談及邊緣AI,鮑志偉一邊以正面的語氣描述市場前景,同時一邊強調,邊緣AI市場規模太大了,甚至是AI Server(雲端)的上萬倍都有可能。
然而,AI從雲(AI)擴及到邊,究竟這兩者服務模式有何差別?鮑志偉也從工業電腦的角度提出三大差異,更分析這同時也是邊緣AI進入門檻遠比AI Server高很多的三大挑戰。
「雲端AI Server 有個特點,是以GPU為基礎不斷提高算力,這是有一致性與標準;然而,邊緣AI不單純以算力為考量,反而更重視情境、模型、散熱,例如放在車用、路測甚至船上,都可能因為不同可靠度、防水;防塵規格等各種需求,提供的伺服器硬體就會不同。」鮑志偉強調第一個差異在伺服器的客製化,這也導致邊緣AI為何規模化的難度比雲端AI Server高,「光硬體就有多元的解決方案。」鮑志偉說。
此外,鮑志偉進一步表示,邊緣AI商業模型通常有「大量部署」的特性,「例如台北市的交通動線可能有三千個路口,為了監測車流,就得放置三千多個模型,還得不定時更新軟體同時維持正常運作。」這意思是說,大量部署與管理,是工業電腦業者提供邊緣AI服務的第二個挑戰。
最後一個挑戰是算力的規畫,鮑志偉指出,隨著解決方案的多元,工業電腦提供邊緣AI的算力,最小從40TOPs(每秒1兆次操作)到1200 TOPs都有可能,話鋒一轉,鮑志偉又把這次Computex體驗熱區的AI PC拿來比較,指出,目前AI PC的規範,只要求CPU+NPU的算力至少40 TOPs即可,但邊緣AI應用範疇廣,光算力規模、應用情境、使用方向都不一樣,就不可能像AI PC這麼單純,但也不像雲端AI Server只要暴力的算力為主來滿足。
而在研華內部,邊緣AI已有多年的客戶合作軌跡,他以智慧交通為例,分享在美國有很多十字路口、號誌燈都AI化,可以辨識車種、人流、車流,就是使用研華以輝達(nVidia)為平台的智慧交通解決方案,接下來也會陸續其他國家複製。
此外,工廠產線的AI檢測設備像PCB檢測業者德律,也是研華的客戶,鮑志偉說,類似的檢測設備客戶使用研華提供深度學習邊緣AI系統後,生產良率、除錯率都大幅提高。
最後一個邊緣AI應用逐漸普及的是機器人,但鮑志偉強調目前合作的模式不是此次黃仁勳大力看好的人形機器人,「這是未來性,即便全球最頂尖做機器人的公司跟我們(研華)有合作,但他們在人形機器人也只是初期階段。」
鮑志偉指出,現在邊緣AI機器人最大宗仍是自主移動機器人(AMR),在先進國家如Amazon已大量導入,隨著全球缺工潮,預期這類需求會急速拉高,他觀察目前工廠取代人力比例可能只有30%-40%,這數值在未來一定會高到70-80%,伴隨來的是工廠自動化程度商機,也會是IPC市場邊緣AI設備需求的主力之一。