新冠疫情爆發這幾年，企業為兼顧防疫與生意，零售業添購可自動送貨上門的無人機，工廠則裝設幫忙瑕疵檢測的機器人提升產能，醫療現場人員上下班陸續改以臉部辨識，取代刷卡降低接觸風險，甚至未來登打病歷，也考慮改用語音輸入。
你知道嗎？這些「智慧小幫手」之所以能運作，靠的是背後每一顆具學習能力的AI晶片；過去，這種晶片只放在猶如超大電腦的雲端伺服器，雖然運算能力強，但往返間容易延遲且耗電。現在隨著5G建置加速，電信業開放式架構（Open Ran）的推波助瀾，廠商可自行購買白牌伺服器、交換器或小型基地台，然後用手機、行動裝置連網，讓資料更靠近傳輸端而迅速執行，形成所謂的「邊緣AI」生態系。
談起邊緣AI的崛起，工研院電光系統所所長暨臺灣人工智慧晶片聯盟(AITA)副會長張世杰認為 ，網路資料量越來越大，在「即時性、可靠性、隱私性」三大趨勢加持下，AI勢必得從雲端延伸到邊端。
張世杰指出，以指紋辨識或人臉辨識為例，往往都需要即時性的判斷；此外，自駕車的AI也得即時運算，尤其是遇到緊急較危險情況，若丟到雲端再回傳，可靠性與即時性都會打折。至於隱私性方面，則因雲端資料處理量大、傳輸長而增添風險，資料若能靠近邊緣直接運算，風險較低。
「家裡監控小偷的攝影機，若影像得每分每秒傳到雲端判斷，其實非常浪費網路資源。」張世杰提出邊緣AI之所以存在的背景因素。然而，這不表示邊緣AI會取代雲端，「相反的，若在邊端加入一些判別功能的AI晶片，可省掉許多不必要的雲端運算。」
早從2018年起，邊緣運算即開始隨網路技術的進步從雲端分出，但成大敏求運算學院客座教授林偉棻指出：「5G出來之後，因為比4G具有更寬頻寬與低延遲性，使得邊緣AI有更好的前景。」
工業嵌入電腦儲存模組廠商宜鼎科技總經理特助張獻文則向本刊提出觀察，「電信業開放式架構（Open Ran）的推動，助長白牌伺服器的佈建，我們旗下四、五千家客戶對邊緣AI的需求都比以前高，好比智慧電桿導入空氣汙染偵測的AI，又如電動車充電樁將加裝具車牌辨識管理的AI解決方案。
過往，AI晶片只放雲端，擴大到邊端後，晶片業者無疑是這波趨勢下的最先受惠者，調研機構Omdia就預測，全球邊緣AI晶片的產值將從2019年的77億美元成長到519億美元，6年複合成長率高達73%，換算產值上看1.5兆台幣。微軟（Micornsoft）更指出，2026年全球AI晶片有3/4為邊緣運算所用。
