相機是許多智慧設備的眼睛,而電腦則是它們的大腦——不過最近史丹佛大學的研究者們正嘗試將它們合二為一。
史丹佛大學一個由碩士生組成的團隊製作了一台AI智能相機。由於已經將計算放入光學系統中,它不需要外接大型電腦來處理全部資料。
目前的物體識別技術,都是使用單獨的電腦運行影像處理演算法來識別物體。正像史丹佛研究人員所說,目前無人駕駛的汽車需要笨重的電腦來識別車輛前方的行人。這些電腦體積龐大,需要消耗大量的能源,並且通常很慢。
於是這些研究者就想將AI直接嵌入到相機中,使得整個系統變得小巧且高效。這個相機由兩層組成:第一層被叫做光學電腦。當光通過相機時,內置的光學系統會以物理方法預處理資料。光學電腦將過濾無效資訊,減少運算量。第二層由傳統電腦和圖像感測器組成,負責剩餘部分的計算。這個AI相機背後的原理很複雜,不過性能上卻相比于傳統無人車或無人機的相機有著重要提升。
由於當光射入相機時已經開始以物理方式處理場景資料,他們的相機(第一層)減少了後續識別運算所需的算力。論文第一作者碩士生Julie Chang說:「我們把一些AI的數學運算『外包』給光學系統。』
指導本項研究的助理教授Gordon Wetzstein表示,將部分計算任務分配到光學部分,將減少電子電腦所需運算量,大大提高資料處理速度。他這樣形容:「上百萬次運算被以光速繞開。」
專案的另一個目標是減少設備體積,目前還未實現——相機仍需要在操作臺上放置。不過研究者表示,未來的研究將有助於減小設備體積,最終實現更便攜的AI相機。研究團隊提出了該設備未來的可能應用場景,包括無人車、無人機甚至是手持醫療成像設備。以光速實現的資料處理,對目前依靠相機識別和避障的無人車來說,很有誘惑力。
由於設備的體積過大,這項技術仍需要一些時間走向實際應用。不過這個研究已經向 AI 相機邁進一大步了。研究的內容已在《自然》雜誌(Nature)子刊《科學報告》(Scientific Reports)發表。