一旦研發完成，這種自主無人機將成為人工智慧跨入戰場的終極象徵，並觸發一連串衝擊整個社會的法律與道德問題。所謂的戰爭，將有可能從「戰鬥」轉向「殲滅」，失去了所有殘存的人性樣貌。另一方面，戰爭的範圍也因此延伸，包括人工智慧技術的研發廠商、工程師和科學家，都可能被捲入成為正當的軍事目標。
現役的攻擊性軍事無人機，如MQ-9「猛禽」，是由人類透過衛星小心操控運行的。每當操作員下令投彈或發射飛彈，另一名感測器操作員會在同時以雷射主動引導彈藥飛向目標。
因此，消滅敵人目標的最終道德、法律，和作業責任，也是由遠端操作員來承擔。一名猛禽無人機的操作員就曾說：「我的操作原則是：如果發起攻擊有可能會傷害無辜平民，那我寧可放過那些叛軍，不管他們是不是重要的目標。」
就算只是操作無人機，人類的情感、判斷，和道德意識仍舊主導著戰爭。遠端殺人所造成的心理壓力，從許多操作員都罹患心理創傷或創傷後壓力症候群（PTSD）便可見端倪。
表面上，這似乎正好印證隆納德‧亞金（Ronald Arkin）的論點：如果投彈的動作是由無人機自主進行，就可以避免人類操作員的心理創傷，所以應大量採用自主無人機。但此論點的漏洞在於：即使你不是按下發射鈕的人，也會產生創傷。研究顯示，那些因工作需要，必須仔細分析無人機攻擊影片的情報人員和軍方人員，也可能因為反覆觀看而罹患心理創傷。
我曾為了寫書做研究，採訪上百位猛禽無人機的操作員，而這些受訪者幾乎毫無例外地認為，最後按下發射鈕的人必須是有血有肉的人類。一旦把人排除在外，殺人的決定也將變得泯滅人性。
嚴重後果
全自主無人機的開發，將徹底改寫軍事戰場上複雜的交戰過程與決策。在此同時，法律和道德上的責任，並不因為移除人類操作員而就此消失。相反地，這些責任只會轉移到其他人，例如人工智慧科學家的身上。
事實上，這些層面的法律問題，已經開始具體顯現。依照現行的國際人道協定，生產軍用和民用製品的「雙重用途」設施，在某些情形下可成為攻擊目標。舉例來說，潘切沃（Pancevo）的煉油廠在1999年科索沃戰爭中便遭到攻擊，因為其所生產的油料不只供應給民用車，也供給南斯拉夫的坦克之用。
以自主無人機的武器系統來說，當中的某些程式碼勢必會被視為具有「雙重用途」。包括Google的辦公室、雇員和系統，都有可能因此成為敵軍攻擊目標。就以Google的梅文計畫（Project Maven）影像辨識人工智慧系統來說，如果這套程式被載入美軍無人機中，Google儼然就成了無人機攻擊行動的幫兇，而其他無人機自主技術的民間協力業者，也面臨類似處境。
道德上的爭議，還不僅止於此。自主學習演算法（能夠從各類資料中自行篩選學習的程式）的原理，就是這類程式可以經由學習提升效能。如果自主攻擊無人機能夠經由自行學習不斷提升準確度，就意味著某人必須決定到了哪個階段──學習到何種程度──可以實際送上戰場。以軍事武器的機器學習來說，這代表著某些政治或軍事領袖，或是公司領導人，必須要決定多少的平民死傷是可以接受的。
近期幾款自主人工智慧系統上路的經驗，便足堪借鏡。Uber和特斯拉的自駕車致死意外，證明了在電腦程式除錯過程中，必定會有意外傷人或致死事件發生。
如果機器可以自行決定攻擊對象，尤其是在大規模部署下，未來我們必將目睹滅絕慘劇。任何採行此種致命武力的政府或軍事單位，無論自詡是在捍衛何種價值，都將失去所有道德立場。相較之下，在「殺與不殺」之間游移的無人機操作員，至少在踐踏人性的戰場上，仍然勉力守著最後一道人性防線。
本文已獲作者授權。原文〈Drones will soon decide who to kill〉刊載於 The Conversation ，作者Peter Lee為樸茨茅斯大學安全與風險議題主任。
