生物科學門戶網站
BIO1000.COM

如何保護智能機器免受智能攻擊

机器通过处理从传感器收集的数据来学习的能力,是自动驾驶汽车,医疗设备和许多其他新兴技術的基础。普林斯顿大学的研究人员发现,这种学习能力使系统容易受到黑客的攻击。

在最近的一系列論文中,一個研究團隊研究了應用于人工智能(AI)的對抗策略如何例如欺騙交通效率系統導致僵局或操縱與健康相關的AI應用程序以揭示患者的私人醫療狀況。曆史。作爲這種攻擊的一個例子,該團隊將駕駛機器人對道路標志的感知從限速更改爲“停止”標志,這可能導致車輛以高速公路速度危險地刹車。在其他示例中,他們將停車標志更改爲多種其他交通指示。

普林斯顿大学电气工程系首席研究员兼副教授Prateek Mittal说:“如果机器学习是未来的软件,那么我们将在确保其安全的基础上迈出第一步。”“要使机器学习技術发挥其全部潜能,我们必须了解在对手面前机器学习的工作方式。这是我们面临的巨大挑战。

就像軟件容易被計算機病毒或通過詐騙者通過網絡釣魚和其他破壞安全性的手段成爲目標的用戶被黑客和感染一樣,基于AI的應用程序也具有自身的漏洞。然而,適當保障措施的部署滯後。到目前爲止,大多數機器學習開發都發生在良性,封閉的環境中-與現實世界截然不同。

米塔爾(Mittal)是了解新興對抗性機器學習漏洞的先驅。從本質上講,這種攻擊會導致AI系統破壞學習過程,從而産生意想不到的,可能是危險的結果。米塔爾(Mittal)的小組在最近的一系列論文中描述並演示了三種廣泛的對抗性機器學習攻擊。

很好地毒化數據

第一次攻擊涉及惡意代理將僞造的信息插入AI系統用來學習的數據流中-這種方法稱爲數據中毒。一個常見的例子是大量用戶的電話報告交通狀況。此類衆包數據可用于訓練AI系統以開發模型,以更好地實現自動駕駛汽車的總體路線選擇,從而減少擁堵和燃油浪費。

米塔爾說:“對手可以在手機與蘋果和谷歌等實體之間的通信中簡單地注入虛假數據,而現在它們的模型可能會受到損害。”“您從損壞的數據中學到的任何東西都將是可疑的。”

米塔尔(Mittal)的小组最近通过这种简单的数据中毒展示了一种新的升级方法,他们称之为“模型中毒”。在AI中,“模型”可能是一台机器根据对数据的分析而形成的关于世界某些部分工作方式的一套想法。由于隐私问题,一个人的手机可能会生成自己的本地化模型,从而可以对个人数据进行保密。然后将匿名模型共享并与其他用户的模型合并。博士Arjun Nitin Bhagoji表示:“越来越多的公司正在向分布式学习发展,在这种学习中,用户不直接共享数据,而是使用数据训练本地模型。米塔尔实验室的学生。

但是對手可以輕描淡寫。對結果感興趣的個人或公司可能會欺騙公司的服務器,以使其模型的更新權重于其他用戶的模型。Bhagoji說:“對手的目的是確保他們選擇的數據被分類在他們想要的類別中,而不是真正的類別。”

6月,Bhagoji与来自IBM Research的两名研究人员合作,在加利福尼亚州长滩举行的2019年国际机器学习大会(ICML)上发表了有关该主题的论文。本文探索了一种基于图像识别的测试模型,以对图片中的人是穿着凉鞋还是运动鞋进行分类。虽然这种性质的误分类听起来是无害的,但这是不道德的公司可能会采取的不公平的欺骗手段,以使其产品优于竞争对手。

米塔尔说:“在对抗性AI研究中,我们需要考虑的对手种类繁多,从试图以金钱勒索人或公司的个人黑客到试图获取商业优势的公司,再到寻求战略优势的国家/地区级对手,”还与普林斯顿大学信息技術政策中心相关。

對自己使用機器學習

第二種廣泛的威脅稱爲逃避攻擊。假設機器學習模型已經成功地訓練了真實的數據,並且無論其任務是什麽,都實現了高精度。但是,一旦系統開始將其學習應用到現實世界中,對手就可以通過操縱系統收到的輸入來使成功逆轉。

例如,對自動駕駛汽車的AI進行了培訓,使其能夠識別限速和停車標志,而忽略快餐店,加油站等的標志。米塔爾(Mittal)的小組探索了一個漏洞,如果以人類可能不會注意到的方式進行標記,則可能會將標記錯誤分類。研究人員制作了假餐廳標志,其顔色類似于塗鴉或彩彈斑點。所做的更改使汽車的AI誤以爲將餐廳的標志誤認爲停車標志。

米塔爾說:“我們增加了微小的修改,可能使這個交通標志識別系統蒙蔽。”電氣和電子工程師協會(IEEE)在2018年5月于舊金山舉行的第一屆深度學習和安全研討會(DLS)上發表了關于結果的論文。

鄭重聲明:本文版權歸原作者所有,轉載文章僅爲傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。