2019年，OpenAI發(fā)布了Safety Gym（https://openai.com/blog/safety-gym/）,，這是一套用于開發(fā)遵守某些“安全約束”的AI模型工具,。當(dāng)時(shí)，OpenAI聲稱可以通過Safety Gym,，比較人工智能算法的安全性,，以及這些算法避免犯錯(cuò)誤的能力。

　　從那時(shí)起,，Safety Gym就被用于衡量OpenAI,、加州大學(xué)伯克利分校、多倫多大學(xué)研究人員提出的算法性能,。但一些專家質(zhì)疑人工智能“安全工具”是否有效,，或者說，它們是否使人工智能系統(tǒng)更安全,？

　　倫敦瑪麗皇后大學(xué)人工智能研究員庫克指出：“正如OpenAI指出的,，他們試圖為AI系統(tǒng)不能做的事情制定規(guī)則，然后讓AI代理在規(guī)則內(nèi)找到解決方案,，但前提是你需要很多規(guī)則,。當(dāng)然,，我們可以添加更多規(guī)則和更多約束,，但如果不能確切地知道AI會提出什么解決方案，總會出現(xiàn)不受歡迎的優(yōu)化,?！?/p>

　　庫克舉了自動駕駛汽車避免碰撞的例子，他指出,，如果缺乏相關(guān)規(guī)則,，人工智能可能會讓車距保持在兩厘米左右，或者做任何其他不安全的事情,，然后基于此再在規(guī)則內(nèi)優(yōu)化,。這對于自動駕駛汽車的乘坐人員來說，這種“試錯(cuò)”成本難以接受,。

　　英特爾Mobileye 以及英偉達(dá)（Nvidia）等公司提出一些模型,，來保證人工智能決策的安全和“合乎邏輯”，特別是在自動駕駛汽車領(lǐng)域。

　　2017年10月,，Mobileye發(fā)布了一個(gè)名為責(zé)任敏感安全（RSS）的框架,，這是一個(gè)“確定性公式”，其中包含“邏輯上可證明”的道路規(guī)則,，旨在防止自動駕駛汽車引發(fā)事故,。Mobileye聲稱，RSS為道路決策提供了一種常識性方法,，可將良好習(xí)慣編入法典,，例如保持安全的跟車距離，并為其他車輛提供先行權(quán),。

　　英偉達(dá)對這一概念的理解是安全力場（Safety Force Field）,，即通過分析傳感器數(shù)據(jù)，做出預(yù)測來監(jiān)控不安全的行為,，目標(biāo)是最大限度地減少傷害和潛在危險(xiǎn),。安全力場利用Nvidia已在現(xiàn)實(shí)世界、合成高速公路及城市場景中驗(yàn)證的數(shù)學(xué)計(jì)算,，可以同時(shí)考慮制動和轉(zhuǎn)向約束條件,，使其能夠識別由兩者引起的異常。

　　這些工具的目標(biāo)是安全（Safety）,，從表面上看似乎很好,。但正如庫克指出的那樣，圍繞“安全”以及誰來定義什么是安全,，存在很多社會學(xué)問題,。FICO報(bào)告顯示，有65%的員工無法解釋其公司如何做出 AI 模型決策或預(yù)測,，更不用說他們是否“安全”了,。

　　“作為一個(gè)社會，我們在某種程度上就風(fēng)險(xiǎn)水平達(dá)成共識,，有時(shí)我們會將這些寫入法律,，比如預(yù)計(jì)每年會發(fā)生一定數(shù)量的車輛碰撞。但是當(dāng)談到人工智能時(shí),，我們可能希望提高這些標(biāo)準(zhǔn),，因?yàn)檫@些系統(tǒng)是可以完全控制的，與人不同,?！睅炜死^續(xù)說道，“對安全的擔(dān)憂是可以理解的,，但我們最終需要接受這樣一個(gè)事實(shí),，人工智能的安全性不可能讓所有人都能滿意,。”

　　例如,，雖然今天的自動駕駛和ADAS系統(tǒng),，可以說比人類駕駛員更安全，但它們?nèi)匀粫稿e(cuò)——特斯拉最近的困境證明了這一點(diǎn),。庫克認(rèn)為,，如果人工智能公司對其產(chǎn)品行為，承擔(dān)更多法律和財(cái)務(wù)責(zé)任,，該行業(yè)將采取不同的方法,，來評估其系統(tǒng)的安全性，而不是試圖“事后解決問題”,。

　　佐治亞理工學(xué)院數(shù)字媒體副教授納西姆·帕文 （Nassim Parvin） 認(rèn)為,，圍繞自動駕駛汽車的討論過于樂觀，也許對車禍中喪失生命的“真正關(guān)懷”可以作為重新思考的起點(diǎn),。她表示：“AI系統(tǒng)設(shè)計(jì)應(yīng)該超越錯(cuò)誤的二元權(quán)衡,，過分強(qiáng)調(diào)意圖和目標(biāo)，會導(dǎo)致人們直奔快速的技術(shù)解決方案,，而忽略對社會系統(tǒng)復(fù)雜性的考慮,。‘意外后果’這個(gè)詞是深刻討論人工智能設(shè)計(jì)的重大障礙,，而不是促進(jìn)因素……”

　　單一工具不太可能阻止人工智能系統(tǒng)中的不安全決策,，這需要產(chǎn)品所有者、風(fēng)險(xiǎn)評估人員和用戶,，共同參與人工智能潛在缺陷和風(fēng)險(xiǎn)的對話,，以便創(chuàng)建一個(gè)能夠暴露、測試和緩解人工智能風(fēng)險(xiǎn)和缺陷的流程,。