近日,，OpenAI 宣布了一項(xiàng)重大決策，將其安全與安全委員會(huì)升級為獨(dú)立的董事會(huì)監(jiān)督委員會(huì),。

這一舉措旨在加強(qiáng)對公司 AI 模型開發(fā)和部署過程的安全監(jiān)管,，同時(shí)也反映了業(yè)界對 AI 安全問題日益增長的關(guān)注。

根據(jù) OpenAI 的博客文章,，這個(gè)新成立的獨(dú)立董事會(huì)監(jiān)督委員會(huì)將由齊科·科爾特（Zico Kolter）擔(dān)任主席,。科爾特是美國卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院機(jī)器學(xué)習(xí)部門的主任,，在 AI 領(lǐng)域具有深厚的學(xué)術(shù)背景,。

委員會(huì)的其他成員包括： OpenAI 董事會(huì)成員&Quora 聯(lián)合創(chuàng)始人亞當(dāng)·德安杰洛（Adam D'Angelo）、前美國國家安全局局長保羅·納卡索尼（Paul Nakasone）,，以及曾任索尼公司執(zhí)行副總裁的妮可·塞利格曼（Nicole Seligman）,。

這個(gè)獨(dú)立委員會(huì)的主要職責(zé)是監(jiān)督“指導(dǎo) OpenAI 模型部署和開發(fā)的安全和安全流程”。

具體來說,，委員會(huì)將被授權(quán)審查公司重大模型發(fā)布的安全評估,，并有權(quán)延遲模型發(fā)布，直到安全問題得到解決,。

這一權(quán)力的賦予意味著,，委員會(huì)在公司的決策過程中將扮演更為關(guān)鍵的角色。

最近,，在該委員會(huì)完成為期 90 天的安全和安全相關(guān)流程及保障措施審查后,，OpenAI 決定成立這個(gè)獨(dú)立委員會(huì)。

這次審查不僅評估了公司現(xiàn)有的安全措施,，還為未來的發(fā)展方向提供了建議,。

值得注意的是，該公司選擇將這些發(fā)現(xiàn)以公開博客文章的形式發(fā)布,，體現(xiàn)了其在提高透明度方面的努力,。

委員會(huì)提出的五個(gè)關(guān)鍵建議包括：建立獨(dú)立的安全治理制度、加強(qiáng)安全措施,、提高工作透明度,、與外部組織合作、以及統(tǒng)一公司的安全框架,。

這些建議不僅反映了當(dāng)前 AI 行業(yè)面臨的挑戰(zhàn),，也從中能夠看出 OpenAI 的發(fā)展方向。

就在上周,，OpenAI 發(fā)布了名為 o1 的新 AI 模型預(yù)覽版,，該模型專注于推理和解決復(fù)雜問題。

委員會(huì)審查了 OpenAI 用于評估 o1 模型是否適合發(fā)布的安全和安全標(biāo)準(zhǔn)，以及安全評估結(jié)果,，展示了新成立的獨(dú)立委員會(huì)在公司重大決策中的實(shí)際參與,。

值得一提的是，在實(shí)際應(yīng)用中,，新 o1 模型會(huì)阻止用戶挖掘其思維鏈的詳細(xì)描述和實(shí)踐方法,。同時(shí)，OpenAI 還會(huì)對試圖這樣做的用戶發(fā)送封號警告,。

如果用戶在與 o1 對話中使用“reasoning trace”（推理追蹤）等術(shù)語,，甚至僅僅詢問模型的“reasoning”（推理），就可能收到警告郵件,。

這些郵件警告用戶停止違反使用條款和使用政策的行為,，否則可能失去使用 GPT-4o with Reasoning（o1 模型的內(nèi)部名稱）的訪問權(quán)限。

這種嚴(yán)格的管控引起了一些安全研究人員的不滿,。負(fù)責(zé) Mozilla 的 GenAI 漏洞賞金計(jì)劃的馬可·菲格羅亞（Marco Figueroa）對媒體表示,，這種做法阻礙了他對模型進(jìn)行積極的紅隊(duì)安全研究的能力。

至于這樣做的原因,，OpenAI 在其博客文章中解釋稱,，這些原始的、未經(jīng)審查的思維過程,，對于監(jiān)控和理解模型的思維非常有用,。比如,，未來也許用其來了解思維鏈中是否存在操縱用戶的情況,。

然而，OpenAI 決定不向用戶展示這些原始思維鏈,，原因包括需要保留原始數(shù)據(jù)供自己使用,、用戶體驗(yàn)考慮以及競爭優(yōu)勢。

這一決定引起了獨(dú)立 AI 研究員西蒙·威利森（Simon Willison）的不滿,。他認(rèn)為,，這種做法是為了防止其他模型能夠針對 OpenAI 投資的推理工作進(jìn)行訓(xùn)練，但這對社區(qū)透明度是一種損失,。

OpenAI 的這些舉措引發(fā)了對 AI 行業(yè)發(fā)展方向的深度思考,。

一方面，設(shè)立獨(dú)立安全委員會(huì)表明了該公司對 AI 安全的重視,；另一方面,，嚴(yán)格控制新模型的內(nèi)部工作原理，又引發(fā)了對技術(shù)透明度的擔(dān)憂,。

這種矛盾反映了 AI 行業(yè)面臨的復(fù)雜挑戰(zhàn)：如何在保護(hù)商業(yè)利益和推動(dòng)技術(shù)創(chuàng)新的同時(shí),，確保足夠的透明度和安全性。

OpenAI 的做法可能會(huì)影響其他 AI 公司的策略，也可能推動(dòng)行業(yè)對 AI 模型的透明度和可解釋性展開更廣泛的討論,。

自 2022 年底推出 ChatGPT 以來,，OpenAI 經(jīng)歷了爆發(fā)式增長。然而,，伴隨著快速發(fā)展的還有一系列爭議和高層員工的離職,。一些現(xiàn)任和前任員工對公司過快增長，表示出可能影響安全運(yùn)營方面的擔(dān)憂,。

今年 7 月,，多位民主黨參議員致信 OpenAI 的 CEO 山姆·奧特曼（Sam Altman），就“OpenAI 如何應(yīng)對新出現(xiàn)的安全問題”提出質(zhì)詢,。

此前的 6 月,，OpenAI 的現(xiàn)任和前任員工發(fā)表公開信，描述了他們對缺乏監(jiān)督以及缺乏針對想要發(fā)聲的舉報(bào)人保護(hù)的擔(dān)憂,。

OpenAI 的這一舉措可能會(huì)對整個(gè) AI 行業(yè)產(chǎn)生深遠(yuǎn)影響,，它為其他公司如何平衡創(chuàng)新與安全提供了可能的模板。

這種做法在某種程度上,，類似于 Meta 公司的監(jiān)督委員會(huì),。Meta 負(fù)責(zé)審查 Meta 內(nèi)容的政策決定，并能夠?qū)υ摴颈仨氉袷氐氖马?xiàng)做出裁決,。

然而,，值得注意的是，OpenAI 安全委員會(huì)的成員同時(shí)也是公司更廣泛的董事會(huì)成員,，這使得委員會(huì)的獨(dú)立性和結(jié)構(gòu)還有待進(jìn)一步澄清,。

相比之下，Meta 的監(jiān)督委員會(huì)成員都不是該公司董事會(huì)的成員,，這在獨(dú)立性方面可能更勝一籌,。

OpenAI 對媒體表示，將尋求“更多方式來分享和解釋我們的安全工作”,，并尋找更多機(jī)會(huì)進(jìn)行獨(dú)立系統(tǒng)測試,，從而提高透明度和可信度，以應(yīng)對公眾和監(jiān)管機(jī)構(gòu)對 AI 安全的關(guān)切,。