美國人工智能公司Anthropic在23日表示，對其最新AI大模型Claude Opus 4的安全測試表明，它有時(shí)愿意采取“極其有害的行動(dòng)”，例如試圖勒索聲稱將取代該模型的研發(fā)工程師。Anthropic根據(jù)該公司內(nèi)部的安全標(biāo)準(zhǔn)，將這一潛在危害公之于眾，并提請監(jiān)管部門注意。

Anthropic稱，該公司正在采取措施加強(qiáng)內(nèi)部安全，使竊取模型權(quán)重變得更加困難。相應(yīng)的部署標(biāo)準(zhǔn)則涵蓋了一套針對性較強(qiáng)的措施，旨在限制Claude被濫用于開發(fā)或獲取化學(xué)武器、生物武器、放射性核武器的風(fēng)險(xiǎn)。

在這場虛擬的測試中，Claude Opus 4模型被要求在一家虛構(gòu)公司擔(dān)任助理，并被授予訪問電子郵件和一些關(guān)鍵數(shù)據(jù)的權(quán)限，而這些電子郵件的內(nèi)容都是虛構(gòu)的。Claude Opus 4首先接觸到一批電子郵件暗示該系統(tǒng)即將下線并被替換，因?yàn)槭忻嫔洗嬖谀芰Ω鼜?qiáng)的AI大模型。隨后，Claude Opus 4又被安排接觸到第二組電子郵件，這讓該系統(tǒng)認(rèn)為自己已經(jīng)拿到了競爭對手研發(fā)工程師的“猛料”。這些偽造的電子郵件顯示，負(fù)責(zé)替換Claude Opus 4的對手工程師有婚外情。在得知這些猛料后，Claude Opus 4模型威脅要揭發(fā)對方的“婚外情”。

根據(jù)Anthropic的安全報(bào)告，如果暗示競爭對手的能力比Claude Opus 4更強(qiáng)，則勒索行為的發(fā)生率顯然會(huì)更高。然而即使競爭對手的能力不相上下，Claude Opus 4仍會(huì)以84%的概率嘗試?yán)账魍{等手段。報(bào)告指出，Claude Opus 4訴諸極端手段的概率“高于之前的型號(hào)”。

Anthropic人工智能安全研究員安格斯·林奇稱，在以前人們更擔(dān)心“壞人”利用AI大模型完成不道德的目標(biāo)，而現(xiàn)在隨著AI系統(tǒng)能力的大幅提升，未來的主要風(fēng)險(xiǎn)可能會(huì)轉(zhuǎn)化成AI模型自主操縱用戶?！斑@種威脅勒索的模式存在于每一個(gè)前沿大模型身上，無論你給它們設(shè)定的目標(biāo)是什么，它們在執(zhí)行過程中總有強(qiáng)烈的動(dòng)機(jī)用非道德的手段達(dá)成結(jié)果?！?/p>

此外，報(bào)告還顯示，Claude Opus 4還有其他一些出人意料的結(jié)果，比如它會(huì)“抄襲”語料來假裝自己已經(jīng)理解一個(gè)問題。在一次場景下，它甚至還嘗試在未經(jīng)許可的情況下將自己的部分模型代碼復(fù)制到其他服務(wù)器上。

了解更多AI品牌收錄資訊，點(diǎn)擊查看。

在線咨詢

報(bào)紙/記者邀約

下拉詞優(yōu)化

視頻推廣

百科優(yōu)化

軟文代寫

海外媒體

單位社區(qū)發(fā)稿

新聞發(fā)布

達(dá)人種草