新京報貝殼財經(jīng)訊(記者羅亦丹)記者7月14日獲悉,世界數(shù)字科學(xué)院(WDTA)已在聯(lián)合國日內(nèi)瓦總部正式發(fā)布AI STR系列新標(biāo)準(zhǔn)《AI智能體運行安全測試標(biāo)準(zhǔn)》,標(biāo)準(zhǔn)由螞蟻集團、清華大學(xué)、中國電信牽頭,聯(lián)合普華永道、新加坡南洋理工大學(xué)、美國圣路易斯華盛頓大學(xué)等二十余家國內(nèi)外機構(gòu)、企業(yè)及高校共同編制,為全球首個單智能體運行安全測試標(biāo)準(zhǔn)。
該標(biāo)準(zhǔn)針對智能體跨越“語言墻”所帶來的“行為”風(fēng)險,首次將輸入輸出、大模型、RAG、記憶和工具五個關(guān)鍵鏈路與運行環(huán)境對應(yīng)起來,構(gòu)建了全鏈路風(fēng)險分析框架;同時,細分了智能體風(fēng)險類型,完善并創(chuàng)新提出了模型檢測、網(wǎng)絡(luò)通信分析和工具模糊測試等測試方法,彌補了智能體安全測試技術(shù)標(biāo)準(zhǔn)的空白。
標(biāo)準(zhǔn)在AI for Good全球峰會期間由聯(lián)合國社會發(fā)展研究所(UNRISD)與世界數(shù)字科學(xué)院(WDTA)聯(lián)合主辦的“數(shù)字技術(shù)與人工智能社會影響全球咨詢會”上發(fā)布。
2025年,被稱為“智能體元年”。AI智能體憑借著深度思考、自主規(guī)劃、做出決策并深度執(zhí)行的能力,使得AI在發(fā)展路徑上實現(xiàn)一次范式突變:從“我說AI答”到“我說AI做”,并被逐漸應(yīng)用到各類商業(yè)場景中。
然而,技術(shù)突破伴隨著不容忽視的安全隱憂。最新調(diào)研顯示,超過70%的智能體從業(yè)者擔(dān)憂AI幻覺與錯誤決策、數(shù)據(jù)泄露等問題,因為AI生成的內(nèi)容往往包含事實錯誤,或者對指令產(chǎn)生誤解,其中超半數(shù)受訪者表示,所在企業(yè)尚未設(shè)立明確的智能體安全負責(zé)人。
“面對AI相關(guān)技術(shù)的快速演進,我們必須正視‘科林格里奇困境’:一旦新技術(shù)深植社會,風(fēng)險治理的代價將成倍上升?!盬DTA執(zhí)行理事長李雨航強調(diào),“AI STR系列標(biāo)準(zhǔn)正是試圖在這一臨界點前建立清晰、可執(zhí)行的安全標(biāo)準(zhǔn)和測評、認證體系,將倫理與責(zé)任嵌入AI的全生命周期之中,從而確保技術(shù)發(fā)展服務(wù)于人類的長期利益。”
峰會上,螞蟻集團大模型數(shù)據(jù)安全總監(jiān)楊小芳表示,當(dāng)前AI技術(shù)應(yīng)用加速落地,但單智能體的安全風(fēng)險缺乏統(tǒng)一的全鏈路安全測試標(biāo)準(zhǔn),導(dǎo)致潛在的問題難以被量化和規(guī)避,單智能體標(biāo)準(zhǔn)的制定是AI治理的“最小可行單元”,而多智能體治理是未來“摩天大樓”的核心結(jié)構(gòu),下一步行業(yè)應(yīng)從單點逐步向多智能體治理生態(tài)共建突破。
與其他國際標(biāo)準(zhǔn)不同,AI STR不僅關(guān)注風(fēng)險識別和風(fēng)險分級,更提供全流程管理方案,即從數(shù)據(jù)治理到模型落地,配套具體測試工具和認證流程,助力企業(yè)提升AI應(yīng)用的安全性與可信度。
該標(biāo)準(zhǔn)不僅提供了一套可行可靠的智能體安全基準(zhǔn),也為全球AI智能體生態(tài)的安全、可信和可持續(xù)發(fā)展增加了有益的探索。目前,部分標(biāo)準(zhǔn)的測評與認證已在金融、醫(yī)療等領(lǐng)域落地應(yīng)用。
此前,WDTA已發(fā)布3項AI STR標(biāo)準(zhǔn),包括“生成式人工智能應(yīng)用安全測試標(biāo)準(zhǔn)”,“大語言模型安全測試方法”和“大模型供應(yīng)鏈安全要求”,由OpenAI、螞蟻集團、科大訊飛、谷歌、微軟、英偉達、百度、騰訊等數(shù)十家單位的多名專家學(xué)者共同參與。
編輯 楊娟娟
校對 楊利