2025年2月7日,，法國國家網(wǎng)絡(luò)安全局（ANSSI）聯(lián)合其他18個國家的安全機(jī)構(gòu)共同簽署《通過基于網(wǎng)絡(luò)安全的方法構(gòu)建可信AI》，圍繞基于網(wǎng)絡(luò)風(fēng)險的方法構(gòu)建對人工智能的信任展開,，分析了人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險,、攻擊場景，為不同主體提供了指導(dǎo)方針,，并給出了安全實(shí)施人工智能系統(tǒng)的建議和參考資料,。

一、人工智能發(fā)展現(xiàn)狀與風(fēng)險分析必要性

人工智能的發(fā)展現(xiàn)狀：人工智能是一項(xiàng)自20世紀(jì)50年代就開始發(fā)展的變革性技術(shù),，如今其應(yīng)用幾乎滲透到從國防,、能源到健康、金融等各個領(lǐng)域,。像大語言模型（LLM）這類人工智能技術(shù)的快速普及,，使得各利益相關(guān)方對人工智能的依賴程度日益加深。這種廣泛且迅速的應(yīng)用,，標(biāo)志著人工智能已成為現(xiàn)代社會和經(jīng)濟(jì)發(fā)展中不可或缺的一部分,。

存在的風(fēng)險：盡管人工智能發(fā)展迅猛，但用戶往往傾向于低估與人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險,。在缺乏足夠應(yīng)對措施的情況下,，惡意行為者有可能利用人工智能系統(tǒng)存在的漏洞來達(dá)成不良目的,。由于人工智能系統(tǒng)作為軟件系統(tǒng)本身就存在脆弱性，其數(shù)據(jù)在保密性和完整性方面面臨獨(dú)特挑戰(zhàn),，且與其他系統(tǒng)的互聯(lián)增加了風(fēng)險擴(kuò)散的可能性,，這些都為惡意攻擊提供了可乘之機(jī)。

風(fēng)險分析的必要性：對人工智能相關(guān)風(fēng)險進(jìn)行分析十分關(guān)鍵,。一方面,，只有深入了解這些風(fēng)險，才能采取有效的措施進(jìn)行緩解,，從而推動人工智能在可信的環(huán)境中發(fā)展,。另一方面，全面的風(fēng)險分析有助于充分挖掘人工智能技術(shù)帶來的各種機(jī)遇,。若忽視風(fēng)險,，可能會出現(xiàn)惡意行為者利用系統(tǒng)漏洞破壞人工智能技術(shù)應(yīng)用的情況，進(jìn)而阻礙人工智能的進(jìn)一步發(fā)展和應(yīng)用,，無法實(shí)現(xiàn)其潛在價值,。

二、人工智能系統(tǒng)面臨的風(fēng)險

1,、面臨的威脅種類

共性與特性威脅：人工智能系統(tǒng)作為軟件系統(tǒng),，存在固有脆弱性，需借助成熟的網(wǎng)絡(luò)安全實(shí)踐,，從開發(fā)到漏洞管理等多環(huán)節(jié)保障其安全性,。它不僅面臨與其他信息系統(tǒng)相似的網(wǎng)絡(luò)威脅，如來自托管基礎(chǔ)設(shè)施的風(fēng)險,，還因數(shù)據(jù)在系統(tǒng)中的核心地位,，在保密性和完整性方面面臨特殊挑戰(zhàn)。

惡意人工智能的威脅：惡意使用人工智能的情況呈增長態(tài)勢且手段愈發(fā)復(fù)雜,。人工智能降低了攻擊門檻,，擴(kuò)大了攻擊規(guī)模和效率，在諸如網(wǎng)絡(luò)釣魚,、漏洞掃描及惡意代碼開發(fā)等領(lǐng)域表現(xiàn)明顯,。先進(jìn)的生成式人工智能甚至可能引發(fā)貫穿整個網(wǎng)絡(luò)殺傷鏈的大規(guī)模低成本攻擊,。

2,、風(fēng)險場景

基礎(chǔ)設(shè)施受損風(fēng)險：惡意行為者可利用技術(shù)、組織或人為層面的常見漏洞,，對人工智能系統(tǒng)的托管和管理基礎(chǔ)設(shè)施發(fā)起攻擊,，影響系統(tǒng)的保密性、完整性和可用性,，這一風(fēng)險在系統(tǒng)全生命周期都需重點(diǎn)防范,。

供應(yīng)鏈攻擊風(fēng)險：攻擊者可能利用供應(yīng)鏈中軟件庫,、預(yù)訓(xùn)練模型提供商或服務(wù)提供商等環(huán)節(jié)的漏洞發(fā)起攻擊。以開源庫為例,，因其在人工智能系統(tǒng)開發(fā)中廣泛應(yīng)用且常集成到更大框架,，一旦遭受攻擊，會危及整個系統(tǒng)安全,。

系統(tǒng)互聯(lián)風(fēng)險：人工智能系統(tǒng)常與其他信息系統(tǒng)互聯(lián)以實(shí)現(xiàn)通信和數(shù)據(jù)整合,，但這也帶來新風(fēng)險。如間接提示注入攻擊,，攻擊者借此遠(yuǎn)程提取敏感信息或執(zhí)行惡意命令,，尤其當(dāng)人工智能系統(tǒng)與工業(yè)系統(tǒng)互聯(lián)時，風(fēng)險會因工業(yè)系統(tǒng)對物理世界的直接影響而放大,。

人為和組織風(fēng)險：人員培訓(xùn)不足會導(dǎo)致過度依賴自動化,，難以察覺人工智能系統(tǒng)的異常行為。此外,，未經(jīng)組織 IT 部門批準(zhǔn)使用的影子人工智能,，可能引發(fā)數(shù)據(jù)泄露、違規(guī)及聲譽(yù)受損等問題,。長期來看,，在關(guān)鍵活動中過度使用人工智能，可能導(dǎo)致技術(shù)依賴,，一旦系統(tǒng)故障,，人力難以替代其功能。

系統(tǒng)響應(yīng)故障風(fēng)險：攻擊者若篡改用于訓(xùn)練人工智能模型的數(shù)據(jù)庫,，會使模型在生產(chǎn)環(huán)境中給出錯誤響應(yīng),。盡管開發(fā)者不斷增強(qiáng)模型對訓(xùn)練數(shù)據(jù)中毒攻擊的抵御能力，但在涉及數(shù)據(jù)分類的關(guān)鍵場景（如醫(yī)療,、安防圖像識別）中,，此類攻擊仍極具危險性。

三,、應(yīng)對風(fēng)險的指導(dǎo)方針

1,、用戶、運(yùn)營商和開發(fā)者指南

用例敏感性分析：在考慮使用AI系統(tǒng)時,，第一步是分析用例的敏感性,，確保AI系統(tǒng)的復(fù)雜性、網(wǎng)絡(luò)安全成熟度,、可審計(jì)性和可解釋性與特定用例的網(wǎng)絡(luò)安全和數(shù)據(jù)隱私要求相匹配,。這有助于選擇合適的 AI 系統(tǒng)，避免因系統(tǒng)特性與應(yīng)用場景不匹配而產(chǎn)生風(fēng)險,。

多方面實(shí)踐建議：在開發(fā),、部署或使用AI解決方案時,，除遵循常規(guī)網(wǎng)絡(luò)建議外，還需采取一系列特定的良好實(shí)踐,。如根據(jù)風(fēng)險分析,、業(yè)務(wù)需求和行動的關(guān)鍵性調(diào)整AI系統(tǒng)的自主水平，并在必要時集成人工驗(yàn)證,，以應(yīng)對網(wǎng)絡(luò)風(fēng)險和AI模型的可靠性問題,；繪制AI供應(yīng)鏈地圖，涵蓋AI組件,、其他軟硬件組件和數(shù)據(jù)集,，以減輕數(shù)據(jù)投毒風(fēng)險并評估數(shù)據(jù)提取風(fēng)險的影響；跟蹤AI系統(tǒng)與其他信息系統(tǒng)的互連情況,，減少攻擊路徑,；持續(xù)監(jiān)控和維護(hù)AI系統(tǒng)，降低“黑箱”性質(zhì)帶來的風(fēng)險,；預(yù)測重大技術(shù)和監(jiān)管變化,，識別潛在新威脅，調(diào)整策略,；對內(nèi)部人員進(jìn)行AI挑戰(zhàn)和風(fēng)險的培訓(xùn),，提高全員安全意識。

2,、政策制定者指南

支持研究與能力建設(shè)：政策制定者應(yīng)支持與AI風(fēng)險相關(guān)的研究,，包括對抗機(jī)器學(xué)習(xí)、隱私保護(hù)計(jì)算和新興的AI攻擊性應(yīng)用等領(lǐng)域,，以加深對AI風(fēng)險的理解和應(yīng)對能力,。同時，要支持基于共享標(biāo)準(zhǔn)的安全評估和認(rèn)證能力的發(fā)展,，增強(qiáng)對AI模型,、應(yīng)用程序、數(shù)據(jù)和基礎(chǔ)設(shè)施的信任,。

推廣最佳實(shí)踐與促進(jìn)合作：繼續(xù)推廣最佳網(wǎng)絡(luò)安全實(shí)踐,，明確指導(dǎo)方針，確保AI系統(tǒng)的安全部署和托管,。根據(jù)風(fēng)險水平調(diào)整安全要求,，并分享反饋，幫助組織避免常見錯誤,，優(yōu)化AI在運(yùn)營中的集成,。促進(jìn)網(wǎng)絡(luò)和AI領(lǐng)域參與者之間的對話,，特別是網(wǎng)絡(luò)安全機(jī)構(gòu)和AI安全機(jī)構(gòu)之間的對話,，明確各自的職責(zé)范圍,，共同應(yīng)對AI系統(tǒng)的網(wǎng)絡(luò)挑戰(zhàn)，重點(diǎn)是共享新興威脅信息和協(xié)同保護(hù)關(guān)鍵系統(tǒng),。

持續(xù)對話與國際合作：在AI峰會之后繼續(xù)保持對話,，持續(xù)監(jiān)測AI系統(tǒng)面臨的不斷演變的威脅，在國際層面開展討論與合作,，確定更好地保障AI價值鏈安全的指導(dǎo)方針,，從而增強(qiáng)對AI的信任。

四,、附錄內(nèi)容

附錄 1

圍繞人工智能系統(tǒng)安全實(shí)施展開,，提供了全面的建議，涵蓋自我評估和推薦行動清單兩大部分,，旨在幫助人工智能用戶,、運(yùn)營商和開發(fā)者建立系統(tǒng)安全意識，規(guī)范操作流程,，降低安全風(fēng)險,。

1、推薦的自我評估

系統(tǒng)全生命周期安全考量：著重審視AI系統(tǒng)生命周期各階段是否具備安全基礎(chǔ),，涵蓋指導(dǎo)原則,、最佳實(shí)踐基準(zhǔn)及架構(gòu)規(guī)劃等方面，確保安全貫穿始終,。從設(shè)計(jì)階段開始,，就應(yīng)明確并記錄系統(tǒng)的合法目的，為后續(xù)開發(fā)和使用提供清晰方向,，便于追溯和審查,。

數(shù)據(jù)與模型保護(hù)：針對AI模型，需評估其保密性需求和對組織的價值,，確定是否需要特殊保護(hù)措施,。同時，將合規(guī)因素融入設(shè)計(jì)思維,，嚴(yán)格核查AI系統(tǒng)的數(shù)據(jù)處理操作是否符合法律法規(guī),，保障系統(tǒng)合法運(yùn)行。對于涉及個人數(shù)據(jù)的情況,，必須采用 “隱私設(shè)計(jì)” 理念,，全面保護(hù)數(shù)據(jù)和元數(shù)據(jù)，以及AI系統(tǒng)模型,，防止數(shù)據(jù)泄露和濫用,。

訪問權(quán)限管理：明確AI系統(tǒng)在不同階段的訪問人員，遵循最小權(quán)限原則分配權(quán)限，嚴(yán)格限制人員對系統(tǒng)資源的訪問范圍,，最大程度保障AI系統(tǒng)的安全性和完整性,，降低因權(quán)限濫用導(dǎo)致的安全風(fēng)險。

2,、推薦行動清單

通用建議：梳理AI系統(tǒng)的依賴鏈,，清晰掌握系統(tǒng)運(yùn)行所依賴的各個環(huán)節(jié)，對供應(yīng)商進(jìn)行全面評估,，包括聲譽(yù)和財(cái)務(wù)狀況,，確保供應(yīng)鏈穩(wěn)定可靠。要求數(shù)據(jù)和軟件供應(yīng)商符合網(wǎng)絡(luò)安全標(biāo)準(zhǔn),，對AI系統(tǒng)進(jìn)行全面風(fēng)險分析,，綜合考慮組織內(nèi)外部環(huán)境因素，評估系統(tǒng)故障可能帶來的多方面影響,。在考慮采用云解決方案時,，進(jìn)行全局風(fēng)險評估，權(quán)衡數(shù)據(jù)保護(hù),、性能等多方面利弊,，并在服務(wù)協(xié)議中設(shè)置可逆條款，保障數(shù)據(jù)安全和操作的可追溯性,。

基礎(chǔ)設(shè)施和架構(gòu)建議：詳細(xì)規(guī)劃AI系統(tǒng)的使用方式和融入決策流程的方法,，特別是在自動化場景下，確保系統(tǒng)運(yùn)行符合業(yè)務(wù)需求和安全規(guī)范,。根據(jù)實(shí)際情況,，應(yīng)用針對云環(huán)境、外包服務(wù)的安全措施,，實(shí)施AI系統(tǒng)的安全管理策略,，利用訪問控制系統(tǒng)嚴(yán)格限制對關(guān)鍵組件的訪問。精心設(shè)計(jì)部署計(jì)劃和架構(gòu),，確保系統(tǒng)在擴(kuò)展時安全性能不受影響,，全面貫徹DevSecOps原則，將安全融入開發(fā),、運(yùn)維全過程,。從設(shè)計(jì)源頭遵循隱私設(shè)計(jì)理念，保護(hù)數(shù)據(jù)機(jī)密性,，必要時對數(shù)據(jù)進(jìn)行假名化或匿名化處理,，同時考慮數(shù)據(jù)訪問的必要性，減少數(shù)據(jù)泄露風(fēng)險,。

資源與數(shù)據(jù)管理建議：采用安全格式獲取,、存儲和分發(fā)AI模型，在模型加載前實(shí)施完整性驗(yàn)證機(jī)制，防止模型被篡改,。評估AI系統(tǒng)中使用的庫和插件的可信度,，確保外部數(shù)據(jù)的質(zhì)量和可信度，對AI系統(tǒng)的操作進(jìn)行全程追溯,，保證數(shù)據(jù)收集過程公平,、符合倫理道德,，避免數(shù)據(jù)偏見和不當(dāng)使用,。

學(xué)習(xí)過程安全建議：制定嚴(yán)格的數(shù)據(jù)訪問策略，限制AI系統(tǒng)對敏感數(shù)據(jù)的訪問,。保障訓(xùn)練數(shù)據(jù)的存儲和訪問安全,，評估學(xué)習(xí)和再學(xué)習(xí)方法的安全性，對提取的數(shù)據(jù),、元數(shù)據(jù)等進(jìn)行清理,、篩選，必要時進(jìn)行假名化或匿名化防止處理,，數(shù)據(jù)泄露和惡意攻擊影響模型訓(xùn)練結(jié)果,。

應(yīng)用可靠性建議：為AI系統(tǒng)的管理任務(wù)實(shí)施多因素身份驗(yàn)證，強(qiáng)化身份認(rèn)證的安全性,。保障輸入輸出數(shù)據(jù)的保密性和完整性,，設(shè)置安全過濾器檢測惡意指令，及時更新數(shù)據(jù),、元數(shù)據(jù)和注釋,，持續(xù)評估模型的準(zhǔn)確性和性能，確保AI系統(tǒng)穩(wěn)定可靠運(yùn)行,。

組織策略建議：記錄AI系統(tǒng)的設(shè)計(jì)選擇,，便于后續(xù)審查和維護(hù)。監(jiān)督系統(tǒng)運(yùn)行,，明確關(guān)鍵人員職責(zé),，管理分包商使用。制定風(fēng)險管理策略,，規(guī)劃無AI系統(tǒng)時的降級運(yùn)行模式,，根據(jù)組織敏感性制定生成式AI使用政策，監(jiān)測AI系統(tǒng)特定漏洞,，關(guān)注技術(shù)發(fā)展趨勢,，實(shí)施數(shù)據(jù)管理系統(tǒng)，采用安全的數(shù)據(jù)刪除方法,，記錄產(chǎn)品中使用的數(shù)據(jù)集,，便于管理和降低數(shù)據(jù)使用風(fēng)險。

預(yù)防措施：定期組織員工進(jìn)行AI安全風(fēng)險培訓(xùn)，提高員工安全意識和應(yīng)對能力,。定期開展AI系統(tǒng)安全審計(jì),，及時發(fā)現(xiàn)和修復(fù)潛在安全問題。提前預(yù)測與訓(xùn)練數(shù)據(jù)或模型相關(guān)的知識產(chǎn)權(quán)和數(shù)據(jù)保護(hù)等權(quán)利問題,，避免法律糾紛和安全隱患,。

附錄 2

列舉了與人工智能相關(guān)的各類參考資料，為深入研究人工智能開發(fā),、應(yīng)用,、安全以及風(fēng)險管理等方面提供了豐富的信息資源，涵蓋了從技術(shù)規(guī)范到法規(guī)政策等多個維度,。

人工智能開發(fā)：包含多個組織發(fā)布的開發(fā)指南,。AIVD強(qiáng)調(diào)安全開發(fā)AI系統(tǒng)；G7制定了針對開發(fā)先進(jìn)AI系統(tǒng)組織的行為準(zhǔn)則和指導(dǎo)原則,；NCSC-UK與CISA聯(lián)合發(fā)布的安全AI系統(tǒng)開發(fā)指南,，為開發(fā)者提供了系統(tǒng)的開發(fā)規(guī)范，這些資料為AI開發(fā)過程中的技術(shù)實(shí)現(xiàn),、道德規(guī)范等提供了重要參考,。

人工智能用例：有ANSSI提出的生成式 AI 系統(tǒng)安全建議，以及 BSI,、ANSSI 關(guān)于AI編碼助手的相關(guān)內(nèi)容,，還有BSI對生成式AI模型在工業(yè)和政府領(lǐng)域的機(jī)遇與風(fēng)險分析。這些用例從不同應(yīng)用場景出發(fā),，為各行業(yè)應(yīng)用 AI 技術(shù)時評估風(fēng)險,、采取安全措施提供了實(shí)際操作層面的指引。

人工智能漏洞與安全：CSA新加坡發(fā)布了AI系統(tǒng)安全指南及相關(guān)討論文件,，強(qiáng)調(diào)保障AI安全是集體責(zé)任,。CERT-In提供了軟件物料清單（SBOM）技術(shù)指南和API安全相關(guān)資料。此外,，還有多篇學(xué)術(shù)研究,，如關(guān)于AI在相關(guān)法案中的網(wǎng)絡(luò)安全、對抗機(jī)器學(xué)習(xí)的分類和術(shù)語等內(nèi)容,。這些資料全面涵蓋了AI系統(tǒng)在漏洞發(fā)現(xiàn),、安全防護(hù)以及應(yīng)對攻擊等方面的知識。

風(fēng)險管理：NIST的AI風(fēng)險管理框架和OECD關(guān)于推進(jìn)AI問責(zé)制的資料,，為建立完善的AI風(fēng)險管理體系提供了理論依據(jù)和實(shí)踐框架,，有助于組織在AI應(yīng)用過程中全面評估、管理風(fēng)險,，確保AI系統(tǒng)的可靠運(yùn)行,。

術(shù)語：ISO/IEC 22989:2022和OECD分別對人工智能相關(guān)概念,、術(shù)語以及AI事件相關(guān)術(shù)語進(jìn)行了定義。統(tǒng)一規(guī)范的術(shù)語有助于不同人員在交流,、研究和實(shí)踐中準(zhǔn)確理解和運(yùn)用相關(guān)概念,，避免因術(shù)語歧義產(chǎn)生誤解。

法規(guī)示例：歐盟的《人工智能法案》和《網(wǎng)絡(luò)彈性法案》為AI技術(shù)的應(yīng)用和網(wǎng)絡(luò)安全保障提供了法律層面的規(guī)范和約束,。這些法規(guī)明確了AI開發(fā),、使用過程中的責(zé)任、義務(wù)和安全標(biāo)準(zhǔn),，為政策制定者,、企業(yè)和開發(fā)者提供了法律遵循的依據(jù)。

轉(zhuǎn)載鏈接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml

關(guān)注“廣東技術(shù)性貿(mào)易措施”,，獲取更多服務(wù),。