2024年1月，ISO與IEC聯(lián)合發(fā)布技術(shù)報告《AI功能安全與AI智能系統(tǒng)》（ISO/IEC TR 5469:2024）,。

近年來,，人工智能（AI）技術(shù)在工業(yè)中的應(yīng)用大幅增加,，而且人工智能在某些應(yīng)用中已被證明能夠帶來益處,。然而,，關(guān)于功能安全的人工智能系統(tǒng)的規(guī)范,、設(shè)計和驗證,，或如何將人工智能技術(shù)應(yīng)用于具有安全相關(guān)效應(yīng)的功能方面的信息卻很有限,。對于利用人工智能技術(shù)（如機(jī)器學(xué)習(xí)ML）實現(xiàn)的功能,，很難解釋它們?yōu)槭裁磿蕴囟ǖ姆绞竭\行，也很難保證它們的性能,。因此,，在一般情況下使用人工智能技術(shù)時，尤其是在使用人工智能技術(shù)實現(xiàn)與安全相關(guān)的系統(tǒng)時,，很可能會出現(xiàn)一些特殊的考慮因素,。

強(qiáng)大的計算和數(shù)據(jù)存儲技術(shù)讓大規(guī)模部署人工智能成為可能。對于越來越多的應(yīng)用來說,，采用機(jī)器學(xué)習(xí)（作為一種人工智能技術(shù)）能夠快速,、成功地開發(fā)出檢測數(shù)據(jù)趨勢和模式的功能。這使得通過觀察誘導(dǎo)函數(shù)行為并快速提取決定其行為的關(guān)鍵參數(shù)成為可能,。機(jī)器學(xué)習(xí)還可用于識別異常行為或在特定環(huán)境中收斂到最佳解決方案,。成功的ML應(yīng)用領(lǐng)域包括金融數(shù)據(jù)分析,、社交網(wǎng)絡(luò)應(yīng)用和語言識別、圖像識別（尤其是人臉識別）,、醫(yī)療保健管理和預(yù)后,、數(shù)字助理、制造機(jī)器人,、機(jī)器健康監(jiān)測和自動駕駛汽車,。

除ML外，其他人工智能技術(shù)在工程應(yīng)用中也越來越重要,。例如,，應(yīng)用統(tǒng)計學(xué)、概率論和估算理論使機(jī)器人和感知領(lǐng)域取得了重大進(jìn)展,。因此,，人工智能技術(shù)和人工智能系統(tǒng)開始實現(xiàn)影響安全的應(yīng)用。

模型在人工智能技術(shù)的實施中發(fā)揮著核心作用,。這些模型的屬性可用于證明人工智能技術(shù)和人工智能系統(tǒng)與功能安全要求的兼容性,。例如，當(dāng)決定功能行為的關(guān)鍵參數(shù)之間存在已知和可理解的科學(xué)關(guān)系時,，觀察到的輸入數(shù)據(jù)和輸出數(shù)據(jù)之間就可能存在很強(qiáng)的相關(guān)性,。這就產(chǎn)生了一個透明且足夠完整的模型，作為人工智能技術(shù)的基礎(chǔ),。在這種情況下,，模型與功能安全要求的兼容性就得到了證明。然而,，人工智能技術(shù)通常用于以下情況：物理現(xiàn)象非常復(fù)雜或規(guī)模非常小,，或者在不影響實驗數(shù)據(jù)的情況下無法觀測，因此沒有基本行為的科學(xué)模型,。在這種情況下,，人工智能技術(shù)的模型可能既不透明也不完整，模型與功能安全要求的兼容性也難以證明,。

機(jī)器學(xué)習(xí)用于創(chuàng)建模型,，從而擴(kuò)展對世界的理解。然而,，機(jī)器學(xué)習(xí)模型的好壞取決于用于推導(dǎo)模型的信息,。如果訓(xùn)練數(shù)據(jù)沒有涵蓋重要的案例，那么得出的模型就是不正確的,。隨著觀察到更多的已知實例,，這些實例被用來強(qiáng)化模型，但這會使觀察結(jié)果的相對重要性產(chǎn)生偏差,，從而使函數(shù)偏離頻率較低但仍真實存在的行為,。持續(xù)觀察和強(qiáng)化會使模型趨于最佳狀態(tài),，否則就會過分強(qiáng)調(diào)普通數(shù)據(jù)，而忽略極端但關(guān)鍵的條件,。

在通過使用人工智能技術(shù)不斷改進(jìn)模型的情況下,，由于功能行為逐漸偏離經(jīng)過嚴(yán)格測試的、理想的確定性和可重復(fù)性行為,，為證明其安全完整性而進(jìn)行的驗證和確認(rèn)活動就會受到破壞,。

本報告旨在幫助安全相關(guān)系統(tǒng)的開發(fā)人員了解人工智能技術(shù)的特性、功能安全風(fēng)險因素,、可用功能安全方法和潛在限制因素,，從而將人工智能技術(shù)恰當(dāng)?shù)貞?yīng)用到安全功能中。本文件還提供了與人工智能系統(tǒng)功能安全相關(guān)的挑戰(zhàn)和解決概念的信息,。

第5條概述功能安全及其與人工智能技術(shù)和人工智能系統(tǒng)的關(guān)系,。

第6條描述了人工智能技術(shù)的不同類別，以表明當(dāng)人工智能技術(shù)構(gòu)成安全功能的一部分時,，可能符合現(xiàn)有的功能安全國際標(biāo)準(zhǔn),。第6條還根據(jù)人工智能技術(shù)對系統(tǒng)的最終影響，介紹了人工智能技術(shù)的不同使用級別,。最后,，第6條還對與人工智能技術(shù)等級和使用水平的不同組合相關(guān)的功能安全風(fēng)險的相對水平進(jìn)行了定性概述。

第7條基于ISO/IEC 22989,，描述了在安全相關(guān)系統(tǒng)中使用人工智能技術(shù)的三階段實現(xiàn)原則，在這些系統(tǒng)中,，無法直接顯示是否符合現(xiàn)有的功能安全國際標(biāo)準(zhǔn),。

第8條討論了人工智能系統(tǒng)的特性和相關(guān)功能安全風(fēng)險因素，提出了這種使用所帶來的挑戰(zhàn),，以及在試圖處理或減輕這些挑戰(zhàn)時所考慮的特性,。

第9、10和11條從驗證和確認(rèn),、控制和緩解措施,、流程和方法等方面介紹了應(yīng)對這些挑戰(zhàn)的可能解決方案。

附件提供了應(yīng)用實例和更多細(xì)節(jié),。附件A闡述了如何將IEC 61508-3應(yīng)用于人工智能技術(shù)元素,，附件B提供了如何應(yīng)用三階段實現(xiàn)原則和定義各種屬性的示例。附件C介紹了與9.3相關(guān)的更多詳細(xì)流程,。附件D顯示了IEC 61508-3中的安全生命周期與ISO/IEC 5338中的人工智能系統(tǒng)生命周期之間的映射,。

關(guān)注“廣東技術(shù)性貿(mào)易措施”，獲取更多服務(wù),。