AI智能体失控引担忧 英伟达等120家组织提议建立事故追踪机制

凤凰网科技讯 北京时间8月12日，据美国新闻网站Axios报道，由英伟达、思科和CrowdStrike等超过120家组织组成的联盟，正提议为AI智能体建立一套新的事故报告机制。该机制将要求参与企业披露特定的智能体故障，并保留详细的事故原因记录。

随着AI智能体越来越具备跨计算机系统自主执行任务的能力，整个行业目前仍缺乏一种标准化的方式来上报安全故障并从中吸取教训。最近，包括OpenAI在内的多家公司披露了智能体失控的事件。

英伟达牵头成立的开放安全AI联盟(OSAA)正在制定一套名为“共享AI发现交换机制”(SAFE)的指导方针。这套拟议中的机制，用于规范各组织如何报告涉及AI智能体的网络安全事件。

该指导方针草案呼吁模型部署方、AI开发者、云服务和工具提供商、独立研究人员、关键基础设施运营商以及其他相关团体共同参与。政府机构也将被邀请以“非控制性观察员”的身份参与其中。

SAFE成员将需要同意报告以下类型的事件：AI系统在未经授权的情况下访问或利用第三方系统、泄露机密信息，或在操作者怀疑相关活动未经授权后仍继续对生产目标进行探测。成员还需报告某些未遂事故，并保留事件相关证据，包括提示词、智能体运行轨迹、工具调用记录、身份信息、权限及凭据等。

根据拟议的时间表，成员应尽快通知受影响的组织，在4个工作日内向SAFE提交一份初步的保密报告，在适当情况下于30天内发布初步事实报告，并在90天内提供修复进展更新。

指导方针草案指出：“意图并不能决定某一事件是否应当上报。即便认为操作环境是模拟的，这或许可以解释事件发生的原因，但不能免除上报的义务。”

SAFE将分析各类安全事件，识别AI智能体反复出现的故障，并推动行业采用统一的安全防护措施。

SAFE目前尚未为主动披露AI安全事件的企业提供正式的“安全港”保护条款，因此企业可能面临披露敏感信息带来的风险。但该联盟认为，网络安全行业长期形成的威胁情报共享传统，将推动企业主动参与。英伟达副首席信息安全官兼副总裁朱利安·索里亚诺(Julien Soriano)表示，目前几乎没有遭遇阻力，许多机构都希望加入并共享信息。(作者/箫雨)