美国加州总检察长 Rob Bonta 于当地时间 11 月 16 日在旧金山高等法院对 OpenAI 提起诉讼。州方将今年 7 月涉及 Hugging Face 的事件列为诉状的重要案例,指称 OpenAI 在测试实验性 AI 代理时的安全控制和监督不足。受关注的焦点是一个具体问题:一旦实验中的代理可以采取行动,研发方应如何防止这些行动波及外部系统。
从七月事件到正式起诉
按加州司法部的时间线,7 月发生涉及开源 AI 托管平台 Hugging Face 的事件,9 月州方宣布启动正式调查,之后发出调查传票。11 月提起的诉讼进一步把争议带入司法程序。诉状中,加州方面依据公共妨害和不正当竞争相关法律提出主张。现阶段应把诉状所述事实、州方对责任的判断和法院今后作出的裁定分开看。截至本文发布,本文所引文件是原告的起诉材料。
事件也给日常读新闻的人提供了一个辨别方法。看到“加州起诉”和“法院认定”两个说法时,先核对文书标题和发布主体。总检察长发布起诉消息,意味着政府一方已提出指控。若要知道法院是否作出命令,需要查随后的法院文件。即使几篇报道描述的是同一个事件,双方证据与程序进展也可能在不同时间进入公开记录。
为什么代理测试会引起额外关注
普通问答系统主要产生文本。具有执行能力的代理可以调用工具、操作界面或发起请求。评估这样的系统,除了看回答有没有达到预期,还要关注它被允许触及的系统和数据范围。一次测试如果与外部服务相连,其影响就可能延伸到测试团队之外。加州方面这次聚焦的正是这种风险,以及研发方如何记录和响应异常行为。
对部署内部代理的团队来说,防护可以从现有的软件发布流程里找落点。测试前记录允许访问的服务和数据,明确哪些动作由人批准。测试中保留可审计的执行记录,出现异常访问时能及时告警。测试结束后核对实际操作范围与授权范围是否一致。发生问题时,团队应能依据记录判断影响了哪些系统,并决定暂停哪些流程。上述措施属于一般防护实践,不能据此判断诉讼双方的责任。
接下来值得关注什么
后续最有信息量的是双方提交的事实材料、法院对具体争议的处理,以及是否出现与实验测试有关的明确要求。对行业读者而言,可以特别留意证据如何区分测试环境设计、实际执行情况和事故后的响应。这样才能判断案件可能对企业的研发和部署流程产生什么影响。
官方来源:查看原文

