近期,以“龙虾”(OpenClaw)为代表的开源AI智能体引起广泛关注。作为人工智能发展的新阶段,AI智能体超越了传统大语言模型的对话功能,可以按照人类的要求自主完成一系列关联任务,在标准化、流程化的场景中大幅提升效率。与此同时,其安全问题也引发广泛探讨。国家互联网应急中心、工业和信息化部网络安全威胁和漏洞信息共享平台先后发布风险提示(预警),指出其存在严重安全隐患。专家建议,探索推进相关法律制度,优化监管方式,让AI智能体在合法合规的轨道上健康发展。

(来源:央视财经)
专家认为,AI智能体的发展带来了一系列法律风险。综合中国工程院院士邬贺铨、中国政法大学人工智能法研究院院长张凌寒、对外经济贸易大学数字经济与法律创新研究中心主任许可等人观点,一是自主决策偏差。受大语言模型固有“幻觉”问题影响,智能体在自主执行任务过程中,易出现指令理解偏差、决策逻辑错误等问题,甚至带来越权风险,可能超越人类授权范围自作主张,导致出现不可逆操作。二是数据泄露风险。智能体为实现跨应用操作,需持续监听、读取甚至模拟用户操作界面,这导致其数据收集范围远超传统应用。屏幕截图、操作轨迹、账号凭证等敏感信息可能被长期留存,引发数据安全和个人隐私泄露风险。三是责任认定困难。现有法律制度将人工智能及各类AI智能体纳入“产品”范畴,主要适用产品责任相关规定,但对于具备实体行动能力的智能体,责任究竟应由生产者、算法提供者、系统运营者还是使用者承担,现有法律存在一定滞后性。
专家建议,守住创新与安全平衡,以法治引导AI智能体健康发展。一是构建适配AI智能体的法律规范。张凌寒等人建议,确立高风险应用场景的动态准入标准,对有权限干预关键信息基础设施的智能体,实施强制安全审计制度,从源头把控高风险智能体的上线与使用。将人工干预和熔断机制确立为高权限智能体产品的法定设计义务,确保智能体的关键操作可追溯、可干预。厘清开源智能体生态的权责边界,明确模型提供者、开发者、应用平台等各主体的协同治理责任,建立起清晰、可落地的问责机制,破解当前责任主体难寻的法律困境。
二是推动制定行业规范。中国科学院计算技术研究所研究员张云泉建议,由相关部门指导行业协会牵头,组织产业各方共同制定我国的智能体互操作性标准与行业公约,构建规则统一、接口开放、利益共享的可持续发展生态,营造公平透明、充分竞争的数字市场环境。标准应明确要求,无论采用图形界面还是通过官方应用编程接口来实现功能,均须遵循“双重授权”原则,禁止任何形式的权限滥用和模拟操作绕过。
三是加强风险防控和安全监管。中国信息通信研究院人工智能研究所副总工程师孙鑫等人建议,加强安全风险防控,推动分级分层与场景约束,针对高风险领域考虑“白盒化”治理方案,确保关键节点“人类在回路中”,而在风险可控的领域实施包容审慎的“沙盒监管”。完善“行为归因”识别机制,构建智能体关键环节的风险识别和响应标准,探索针对智能体“代理行为”权责溯源机制。引导企业持续开展安全加固,定期对部署环境、权限配置等进行风险检测与安全加固,持续提升风险防控能力。监管部门应持续提升技术识别与取证能力,应对新型案件挑战。
参考文章:
1. 委员谈人工智能治理:引导AI智能体健康发展 营造公平透明数字生态
2. “养龙虾”火热背后:智能体大规模落地如何过好安全关
3. 许可|AI智能体的私法构造与行为边界
4. 生成式人工智能时代如何筑牢个人信息保护防线
5. 政协委员建言AI智能体规范发展
6. 新质策源导刊丨许可:AI智能体安全治理:分层施策应对发展新挑战
7. 特别报道丨许可:AI智能体 是“私人管家”还是“潜在主人”?
8. 新质策源导刊丨熊鸿儒:积极拥抱AI智能体 寻求发展与安全的动态平衡
9. 新质策源导刊丨郑玉双:法律如何回应AI智能体治理挑战?
10. 新质策源导刊丨薛澜:从“动口”到“动手”:如何为AI智能体划好安全红线?
11. 时报访谈 | 薛澜:AI智能体加速落地 企业和政府如何各有所为
12. 全国政协委员张云泉:参照国际治理通行做法,将终端智能体纳入监管范围
来源:法治网舆情中心(ID:fzwyqzx)
策划统筹:付萌
分析师:刘畅
新媒体编辑:刘思源
编辑:靳雪林