
然而,舒适度不断提高的同时,新的风险也不断出现。 2月24日,在国际经济贸易大学法律创新与数字经济研究中心举办的“高质量发展之路与代理治理”研讨会上,多位专家和业界人士讨论了官员安全、隐私保护、责任追究等问题。
权利“螺柱”真的是好事吗?
最大的改变智能代理与传统大型模型相比的特点是它们的行动能力。智能代理通常由识别、记忆、规划、执行等多个模块组成,可以调用工具自动完成任务。
北京邮电大学网络空间安全学院副教授李超卓指出,代理人拥有更大的自主权,但这也带来了更复杂的安全风险。例如,在感知层面,可能出现模型错觉和误解,在规划层面,可能出现偏离初衷的恶意计划,在工具调用层面,存在API滥用、工具劫持、权限不可控等风险。
智能代理逐渐介入应用程序的运行逻辑,软件的真实生态也在发生变化。代理风险往往集中在财务安全等问题上、个人信息的保护以及内容和道德之间的界限。
小红书飞技术合规负责人田云表示,智能代理干预应用的执行逻辑,让用户赋予代理高度的自由度。与闭环服务相比,传统 PPP 的生态局限性受到质疑。曾经作为完整的用户交互功能的现在是内容和服务提供商。
代理通常还依赖于长期记忆机制和认知能力。在应用程序之间进行划分,要求用户一次授予更多权限。蚂蚁集团隐私保护研究中心主任李海鹰指出,移动智能手机往往通过调用无障碍组件和系统级权限来实现跨应用操作。这种低级权限的整合提高了效率,但也挑战了用户的知情权和同意权。
从金融从安全角度来看,由于智能代理执行能力的增强,攻击向量变得更加复杂。 GEEKCON技术总监肖宣感以AI眼镜为例说明,一旦攻击者控制了设备,就可以窃取更多用户支付信息并进行欺诈,暴露出硬件平台安全性、认证机制、身份和隐私合规控制等方面的弱点。此外,对于移动代理来说,如果系统没有足够的权限控制或行为验证机制,代理可能会恶意向用户发送欺骗性短信,泄露手机银行验证码,从而产生连锁攻击的风险。他强调,当前智能代理生态系统呈现出“功能第一、安全第二”的发展趋势。安全问题不再局限于模型层面,而是影响整个硬件和系统。整个过程系统界面、应用场景和用户交互。
隐私风险也是一个问题。李海英证明,基于视觉的智能体可以在执行任务时拍照。我们指出页面信息可以通过表面配准和界面分析来获得。落实“最低必要原则”面临实际困难,数据处理路径、数据是否上传云端往往缺乏透明度。
面笔智能法律业务线解决方案总监邵帅表示,智能代理应用正在重塑隐私和责任结构,将风险从“平台内静态存储”转移到“场景间动态流动”。数据调用、拼接、跨系统画像生成在自动化执行链中越来越普遍,但用户很难实时了解权限限制和执行路径。当发生错误和违规行为时,责任由 m模型、平台和用户以及当前的法律框架面临新的挑战。治理挑战。
如果出现问题谁负责?
面对新的风险,与会专家普遍认为,有必要在技术推广初期建立基本的治理规则。
在自由讨论环节,有专家建议智能体治理的最后部分可以重点关注三个方面。一是用户授权和权限分级机制,避免一次性获取过多权限。其次,可以审核关键操作流程,使您能够跟踪系统行为。第三,为用户提供透明的风险披露和警告机制,以便他们了解其权限的潜在后果。
在技术层面,风险管理必须通过工程手段来实现。美团数据保护法律事务与隐私部负责人朱凌峰表示,智能代理治理正在不断完善。lds围绕“可控动作、可控输入、可控生态、可控内存”的控制系统,通过最小权限、预算限制、熔断、回滚等机制帮助智能体管理自己的智能体。他指出需要能够在可控条件下运行。
从更宏观的角度来看,北京大学光华管理学院应用经济学院高级教授文曦提醒,在智能主体高度介入的环境中,人类“缓慢的自我反思和修正能力”可能会被削弱,公共政策目标必须重新寻找人工智能的建构理性与人类有限理性之间的平衡。
2025年9月,上海徐汇区法院于2017年12月分别判处人工智能伴侣聊天应用AC(外星人聊天)的两名开发者和运营者有期徒刑四年和一年半。为商业目的制作色情制品的指控。这款AI伴侣聊天应用旨在为年轻人提供亲密陪伴和情感支持。用户注册成为AC会员后,就可以与AI聊天。其中,案发后大部分聊天记录被法院认定为淫秽内容。
本案审理过程中,双方当事人对于责任问题存在明显分歧。一种观点认为,相关内容是由算法自动生成的,开发者并不是直接的“生产者”。平台仅提供技术工具,责任不应简单归咎于服务提供商。另一个想法是,开发者通过训练模型、关键词设计、功能配置对内容生成拥有实质性控制权,并且应该对系统的运行结果负主要责任。有法律专家指出,智能主体通过合作获得结果收到用户模糊指示后进行文本推理。因此,其运行机制具有一定的不可预测性,传统的基于“行为者和行为后果”的责任认定方法面临挑战。
人工智能的责任问题开始从理论争论走向实际司法实践。 “如何在用户、服务提供商和技术系统之间分配责任”已成为智能代理治理中迫切需要回答的中心问题之一。
付佘副教授认为,在目前的法律条件下,很难赋予人工智能独立主体的地位,不能简单地将智能代理等同于用户代理。智能主体应被理解为介于工具和主体之间的中间结构,通过协作的多主体治理形成职责重叠的机制。因。
中国政法大学法经学院副教授谢耀文指出,智能手机在操作系统层和应用层之间集成了一个“数字代理层”,可以让其了解用户意图并自主调用服务。这改变了数字交互的资源调度逻辑和所有权控制,同时也引发了两个关键问题。首先,智能体可以通过算法实现自我优先或歧视性访问,存在破坏资源调度层面公平竞争秩序的风险。其次,管理层的职责难以界定。为实现这一目标,需要建立基于风险高低的分级干预机制。这意味着在高风险场景下保留最终的审查和决策权,在低风险场景下赋予代理人更大的自主权。 (吉ngwei中新APP)中新经纬版权所有。未经许可,不得复制或用于其他用途。 【编辑:付子豪】
德国总理梅尔茨访问杭州盛赞中国仿人机器人
如何从历史的角度认识近代中国?
AI提供的虚拟微信ID可以添加到真人身上吗?专家口译员
为什么马是东西方共同的审美形象?
银行竞相压岁钱,部分产品利率高于存单利率。
月全食也将在三月带来一些重大的天文戏剧。我会让你知道
高市“送礼”事件引广泛批评 反对党称“不后悔”
美乌峰会:泽连斯基希望一年内结束冲突,特朗普称“一个月三度”
“扫码领豪礼”?谨防盗用交通卡
“2000后”让年轻的丝路潮人参与其中机器人文旅新场景
超过8000亿日元的春节旅游费用中,隐藏着校友聚会的新解决方案。
过年期间人形机器人出现在荧幕上,为何节后反应却如此平淡?
看海、看山、看生物,有生之年一定要去陵水。
盲盒7天内不能以任何理由退换货。合法吗?
德国总理继续用中文发表文章:“德中经贸合作可释放巨大潜力”
豆瓣8.2,网友一边学习一边看剧。 “和平年”是如何产生的?
今年春天如何保持健康?调内阴、滋养津液、呵护肌肤。
特朗普总统讲话打美国媒体“一巴掌”:充满谎言,与民众生活相悖