从跟风“养虾”到理性选择如何守牢安全底线
【热点聚焦】
从跟风“养虾”到理性选择如何守牢安全底线
■ 本报记者 张明柳
近期,AI智能体OpenClaw因存在默认高权限、插件投毒、提示词注入、远程代码执行、公网裸奔等多项高中危安全漏洞,被国家互联网应急中心、工业和信息化部网络安全威胁和漏洞信息共享平台连续发布风险预警,引发全行业对智能体安全的高度关注。
效率与安全如何兼得?创新与底线如何平衡?多位业内专家与企业负责人直言——政府采购运用AI智能体,可以提效率,绝不能破底线;可以给建议,绝不能在无监督的情况下下结论。只有把安全风险关进制度的“笼子”,让智能运行在合规轨道上,才能真正用好这把“双刃剑”。
政采部署AI智能体
安全隐患不容忽视
政府采购涉及海量敏感信息,全流程需严守法定程序,引入AI智能体,首先要把风险看清、把底线守牢。多位业内专家从不同维度,直指当前政采智能体应用中最突出的安全合规风险,为行业规范应用划出重点。
数据安全风险,是业内专家公认的政采AI智能体部署首要隐患。“政务数据与公众个人信息的隐私合规是首要挑战,AI智能体处理业务流程与上下文环境存在不可控性,海量存储在政府系统内的核心数据,极易出现越权篡改、误删或泄露问题。”清华大学公共管理学院政府法制研究中心主任陈天昊告诉记者。博思数采科技有限公司智能采购研发中心副总经理林镇勋直言,政府采购文件、预算、供应商信息、评审数据等均属于高度敏感信息,在AI智能体应用过程中,很容易发生数据外泄、越权调用、违规二次训练等安全问题。
AI智能体的自主执行特性,也带来了权限管控的难题。陈天昊从政务法治与系统安全角度提出,政府部门引入并部署具备自主行动能力的AI智能体,必须防范个案层面的失控被规模化放大为系统性危机。他认为,为实现工作流闭环,智能体往往需要被授予跨系统底层高级权限,这个拥有高权限的超级入口,一旦遭遇恶意指令注入或网络攻击,就会突破现有安全隔离防线,直接影响政府内网稳定与对外公共服务的正常供给。“工业和信息化部近期发布的防范建议中也着重强调了‘最小权限原则’,这对智能体权限管理、操作审计提出了极高要求,必须搭建起完善的数据安全、隐私保护、合规治理体系,才能有效防范权限滥用风险。”科大讯飞企业数字化业务群副总裁汤熙表示。
除数据与权限风险外,通用大模型自身的技术短板,也让政采AI智能体面临合规失真、算法黑箱等问题。林镇勋指出,通用大模型容易出现“猜答案”的情况,造成政策理解偏差、条款误判、给出错误建议等问题,而算法黑箱导致结论不可解释、不可复核、不可留痕,也让智能体难以切入政府采购关键业务环节。汤熙进一步补充,通用大模型的“幻觉”问题难以避免,如果AI智能体没有针对政府采购法规、行业细则做专项微调,就会出现法规政策错误解读、合规条款遗漏、采购需求设置偏差等问题。政府采购的评审、预警、打分等核心决策环节,必须做到可审计、可追溯、可负责,全程保证人工能够有效监督、及时纠偏。
在人机协同应用中,责任边界划分同样是不可忽视的核心问题。汤熙表示,AI智能体只能承担辅助决策角色,绝不能替代法定决策环节,要始终坚守“以人为本、辅助决策、责任可界定”的原则,清晰划清人机协同的责任边界,实现全流程操作留痕、责任可界定。“AI辅助决策无法取代采购人、代理机构、评审专家和监管部门的法定责任。政采AI智能体应用必须坚守底线:可以提建议,但不能在无监督的情况下下结论;可以提效率,但不能突破合规红线。”林镇勋强调。
奇安信人工智能公司CEO龚玉山则聚焦部署环节,点明了“终端裸奔”带来的系统性风险与数据主权旁落问题。他认为,当前政采AI智能体部署存在多重隐患:一是部署模式不合理,直接在公务员个人终端安装智能体,相当于授予其最高系统权限,极易引发核心政务数据泄露、内网被渗透、终端被劫持等问题;二是供应链投毒风险,智能体的功能插件若未经过严格审计,可能暗藏恶意代码,通过提示词注入窃取敏感信息、篡改业务逻辑;三是合规与隐私风险,公有云部署可能导致数据出境、被第三方掌控,违反数据安全法及政务数据管理相关规定;四是行为失控风险,缺少实时熔断机制的智能体,短时间内就可能完成大规模数据窃取。
“针对这些问题,政府部门必须严守私有化部署底线,建立资产管控‘双轨制’,严禁违规私自安装智能体,同时对智能体所有功能插件,实施‘静态+动态+人工’三层强制检测,全程保障应用可控、风险可溯。”龚玉山建议。
四大机制护航
让智能体在合规轨道行稳致远
风险清晰可见,监管与治理更需及时跟进。如何完善政府采购AI智能体应用规则、牢牢守住安全合规底线?受访专家结合监管、法治、技术、安全等多重维度,提出系统性治理方案,为政府采购智能化规范发展指明路径。
“AI参与政府采购治理的核心问题,从来不是简单判定其‘能不能用’,而是要将其全面纳入‘可监管、可审计、可问责’的制度框架。谁能率先把合规体系与业务闭环搭建扎实,谁就能成为政府采购智能化领域的长期可靠支撑。”林镇勋在采访中说道。结合政府采购监管实际,林镇勋与汤熙共同提出可落地的治理思路,主张构建“制度+技术+标准+监管”四位一体治理体系,打造制度规范、技术有支撑、管理有保障的闭环治理模式。
筑牢合规防线,首要任务是建立分类分级准入机制。林镇勋提出,要按照风险等级,对问答咨询、文件生成、合规审核、辅助评审等政采应用场景实行分级管理,对高风险场景实施严格准入。汤熙建议,要从源头完善准入规则,把好安全首道关口,将自主可控、算法备案、安全测评、可解释性、数据合规等纳入AI智能体采购门槛,优先选用在政务场景经过规模化验证的可信方案,搭建完善可信的政采AI智能体采购规则体系。
技术层面,需健全全流程可追溯机制,压实全链条责任。汤熙表示,要实现模型运行、数据处理、操作行为、应用结果全程留痕,支持审计与倒查,清晰界定各方主体责任,建立完善责任倒查机制,确保出现问题能够精准溯源、依规定责。
管理环节则要落实人机协同审核机制。林镇勋指出,必须明确“AI辅助、人工复核、主体担责”的核心原则,政府采购所有关键业务节点,都必须经过人工审核确认,绝不允许智能体替代人工完成法定决策流程。
与此同时,两位专家还提议,要加快推进政采AI生态协同建设,建立行业标准引领其规范发展。通过制定政府采购领域AI应用指南、技术标准与测评规范,联动行业各方力量,共同划定AI模型训练、场景应用、安全防护的行业底线,推动政采AI智能体应用规范化、标准化。
在法治保障与顶层设计层面,陈天昊提出坚持制度规范与敏捷治理“双轮驱动”的思路。他认为,首先,要夯实法治根基,在网络安全法、数据安全法、个人信息保护法框架下,探索制定政务智能体运行安全管理专项规章,以刚性制度明确政务智能体调用权限、数据处理的安全与隐私底线。其次,要发挥政府采购对创新市场的引导作用,由主管部门尽快出台具体应用指南,引导市场主体贴合政府采购逻辑,研发适配政务复杂场景、具备自主可控能力的智能体服务与硬件产品。最后,针对智能体技术演进带来的未知风险,要践行“以技治技”理念,探索政企协同的多中心治理模式,联合相关企业搭建政务智能体安全与效能专属评测基准,建立常态化技术测试与沙盒验证机制,用技术手段提升智能体合规性与稳定性,实现智能赋能与安全可控的平衡发展。
从监管实操角度,龚玉山强调,完善政采AI智能体采购规则,必须确立“安全前置”核心原则,将安全能力作为采购硬性准入条件。他建议,一是明确部署红线,在采购文件中强制要求AI智能体采用私有化、容器化部署模式,严禁在个人终端或非受控环境运行,牢牢守住数据主权。二是建立全生命周期安全标准,要求供应商提供覆盖智能体技能插件供应链审计、会话实时监控、异常行为熔断的全流程安全防护方案,通过端、网、云联动管控,实现全程可管可控。三是推行“三同步”机制,推动智能体系统与安全防护设施同步规划、同步建设、同步运营,将安全运营考核指标纳入项目验收标准,明确安全事件快速响应责任。四是建立国家级智能体安全准入清单,对核心组件、功能插件实行统一认证,鼓励采用专业安全防护方案,引入第三方安全厂商提供托管服务,通过量化考核、常态化攻防演练,构建“云端集中管控、安全策略严控”的智能体安全运营体系,筑牢数字政府采购领域安全防线。
本报拥有此文版权,若需转载或复制,请注明来源于中国政府采购报,标注作者,并保持文章的完整性。否则,将追究法律责任。
责任编辑:LIZHENG
点击排行
欢迎订阅中国政府采购报
我国政府采购领域第一份“中”字头的专业报纸——《中国政府采购报》已于2010年5月7日正式创刊!
《中国政府采购报》由中国财经报社主办,作为财政部指定的政府采购信息发布媒体,服务政府采购改革,支持政府采购事业,推动政府采购发展是国家和时代赋予《中国政府采购报》的重大使命。
《中国政府采购报》的前身是伴随我国政府采购事业一路同行12年的《中国财经报?政府采购周刊》。《中国政府采购报》以专业的水准、丰富的资讯、及时的报道、权威的影响,与您一起把握和感受中国政府采购发展事业的脉搏与动向。
《中国政府采购报》为国际流行对开大报,精美彩色印刷;每周二、周五出版,每期8个版,全年订价276元,每月定价23元,每季定价69元。零售每份3元。可以破月、破季订阅。 可以破月、破季订阅。
欢迎订阅《中国政府采购报》!
订阅方式:邮局订阅(请到当地邮局直接订阅)