国内首次AI大模型实网众测结果发布:281个漏洞揭示新型安全风险

AI新闻资讯16小时前发布 AI视野

在近日举行的第22届中国网络安全年会暨国家网络安全宣传周分论坛上,国内首次针对人工智能大模型的实网众测检验结果正式发布。此次测试由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,动员了559名专业安全研究人员对15款主流大模型产品进行全方位评估,累计发现安全漏洞281个,其中大模型特有漏洞达177个,占比超过60%,凸显AI技术面临传统安全体系之外的新型风险挑战。

测试覆盖腾讯混元、百度文心一言、阿里通义、智谱清言等主流产品,涉及基础大模型、垂直领域模型及智能体开发平台等多类应用。结果显示,典型风险集中在四大领域:一是部分产品存在危害严重的不当输出漏洞,可能生成误导性或有害内容;二是信息泄露漏洞多发,涉及训练数据与用户隐私暴露风险;三是提示注入攻击普遍存在,攻击者可通过精心构造的输入操纵模型行为;四是无限制资源消耗类漏洞防护不足,易被恶意利用导致服务瘫痪。此外,传统网络安全漏洞在AI系统中仍持续存在。

国家网信部门基于测试结果提出四项核心治理要求:首先需建立动态防护机制应对持续演变的漏洞风险;其次应加快制定AI漏洞分类分级国家标准,按金融、医疗等应用场景实施差异化风险管理;第三要完善众测机制,整合社会白帽力量构建协同治理生态;最后强调将安全要求嵌入AI系统设计、开发、部署全生命周期,实现内生安全防护。

业内专家指出,随着大模型在关键基础设施和核心业务中的深度应用,安全风险已从技术层面升级为系统性挑战。本次测试中表现较优的企业均采用”深度防御+合规自动化+主动运营”的综合治理模式,通过输入过滤、对抗样本检测、访问控制等多层防护体系降低风险。值得注意的是,测试还发现部分单模态模型在基础安全防护上优于多模态产品,反映出不同技术路线面临的安全挑战存在显著差异。

当前全球AI安全治理正从被动防御向体系化治理转型,我国《人工智能安全治理框架》2.0版的发布为行业提供了顶层设计指引。与会专家呼吁,在AI技术快速迭代的背景下,需建立季度性安全评估机制,将高风险场景管控前置到产品设计阶段,同时加强国际治理框架与国内标准的衔接,为人工智能健康发展筑牢安全基石。

© 版权声明

相关文章