国家安全部警示：AI训练数据微量虚假信息可致有害输出激增，需警惕数据投毒

国家安全部今日发布警示称，人工智能训练数据中微量的虚假信息可能导致模型输出有害内容显著增加，需警惕”数据投毒”行为对多领域安全构成的系统性风险。最新研究显示，当训练数据集中混入0.01%的虚假文本时，AI生成有害内容的概率将提升11.2%，即便是0.001%的污染数据也会导致有害输出增加7.2%。

当前AI技术发展面临的核心矛盾在于：一方面，数据资源加速了”人工智能+“在各行业的深度融合，推动新质生产力发展；另一方面，数据污染正冲击着AI系统的安全防线。通过篡改、虚构和重复等手段实施的”数据投毒”行为，会干扰模型参数调整，不仅削弱性能准确性，更可能诱发系统性失效。

值得注意的是，污染数据可能引发递归风险——被污染的AI生成内容可能成为后续模型的训练数据源，形成具有代际传递特性的”污染遗留效应”。随着互联网中AI生成内容数量已超越人类原创，大量低质量数据导致错误信息在迭代训练中持续累积，最终可能扭曲模型的底层认知逻辑。

该风险在多个关键领域呈现具体威胁：金融领域可能出现基于虚假信息的市场操纵行为；公共安全领域存在舆论误导和社会恐慌隐患；医疗健康领域则面临诊疗建议错误导致的生命安全风险。国际学术界最新研究也证实，使用AI生成数据训练模型可能导致”模型崩溃”，使输出内容逐渐偏离原始语义。

针对这一挑战，我国已采取前瞻性措施，《网络安全技术 人工智能生成合成内容标识方法》将于9月1日实施，通过强制标识制度提升AI内容的可追溯性。专家建议，在推进AI应用落地的同时，需建立更严格的数据质量审核机制和递归污染阻断体系，以平衡技术创新与安全发展。