苹果公司近日发布了一项突破性研究成果RL4HS（Reinforcement Learning for Hallucination Span Detection），该技术通过强化学习机制实现了对大语言模型（LLM）输出中幻觉片段的精准定位，标志着AI可靠性领域的重大进展。相较于传统仅判断”有/无幻觉”的二分类方法，RL4HS能直接标定错误文本的具体位置，在医疗诊断、法律文书等高精度场景中具有显著应用价值。
技术原理上，RL4HS创新性地采用片段级奖励机制与类别感知策略优化（CAPO）的协同架构。前者通过基于片段级F1指标的奖励函数，强制模型进行逐段核查而非笼统判断；后者则通过引入缩放因子α（实验取值为0.5）平衡非幻觉类别的优势值，有效解决了模型因定位难度差异产生的保守倾向问题。这两项技术均构建于组相对策略优化（GRPO）框架之上，形成完整的推理-定位闭环系统。
实验数据表明，在RAGTruth基准测试集中，RL4HS-7B版本在摘要生成、问答等三大任务上的平均F1值达到55.9，较传统监督微调方法提升11.6%。与GPT-5、o3等商用模型对比时，其14B版本在摘要任务中的F1值达57.6，展现出稳定的性能优势。值得注意的是，该技术对思维链（CoT）推理的深度应用是关键突破点——当采样次数K≥5时，多采样策略使定位准确率提升超15%，验证了显式推理对复杂决策的有效性。
目前该成果已引发学术界和产业界的广泛关注，其精准定位能力有望显著降低人工核查成本，为LLM在专业领域的可靠应用提供新的技术范式。苹果研究团队表示，后续将重点优化框架在跨语言、多模态场景中的泛化能力。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
