注意力机制

月之暗面开源Kimi Linear混合注意力架构，通过KDA模块实现KV缓存降低75%、解码吞吐量提升6倍，在1M tokens长上下文任务中性能提升6.3倍，现已集成至阿里云PAI平台，加速AI在智...

香港浸会大学SatImp技术通过三阶段干预注意力头实现LLM知识精准控制，有效解决灾难性遗忘与隐私合规问题，相关代码已开源并加速敏感领域应用落地。