推理引擎

Kimi开源Checkpoint-Engine中间件实现万亿参数LLM权重20秒极速更新，采用广播与P2P双模式架构，节省40%磁盘IO，提升GPU利用率，推动大模型实时推理技术发展。