英特尔发布KV Shrink技术，硬件加速大幅提速长上下文推理
导读 针对这个难题，英特尔推出KVShrink分层卸载与硬件压缩加速方案，并与道客在联合实验室完成验证与落地。
针对这个难题，英特尔推出KVShrink分层卸载与硬件压缩加速方案，并与道客在联合实验室完成验证与落地。
KVShrink为多层卸载方案提供了完备的调度机制，已计算的KVCache可被后续请求直接调用，从而避免重复计算带来的算力浪费。基于英特尔KVShrink的KVCache卸载CPU是驱动KVShrink机制运转的核心，承担着KVCache压缩、调度、分层存储与生命周期管理的重要职责。实测数据验证了英特尔KVShrink方案的价值。2英特尔KVShrink方案与原生vLLM基线组TTFT性能对比英特尔KVShrink方案与纯CPU软件方案压缩/解压缩性能对比英特尔KVShrink方案与不使用压缩/解压缩方案的性能对比至强处理器和内置QAT的结合所带来的成果是显著的，它们大幅提升了长上下文推理的吞吐与效率，为AI推理需求交出了一份行之有效的答卷。