大模型推理中的存算技术专题导读
郑纬民;陆游游;<正>随着大模型的落地应用，大模型推理服务的部署规模持续扩大，对人工智能基础设施提出了更高的要求。智能体的多轮迭代、长程任务执行等特点，推动上下文长度进一步增加，这对系统的计算与存储能力提出了新的挑战。本期专题以“大模型推理中的存算技术”为主题，聚焦大模型推理的存算技术，邀请该领域的专家学者撰写了7篇文章。这些文章从键值（KV） Cache的复用与存储管理、近存计算架构与存算协同、大规模向量管理以及大模型推理在端侧具身场景下的应用等角度，对相关技术进行了深入讨论。
BidKV：显存受限推理的KV缓存回收机制
陈彦博;王明琪;张书豪;在线大模型推理中，键值（KV）缓存是制约并发服务的关键显存资源。在显存压力下，顺序回收或容量贪心回收易抢占高重算代价请求，导致释放的显存空间被重复预填充占用，从而显著拉长首Token延迟（TTFT）。为此，提出BidKV，将KV回收建模为存算权衡问题，依据可释放容量与扰动代价选择单位代价收益最高的请求进行回收。BidKV不改变推理结果，并复用虚拟大语言模型（vLLM）与SGLang的原生抢占路径。ShareGPT实验结果表明，BidKV将vLLM的P95的TTFT由6 769 ms降至631 ms,300 ms服务等级目标（SLO）达成率由68.4%提升至83.2%；在SGLang上，P95的TTFT较原生最近最少使用（LRU）降低94.6%,SLO达成率提升38.8个百分点。在双卡昇腾910B2(TP=2)实验中，BidKV在3.8请求/秒负载下实现了631.8 ms的TTFT P95与72.0%的SLO达成率。上述结果验证了BidKV的有效性、跨框架可移植性与多卡适用性，表明显存受限推理应从容量驱动转向存算协同调度。
存储层级感知的大模型前缀键值缓存系统
何水兵;瞿皓阳;党政;大语言模型服务中的前缀键值（KV）缓存容量需求不断增长，逐渐超出图形处理器（GPU）显存和中央处理器（CPU）内存的承载能力。利用容量大、成本低的固态硬盘（SSD）扩展前缀缓存具有较大潜力，但其延迟较高、随机读带宽较低，直接应用会显著增加首字延迟（TTFT），难以满足实际部署需求。针对这一问题，提出了存储层级感知的大模型前缀键值缓存系统PCache。PCache面向显存-内存-SSD分层存储架构，通过数据布局感知的重要KV选择、页面级连续KV加载、动态KV重排和变序计算等技术，减少SSD访问与随机输入/输出（I/O）开销。相关实验验证了PCache可以在保持推理精度稳定的同时降低TTFT。
面向智能体时代大语言模型推理的新型存算解聚合架构
熊先奎;王程晨;蔡文豪;针对传统大模型推理在长上下文场景及新兴智能体时代推理中所面临的键值（KV）Cache膨胀、本地显存容量受限及跨节点通信开销高等问题，提出一种基于光输入/输出（OIO）拉远且以内存为中心的新型存算解聚合架构。该架构在物理层面实现计算与存储资源的解耦，支持二者的独立伸缩、池化共享与按需协同；在计算侧将Prefill与Decode阶段划分为异构计算簇，在存储侧构建基于异质材料的全局内存池，并借助近存计算单元对集合通信原语进行卸载。基于8个异构计算处理单元（8XPU）与8个内存处理单元（8MPU）全互联配置的系统级仿真分析表明，该架构在长上下文及高并发推理场景下，可有效降低首Token时延与逐Token时延，减少数据搬移开销，提升系统吞吐率，并在满足同等服务水平协议（SLA）的条件下显著降低对计算资源的需求，验证了其在智算基础设施中的潜在应用价值。
新架构大模型推理的存算特征演变与近存计算适配技术研究
庄凤云;孙菲;钱岭;多头潜在注意力（MLA）与混合专家（MoE）正在重塑大模型推理的存算特征：MLA通过低秩键值（KV）联合压缩，使权重吸收模式下的注意力算术强度由传统多头注意力（MHA）解码的约1 Op/B提升至数百Op/B;MoE则因实际批量下的专家权重访存瓶颈，成为近存计算的新核心场景。系统梳理解码阶段算术强度的解析模型以及“MHA→分组查询注意力（GQA）→MLA”的存算特征演变规律，对比分析MLA双执行模式的算术强度差异与现有存内处理（PIM）设备的算力密度约束，按临界批量模型对4类主流AI加速器进行解析估算与横向研判，并结合FP8/INT4等低精度计算特征，提出面向MLA+MoE组合架构的分层近存计算适配方向并给出框架性建议。
面向大模型推理的存算协同理论综述
汪俊峰;刘璇;李亚奇;石亮;大模型推理在长上下文、高并发与多轮复用条件下，受算力、存储容量与跨层数据移动共同约束。量化、缓存、卸载与阶段解耦常组合部署，但压缩率、命中率、显存占用下降等局部指标改善，并不等价于端到端关键路径缩短。从权重、键值（KV）缓存与激活的生命周期出发，以关键路径净收益为判据，系统梳理以算换存、以存换算与存算路径3类方法，并归纳其适用条件、附加开销、质量约束与失效边界，为面向负载的存算协同部署提供可复用的分析视角。认为未来应从生命周期控制、压缩表征、跨引擎接口与真实负载评测4个方面开展存算协同相关研究。
中兴通讯技术杂志社成功举办第31次编委会议暨2026年通信热点技术研讨会
<正>2026年8月1日—2日，中兴通讯技术杂志社第31次编委会议暨通信热点技术研讨会在山西大同成功召开。本次盛会汇聚国内外高校、通信运营商、科研院所、中兴通讯等50家单位的130余位业专家学者；陆建华、段宝岩、张宏科、张文军、陈勇5位院士，谈振辉教授、蒋林涛总工等资深编委，中兴通讯董事长方榕、CTO兼杂志社总编王喜瑜、高级副总裁王翔等公司领导出席了会议。中兴通讯董事长方榕致欢迎辞。她表示，中兴通讯聚焦“连接+算力”双轮战略，持续研发投入，取得一系列成绩。在中兴通讯的创新之路上，两本学术期刊成为了联动产业界与学术界的关键桥梁。方榕董事长希望中兴通讯的两本期刊坚守学术初心，发挥期刊学术引领与产学研平台的协同优势，促进科技创新与产业创新深度融合，发挥编委优势，培养创新人才。
