中国信通院发布2026年公有云大模型Token服务性能监测结果

2026-07-07 17:15

关键词:

维度网讯，中国信息通信研究院（简称"中国信通院"）在2026年6月16日举办的"高质量Token服务研讨会"上发布了最新一期大模型Token服务性能监测结果。中国信通院人工智能研究所平台与工程化部高级业务主管秦思思发布并解读了《大模型Token服务性能监测报告（2026年公有云）》。监测显示，2026年国内公有云大模型Token服务调用成功率总体稳定，每秒输出Token数（TPS）与首词时延（TTFT）同步增加，服务价格出现明显回升。

中国信通院自2024年底启动大模型Token服务性能监测工作，目前已形成"标准-指标-数据-平台"一体化监测体系。该体系依据《大模型推理服务性能测试方法》（ITU-T F.PEM-LLM，2026-0478T-YD，AIAT/T 0221-2025）等相关标准，设计了一套全面的性能指标和多维度测试数据集，并通过位于不同地理位置的服务器开展全天候性能监测。截至2026年5月，已累计测试百余款公有云大模型Token服务，监测对象覆盖国内外原厂大模型Token服务及DeepSeek、Qwen、GLM、Kimi等开源模型在不同平台上的工程化表现。监测频率方面，每日选取不同时间点通过不同地理位置的服务器连续发送请求，自2026年5月下旬起，调用成功率的监测频率已更新为每5分钟一次，以更敏锐地捕捉服务波动。

监测数据呈现三大观察。第一，大模型Token服务吞吐与时延同步增加。国内方面，1月至4月原厂大模型调用成功率均达到99.9%以上，调用成功率达到100%的Token服务占比从75%提升至83%。5月份，因监测采样频率从每天15次提升至每5分钟一次，更多偶发性不可用情况被捕捉，调用成功率整体降至99.79%，100%占比下降至39%。

在TPS指标方面，国内1月至5月平均值稳步提升，5月较2025年全年提升幅度达73.12%，有2款模型TPS超过100个/秒，最高突破200个/秒，平均值为66.22个/秒，中位数为53.68个/秒。国外模型整体TPS仍保持较高水平，Gemini-3.1-pro-preview达到158.37个/秒，GPT-5.5达到64.08个/秒，5月平均值为99.03个/秒，仍远超国内。

首词时延方面，国内1月至5月平均TTFT从0.8秒增加至1.09秒，增幅36.25%。5月最低TTFT为0.4秒，最高达1.64秒，47%的模型TTFT低于1秒。国外3款大参数量模型TTFT均超过1秒，平均达1.8秒，Gemini-3.1-pro-preview最长超过2秒。报告指出，TTFT上升并非单纯性能退化，而是模型参数量、上下文长度和调用量增加等多种因素叠加的结果。

第二，大模型向"价值回归"与"能力跃迁"发展演进。在市场价格方面，2026年Token服务价格出现明显反弹。2025年下半年每百万Token归一化价格为6.8元，2026年回升至10.3元，涨幅达51%，但仍远低于国外主流模型约120元的价格水平。报告强调，实际使用成本需综合考量单价与Token消耗效率。国外模型推理过程中Token消耗量较少，但因价格高昂，整体消费金额仍较高，与GPT和Claude为消费最高的两款模型。国内模型Token消耗量普遍较高，但因价格便宜，整体消费金额偏低。

模型上下文长度持续向百万级扩展。5月份，国内模型上下文长度达到1M（一百万Tokens）的占比为35.3%，200K及以上的合计达88.3%，较2025年底提高超60%。国外OpenAI、Anthropic和Google的最新系列模型上下文长度均已达到1M及以上。国产开源大模型已成为全球诸多平台的主流选择，在调研的22个国内外MaaS平台中，DeepSeek和Qwen系列模型上线率高达100%，GLM、Kimi、MiniMax系列上线率分别达91%、86%、82%。

第三，开源模型在各MaaS平台上的推理性能分化明显。相同模型跨平台性能波动较大，平台侧工程优化差异显著。国内4款开源模型在不同平台上的TPS集中在50个/秒左右，TTFT集中在1秒左右。调用成功率整体趋近100%，但部分平台的个别模型调用成功率仍低于90%，平台服务稳定性仍有进一步优化空间。

中国信通院表示，下一步Token服务性能监测工作将从四个方面持续深化。一是优化监测体系，增加对多模态大模型性能指标的监测，缩短报告发布周期，完善平台自动化分析和预警功能。二是逐步开放监测数据，为科研、行业分析及应用选型提供数据支撑。三是打造区域性监测平台，为地区和集团提供定制化服务，并作为Token工厂的服务准入基准。四是强化服务质量监督与异常预警机制，针对异常情况深入开展问题分析与质量监督。