维度网讯，VIDRAFT近日宣布公开大语言模型推理加速引擎VKAE的性能排行榜，并部署了集成模型权重和服务环境的Docker容器。该引擎名为VIDRAFT Kernel Acceleration Engine，是一款内核级加速工具。
VKAE在相同GPU和相同条件下，相比标准服务的推理吞吐量最高提升23.4倍。该引擎在保持输出质量的同时提高了吞吐量和响应速度。用户可通过运行公开的容器，在自己的GPU环境中直接验证性能。VKAE还支持OpenAI兼容API，可连接到现有服务。
根据VIDRAFT自行测量的结果，在NVIDIA B200 GPU和FP8环境下，代表性模型Qwen3.5-35B-A3B的单流每秒最高生成601个token。在多请求处理中，每秒吞吐量超过1万个token。超大规模模型JGOS-398B也应用了同系列优化技术。内核内部实现方式属于商业秘密不予公开，但通过排行榜和统一容器可接受外部验证。
VIDRAFT指出了此次公开的四点意义：用户可直接复现数据的可验证性；吞吐量提升带来的服务成本降低；速度改进过程中的质量保持；基于OpenAI兼容API的即时集成性。VKAE主要支持NVIDIA Blackwell（B200）、Hopper（H100、H200）系列GPU，并正将支持范围扩展至A10G small等型号。
VIDRAFT此前已公开衡量AI元认知能力的FINAL Bench、减少幻觉的运行时中间件MARL，以及Darwin、Chimera、Aether等模型系列，在模型开发至服务优化方面积累了全栈AI能力。VIDRAFT代表金敏植表示，无法复现的速度竞争毫无意义，VKAE的核心在于让用户能够用自己的硬件直接验证。
VIDRAFT是一家于2024年成立、入驻首尔AI Hub的初创公司，目标是在2030年前实现True-AGI。该公司正开发韩语专用LLM、科学推理模型及推理加速基础设施，并推进全球市场拓展。
