维度网讯，Arrcus与加拿大电信运营商TELUS宣布启动一项概念验证（PoC）项目，旨在评估Arrcus推理网络架构（AINF）作为加拿大境内主权、分布式AI推理的网络基础。

该计划的目标是为公共安全、应急响应、政府机构及企业客户提供低延迟AI服务，同时确保敏感数据和AI工作负载保留在加拿大境内。此次PoC反映了AI架构从集中式模型训练向分布式推理的更广泛转变，即AI模型更靠近用户、设备和数据源执行。Arrcus将AINF定位为专为AI工作负载设计的、具有策略感知能力的网络架构。

该平台能够评估运营商定义的策略，如延迟要求、数据主权规则、模型选择、容量可用性和功耗约束，然后动态地将推理请求路由到最合适的计算位置。在部署层面，AINF与NVIDIA BlueField-3 DPU和Spectrum-4以太网交换机集成，提供跨越边缘、数据中心和云环境的加密分布式AI连接。

该架构还与NVIDIA Dynamo集成，用于本地大语言模型（LLM）负载均衡，同时AINF管理跨TELUS基础设施的全网推理路由。Arrcus表示，这种方法旨在提高AI响应性、计算资源利用率，并遵守加拿大数据驻留要求。TELUS正在评估AINF用于支持公共安全、政府和企业应用的主权AI部署。AINF提供基于延迟、主权、模型可用性、网络条件和运营策略的AI策略感知路由，支持地理围栏和数据驻留强制执行，以保持AI工作负载在加拿大境内。

与NVIDIA BlueField-3 DPU的集成可实现高达400 Gbps的加密传输，且无CPU开销。该架构还支持NVIDIA Dynamo、vLLM、SGLang、Triton、Kubernetes、SRv6和移动用户平面（MUP）网络。根据行业研究来源，Arrcus指出潜在优势包括：首次令牌生成时间（TTFT）降低超过60%，端到端延迟降低40%，吞吐量提高15%，推理成本降低高达30%。

TELUS有线技术与服务副总裁Tim Fell表示：“公共安全和关键任务服务需要设计上快速、可靠且具有主权的AI。借助AINF，Arrcus为我们提供了智能、策略感知的网络基础，能够在我们网络中快速、大规模地提供AI推理，同时满足公共安全合作伙伴、政府客户和企业客户所需的数据主权、安全性和可预测性。”

这一公告凸显了行业对AI推理网络而非AI训练集群日益增长的关注。尽管AI基础设施市场的大部分焦点集中在GPU和大规模模型训练上，但运营商越来越多地面临在跨地理分布位置提供推理服务所伴随的挑战。这一趋势正在推动对能够基于AI特定策略做出路由决策的网络平台的兴趣。对Arrcus而言，与TELUS的合作是AINF一个备受瞩目的验证机会。AINF是该公司今年早些时候推出的、专为分布式AI推理设计的专用网络架构。该平台扩展了Arrcus的更广泛战略，即在其ArcOS操作系统上构建软件定义网络基础设施，同时利用商用芯片生态系统。与NVIDIA BlueField DPU、Spectrum以太网交换机和Dynamo软件的集成，使Arrcus与NVIDIA快速扩张的AI基础设施栈保持一致，因为全球服务提供商和政府正在探索主权AI计划和分布式推理架构。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com