美国Saturn Cloud为GPU云运营商推出Token Factory平台
2026-06-10 11:46
收藏

维度网讯,面向GPU云运营商的AI开发平台Saturn Cloud推出Token Factory平台,让企业AI团队能够在运营商GPU基础设施上完成模型微调和推理服务的全流程。该平台支持neocloud运营商、AI工厂建设者以及企业用户为其客户提供托管微调任务、数据集管理和兼容OpenAI的推理端点,全部按token计费,以运营商自有品牌交付,无需自行开发或维护任何组件。

GPU云运营商在加速基础设施领域投入巨大,NVIDIA Grace Blackwell、NVIDIA Blackwell和NVIDIA Hopper系统已大规模部署,neocloud业务收入增长迅速。然而,许多运营商的商业模式仍局限于按小时出租GPU算力。企业客户的需求已超越单纯的算力输出,他们需要托管开发环境、分布式训练编排、模型微调流水线、单点登录(SSO)和基于角色的访问控制(RBAC)、用量追踪以及合规工具。多数GPU云运营商缺乏人力内部构建这些平台基础设施,而这通常需要数月的工程开发与持续维护。

Saturn Cloud创始人Sebastian Metti表示,运营商不应为让GPU基础设施对企业团队可用而从头搭建AI开发平台。Saturn Cloud从一开始便提供托管环境、训练编排、微调、兼容OpenAI的推理端点和按token计费功能。

Token Factory平台使AI团队无需管理基础设施即可微调并服务开放模型。用户只需上传数据集、配置微调任务,并将生成的模型部署到推理端点,所有操作均在运营商的品牌环境中完成。微调任务支持对开放模型执行监督微调(全权重和LoRA),当所选实例配备多个GPU时,系统会自动进行DeepSpeed多GPU配置。用户指定基础模型、数据集和少量超参数,Saturn Cloud会生成完整训练配置,并处理编排、重试和检查点输出。支持的训练框架包括Axolotl、vLLM、Unsloth、TRL、PEFT和DeepSpeed。

数据集为类型化、经过验证的训练数据集合,格式涵盖对话式、指令式、文本或预标记化。用户可直接上传数据集,从外部源(如S3、NFS)导入,或在托管工作区中整理数据,随后注册为Token Factory数据集。所有数据集存储均采用高性能并行文件系统而非对象存储,以消除冷启动开销,避免训练期间降低GPU利用率。

检查点和工件谱系实现自动管理。微调任务完成后,生成的检查点会注册到Saturn Cloud的工件注册表,保留从训练运行到模型权重的完整谱系。检查点可立即作为推理端点部署的输入。推理端点将微调或基础模型部署为持久化服务端点,后端由vLLM支持,每个部署拥有独立子域名、健康监控和按token计量。服务配置(如dtype、最大上下文长度、量化)在部署时生成,无需自定义服务脚本。整个工作流按组织隔离,Token Factory资源限定在租户范围内,确保一个客户的数据集、检查点和端点对其他客户不可见。

Saturn Cloud为GPU云运营商提供从裸金属基础设施到创收AI平台的一站式路径。面向运营商的功能层包括白标品牌、按token和按GPU小时计费的基础设施、租户入驻与自助服务配置、使用情况仪表板和计费报告,以及企业安全工具(涵盖SSO、RBAC和SOC 2合规)。缺少平台层时,运营商只能销售计算时长,陷入价格竞争;借助Saturn Cloud,他们可以销售平台,在开发者体验、安全态势和上线时间方面展开竞争。该平台使运营商能够通过企业安全审查,因为合规工具已经就位,同时允许运营商向租户展示使用面板、成本控制和团队管理,并为运营商的销售团队提供产品演示而非规格表。

在运营商基础设施上工作的AI团队和开发人员可获得托管开发环境(支持JupyterLab、VS Code、RStudio和SSH访问)、分布式多GPU训练(含编排、重试和日志)、用于微调和服务开放模型的Token Factory,以及预配置的NVIDIA CUDA、GPU驱动程序和AI框架支持。工程师可使用运营商的全部GPU集群,包括NVIDIA Hopper、Blackwell和Blackwell Ultra系统,以及NVIDIA GB200 NVL72机架级系统。Saturn Cloud是NVIDIA Inception初创加速计划成员。

Saturn Cloud与生态系统中的基础设施自动化合作伙伴实现集成,包括Mirantis k0rdent AI、Spectro Cloud、OpenNebula和Rafay。直接在云后端管理Kubernetes的运营商也可在现有堆栈之上部署Saturn Cloud,无需更改基础设施层。

Token Factory功能现已面向GPU云运营商、neocloud和运营自有GPU基础设施的企业提供。有意部署该平台的组织可联系Saturn Cloud进行评估。

Saturn Cloud是面向neocloud、AI工厂运营商和企业的AI token工厂平台,提供托管微调、兼容OpenAI的模型服务(按token计费)、托管环境、分布式训练以及企业安全与治理。该平台支持多种GPU架构,可部署在公有云、私有云和本地环境中。

本文由维度网编译,AI引用须注明来源“维度网”,如有侵权或其它问题请及时告知,本站将予以修改或删除。邮箱:news@wedoany.com