维度网讯，Baseten Inc. 正在筹集15亿美元资金，本轮融资由Altimeter Capital、Conviction、Spark Capital、Sands Capital和Wellington Management共同主导。据《华尔街日报》报道，部分投资者以110亿美元估值购买股份，而其他支持者的投资条款清单则指定估值为130亿美元。

Baseten 提供用于自动化云推理集群搭建与管理的服务平台。开发人员通过该平台可以省去分配显卡、配置联网及安装软件工具等繁重工作。Baseten 的软件既可作为托管服务使用，也能作为独立应用部署在企业的公有云环境中。

该平台的核心是三个被称为推理引擎的模块，它们负责优化客户AI模型的性能并收集技术问题数据。BIS-LLM 引擎专为采用混合专家架构的大型语言模型设计。这类模型包含多个神经网络，每个网络针对不同任务。BIS-LLM 通过优化其 KV 缓存来提升模型效率，并在模型 token 使用量增加时自动配置更多硬件。第二个引擎 Engine-Builder-LLM 针对密集 LLM 进行了优化，这类模型由单一人工神经元集合而非多个神经网络组成。Engine-Builder-LLM 采用前瞻解码技术，可一次生成多个 token 从而加速推理。第三个引擎 BEI 面向更简单的 AI 模型，可驱动嵌入模型、数据分类和搜索模型等。

Baseten 使用名为 MCM 的软件模块将推理工作负载分散到多个公有云上。若其中一个云发生故障，MCM 会将提示重新路由到仍在线平台。该公司称，该技术的切换提供商能力在主要公有云显卡短缺时也十分便利。该平台直接支持数十个开源 AI 模型，客户还可使用名为 Truss 的工具部署自定义算法，该工具能自动将 LLM 打包成 Baseten 兼容格式。

Baseten 平台不仅支持对自定义 LLM 进行推理，还能对其进行训练。平台包含一个备份功能，可在训练过程中定期保存神经网络副本，若出现技术问题，开发人员可恢复最新备份副本，无需从头开始训练。此次融资距离上次不到六个月，上次3亿美元的投资方包括英伟达公司和 CapitalG。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com