维度网讯，Cafe24于23日宣布推出名为"超大型语言模型（LLM）路由器"的AI运营基础设施服务，该服务通过一个应用程序接口（API）即可整合使用超过120个AI模型。

LLM路由器的核心功能是作为"编排器"，将ChatGPT、Claude、Gemini等主要AI模型的120多个接口连接至单一平台，并根据用户输入的请求自动选择、分配和切换合适的模型。

该服务支持通过一个API使用包括OpenAI GPT系列模型以及Claude、Gemini、DeepSeek、Qwen、Llama等在内的超过120个AI模型。其核心是路由引擎，该引擎根据用户输入的请求内容，分析编码、推理、翻译、创作等工作类型，并自动连接最合适的AI模型。如果用户预先指定了可用模型范围，系统会仅在该范围内自动连接，无需用户逐一比较或选择模型。

该服务还提供根据用户标准设置AI服务提供商优先级的功能。在多个提供相同模型的AI服务提供商中，系统会根据用户选择的成本、速度、处理量等标准，自动连接到最合适的提供商。例如，对于同一个Claude模型，若用户以成本为标准，则自动连接到成本效率最高的提供商；若以速度为标准，则自动连接到响应最快的提供商。同时，服务支持白名单和黑名单功能，允许用户指定允许或排除特定AI服务提供商，从而灵活地控制自动连接范围。

为应对特定AI模型无响应的情况，LLM路由器支持"自动切换功能"。用户可预先设置主模型和替代模型，当主模型无响应时，下一个候选模型会自动接替处理请求。例如，若作为主模型使用的Claude无响应，则预先指定的其他模型会自动承担任务，从而构建连续运行的运营环境。

用户可以在一个环境中直观地管理多个AI模型。通过"实时仪表盘"，用户可在单一屏幕上查看请求数、成本、令牌使用量趋势、各模型成本占比以及成功与失败比率等数据。服务还支持请求级别的详细记录，以及按团队、项目、环境分类的使用量追踪，帮助用户更高效地掌握AI使用情况和成本结构。

用户也可以将自己持有的AI模型密钥连接至LLM路由器使用。通过"BYOK（Bring Your Own Key）"模式，用户注册正在使用的GPT、Claude、Gemini等模型密钥后，即可在LLM路由器环境中直接使用该模型，并直接管理AI模型的使用成本。

LLM路由器采用充值使用的信用用量计费模式。用户注册即可获得免费信用额度，直接体验服务。

Cafe24计划未来继续扩大对新AI模型和AI服务提供商的支持范围，并持续推进提高AI运营和管理便利性的功能。

Cafe24代表李在硕（音）表示，随着AI模型种类快速增长，如何高效连接和运营它们成为新的课题。他表示将继续扎实履行相关基础设施的角色，使用户能够更方便地利用各种AI模型。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com