韩国Upstage发布2500亿参数智能体模型
2026-07-23 16:42
收藏

维度网讯,韩国Upstage于23日公开了其自主研发的开放权重大语言模型(LLM)‘Solar Open 2’,该模型作为政府‘独立AI基础模型’项目的成果,已在全球开源平台Hugging Face上发布,并同步公开了包含架构与学习方法的科技报告。

与前作‘Solar Open 1’不同,Solar Open 2专为智能体(Agent)用途设计,不仅能进行简单问答,还可通过数十次推理与工具调用反复处理任务直至完成。该模型采用混合专家(MoE)结构,总计2500亿个参数,但实际工作时仅激活150亿个参数,通过仅选取所需部分进行运算,提升了在消耗大量Token的智能体任务中的效率。与前作1020亿参数规模相比,增长2.5倍,层数保持48层不变。

Solar Open 2支持长达100万Token的长上下文处理能力,这对于需要持续记忆任务历史并处理大量文档的智能体任务至关重要。为达成这一能力,Upstage将48层每4层一组,混合部署了1个精度高但计算量大的‘Softmax Attention’和3个计算轻量但压缩记忆信息的‘线性Attention’,即全部层中仅四分之一采用Softmax方式。此外,模型完全去除了独立的位置编码装置,仅通过线性Attention的记忆结构传递单词顺序信息,并增加了能够自行回溯修正错误存储信息的扩展技术。

Upstage表示,达到相同性能所需的训练数据量可比前作方式最多减少3倍以上;应用量化后,仅需2张NVIDIA H200芯片即可运行,降低了企业在自有基础设施上的引入成本。此次引入的技术不再每次从零训练数百亿参数级模型,而是从前作‘Solar Open 1’的权重中仅选取与新结构重叠的部分重复使用,仅继承词汇表、输出层、归一化层等结构相同的部分,新产生的部分及专家数量从128个增至320个的部分则重新训练。重复使用的权重仅占整体的2.3%,但实验显示该方法可将达到相同性能所需的训练量减少约1.7倍。训练数据从原始20万亿Token规模按质量筛选浓缩为10万亿Token,实际数据与人工合成数据比例为4:6,数学和代码占比分别调整至15%以上。

在性能测试中,Solar Open 2在综合知识(MMLU-Pro)、编程(LiveCodeBench)、指令遵循与工具调用、智能体综合评估中,超越了DeepSeek ‘V4 Flash’、Mistral ‘Medium 3.5’、Cohere ‘Command A+’等主要开放权重模型,与前作相比在知识·科学推理、数学、编程等主要基准测试中分数提升20分以上。韩语能力方面,在韩语基准综合平均分上高于OpenAI ‘GPT-5.4 Mini’、Anthropic ‘Claude Haiku 4.5’等封闭API,特别是在‘Ko-GDPval’基准测试中取得86.8分,接近比自身大6倍以上的DeepSeek ‘V4 Pro’(86.9分)的性能。Upstage将此归因于专门针对韩语的自家分词器,能以远少于其他全局模型的Token表示相同的韩语句子,在任务历史不断累积的智能体任务中具备成本和速度优势。在评估实际修改软件仓库或终端环境中完成任务的‘SWE-Bench’与‘TerminalBench’中,该模型不及DeepSeek ‘V4 Flash’、Mimou ‘V2.5’等竞争模型,Upstage表示将仓库/终端级别的软件工程能力及办公产出物的精细数值准确性列为未来改进方向。

Upstage基于‘Upstage Solar License(基于Apache 2.0)’完全公开Solar Open 2的权重,允许商业使用及衍生模型开发自由。未来,该模型将应用于今年5月收购的门户网站Daum,从搜索/摘要扩展至交互式智能体服务;通过今年6月收购的AI智能体平台Timely,支持全国地方自治团体及公共教育机构引入智能体。Upstage计划将基于Solar Open 2的服务扩展至金融、法律、医疗、公共、国防、制造、消费、机器人、教育等全产业领域,并着手构建结合国产神经处理单元(NPU)的‘全栈主权AI’,还将在‘OpenRouter’、‘Hermes Agent’等全球平台注册模型,以拓展海外开发者生态系统。

本文来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告知,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com