维度网讯，7月13日，中国商汤科技正式发布并开放日日新SenseNova-Vision理解生成统一视觉大模型，面向目标检测、光学字符识别、图像分割、深度预测、表面法线估计、多视角几何与相机位姿估计等任务提供统一模型能力。与过去为不同视觉任务分别配置模型、预测头和解码器的技术路径不同，SenseNova-Vision将多类计算机视觉任务统一转化为文本生成、图像生成或图文混合生成问题，使视觉感知能力能够直接进入通用多模态模型的输入输出体系。
此次开放内容不只有模型权重。商汤已对外发布SenseNova-Vision-7B-MoT模型、推理代码、技术报告以及SenseNova-Vision-Corpus-50M视觉语料，并提供单图推理、交互式推理、网页演示和基准评测入口。官方项目记录显示，上述模型、数据集、推理代码和技术报告已于7月8日陆续上线，7月13日进一步对外公布完整发布信息。
传统计算机视觉系统通常按照任务建立独立技术链路。目标检测需要输出类别和边界框，图像分割需要生成像素级掩码，深度预测需要计算每个像素对应的空间距离，三维重建还要处理多视角图像、点图和相机参数，这些任务过去往往需要不同模型结构、训练目标、专用预测模块及数据处理方式。SenseNova-Vision试图取消这种任务之间的模型割裂，不再为检测、分割、深度估计或几何预测分别增加专用架构分支，而是让同一个模型依据自然语言指令识别任务类型、目标区域、观察视角和输出规则。
统一之后，不同视觉结果仍然采用适合自身特点的表达形式。目标类别、边界框、坐标点、文字识别结果、人体关键点和相机参数等结构化信息，可以由模型直接生成文本记录;分割掩码、深度图、表面法线图和多视角三维点图等像素级结果，则通过图像形式生成。对于既需要说明目标类别、又需要输出对应分割区域的组合任务，模型可以同时生成文本和图像，使同一套交互接口覆盖结构化视觉理解、稠密几何预测、图像分割和多视角视觉几何。
自然语言指令成为连接各类视觉任务的重要入口。开发人员可以通过文字说明需要识别的目标类别、颜色、区域、视角及输出格式，也可以加入视觉提示指定处理对象，模型随后按照约定生成可解析结果。这样的方式使视觉任务不再完全受固定类别表和预设评测格式限制，例如用户可通过语言组合类别、颜色和局部区域条件，形成比传统固定任务更灵活的视觉处理要求。
为支撑这种统一训练方式，商汤构建了SenseNova-Vision-Corpus-50M语料。该语料把原本分散在检测、文字识别、关键点定位、图像分割、深度估计和多视角几何等任务中的视觉标注，转换为“视觉输入、自然语言指令、可解码回答”的统一样本结构，回答形式覆盖文本、图像及图文混合内容。训练过程主要使用这套视觉语料，同时加入辅助多模态数据，以减少模型在强化视觉能力过程中对通用理解和图像生成能力的损失。
从公开任务范围看，SenseNova-Vision目前已经覆盖四类主要视觉能力。结构化视觉理解包括目标检测、指代定位、文字识别、界面元素定位和关键点预测;稠密几何预测包括单目深度估计与表面法线预测;分割部分涵盖通用分割、指代分割、推理分割、交互式分割和带语义描述的分割任务;多视角视觉几何则包括三维点图重建和相机位姿估计。官方基准结果显示，单一模型可在多种输出格式和视觉任务上与部分专用模型及通用视觉模型形成竞争，但不同任务之间的表现并不完全一致。
模型开放后，开发人员可通过官方代码运行预置示例，也可指定任务类型、文字提示和输入图像发起单次推理。官方还提供基于Gradio的本地网页演示方案，完整演示建议使用一块80GB显存的图形处理器;若执行全部基准评测，官方建议至少配置一台拥有8块80GB图形处理器的服务器。这说明SenseNova-Vision虽然已经提供完整推理入口，但面向全任务部署和评测时仍需要较高算力资源。
开放许可也存在明确边界。SenseNova-Vision模型权重采用CC BY-NC 4.0许可，主要面向非商业用途，数据集页面也标注了相同许可;官方GitHub中的源代码则应按照代码仓库所列许可单独使用。因此，此次“全面开源”主要意味着模型、训练语料、推理代码、技术报告和评测方法均已向研究社区公开，并不等于所有内容可以不受限制地直接用于商业产品。
商汤在模型说明中同时列出了现阶段限制。统一模型并不意味着其在每一项专业任务上都超过专用系统，部分专用模型仍可能在特定基准中保持优势;文本输出还需要按任务配置解析程序，图像结果也需要依据训练协议进行解码。深度、表面法线、三维点图和相机位姿等结果在进入机器人、自动驾驶、工业检测或其他高安全要求场景前，仍需通过独立系统验证，不能直接把模型生成结果作为最终控制依据。
SenseNova-Vision此次完成的主要技术变化，是把过去分散的经典视觉任务重新组织为通用多模态模型能够处理的生成任务。检测、分割、深度预测和三维几何不再分别对应一套孤立系统，而是共享自然语言指令、视觉输入和文本图像生成空间，为后续把视觉感知、语言理解、图像生成和空间推理进一步整合到同一基础模型提供了新的实现路径。
