跳至正文
ittechwire

来源清晰的科技新闻

  1. 首页
  2. 人工智能

人工智能

Nvidia 发布开放模型 Nemotron 3.5 Super VL,现已同步登陆 Amazon SageMaker JumpStart

这款拥有1200亿参数的视觉语言模型以开放权重、开放数据集和训练方案的形式发布,同时推出两款面向本地硬件的较小 Bolt 模型。Nvidia 给出的速度与准确率数据仍属厂商自述。

ittechwire 编辑部阅读约 3 分钟来源: 2AI 译文 · 原文语言:English
Nvidia 位于加利福尼亚州圣克拉拉的 Endeavor 总部大楼入口:深色玻璃幕墙配以棱角分明的屋顶轮廓,混凝土台阶通向大门,台阶旁立有带 Nvidia 标志和门牌号2788的纪念碑式标牌。
Coolcaesar · CC BY-SA 4.0

要点

  1. 1据 AWS 和 Nvidia 介绍,Nemotron 3.5 Super VL 是一款拥有120B参数的开放视觉语言模型,采用专家混合(MoE)主干,活跃参数为12B。
  2. 2该模型以图像、视频、文档和文本作为输入,输出文本,支持最长100万 token 的上下文,推理功能可按请求配置。
  3. 3AWS 于10月16日表示,该模型可以 NVFP4 和 BF16 两种版本部署在 Amazon SageMaker JumpStart 上,途径为控制台目录或 Python SDK。
  4. 4Nvidia 声称其吞吐量比同级别次优开放模型最高快五倍,并以五分之一的规模达到接近前沿水平的准确率;这些数据未在来源中得到独立验证。
  5. 5此次发布还附带两款边缘模型:采用2比特量化的 Bolt 74B-A9B 24GB 现已可用,Bolt E4B 4GB 预计于10月23日推出。

报道全文

Nvidia 发布了 Nemotron 3.5 Super VL,这是一款拥有1200亿参数的开放视觉语言模型,该公司将其定位于面向常驻运行的企业智能体。据 Nvidia 介绍,该模型随附开放权重、开放数据集和训练方案,可在 Hugging Face 上获取,也可通过 ModelScope 社区以及作为 Nvidia NIM 微服务获取。同时发布的还有两款较小的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB 现已可用,而 Nemotron 3.5 Bolt E4B 4GB 据 Nvidia 称将于10月23日推出。

发布一天后,AWS 表示 Nemotron 3.5 Super VL 已在 Amazon SageMaker JumpStart 上线。根据 AWS 的公告,该模型采用混合式专家混合(MoE)语言主干,拥有120亿活跃参数,并配有视觉编码器,可接受图像、视频和文本作为输入,输出文本,支持最长100万 token 的上下文长度。AWS 还介绍了用于推测解码的内置多 token 预测头、可按请求开启或关闭的推理功能、对10种语言的支持、结构化 JSON 输出以及工具调用。SageMaker JumpStart 提供两个版本:一个是面向 G7 实例(RTX PRO 4500 Blackwell Server Edition GPU)推理的 NVFP4 版本,另一个是在 ml.p5en.48xlarge 上提供的 BF16 参考权重,用于微调、强化学习、蒸馏和领域适配。客户可以通过 SageMaker 控制台中的 JumpStart 模型目录或通过 SageMaker Python SDK 进行部署。

Nvidia 自身的性能表述尚未在现有来源中得到独立验证。该公司表示,Super VL 以约五分之一的参数量达到了与其最大推理模型相当的准确率,并声称其速度比同级别次优的开放智能体模型快五倍,依据是 Artificial Analysis Intelligence Index 排行榜上的吞吐量数据。Nvidia 还表示,该模型经过了约26万亿训练 token 的训练,随后在约380万样本上进行了后训练,之后又在数十个环境中进行了强化学习。视觉方面针对光学字符识别(OCR)、表格、图表以及文档、网页和 PDF 中的结构化信息,使智能体无需在独立的文本系统和图像系统之间切换。

Nvidia 列出了多家正在定制或集成该模型的机构,包括 Atlassian(用于跨 Jira 和 Confluence 的智能体搜索)、CrowdStrike(用于企业安全防御性蓝队工作)、Perplexity(用于搜索和智能体任务)、Salesforce(通过 Missionforce Operations 实现政府工作流自动化),以及 Scale AI,Nvidia 称后者为 Skydance 和 EY 的金融与尽职调查智能体对该模型进行了后训练。据 Nvidia 介绍,较小的 Bolt 74B-A9B 24GB 旨在利用可容纳于24GB内存的原生2比特量化,在 RTX 和 DGX Spark 系统上运行本地智能体任务,并支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。Nvidia 表示,Bolt E4B 4GB 面向 GeForce RTX、Jetson 以及 RTX/DGX Spark 硬件上的对话式智能体和物理智能体。

为何重要

开放权重、训练方案和数据集为企业提供了在自有基础设施上微调并托管多模态智能体模型的途径,而 SageMaker JumpStart 的上架则降低了在 AWS 上试用该模型的门槛。被点名的集成方暗示其已有早期商业采用,但速度和准确率数据仅来自 Nvidia,在获得独立测试结果之前应视为厂商自述。

时间线

  1. · 发布于

话题#Nvidia#Nemotron#开放模型#视觉语言模型#AWS SageMaker#AI 智能体

来源

本报道基于以下来源。如需完整背景,请阅读原文。

  1. 1Nvidia · 官方声明Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Modelsblogs.nvidia.com
  2. 2Amazon Web Services · 官方声明Nemotron 3.5 Super VL model now available on Amazon SageMaker JumpStartaws.amazon.com