Společnost Nvidia uvádí otevřený model Nemotron 3.5 Super VL, nyní dostupný i na Amazon SageMaker JumpStart

Společnost Nvidia uvedla Nemotron 3.5 Super VL, otevřený vizuálně-jazykový (multimodální) model se 120 miliardami parametrů, který firma pozicuje pro trvale běžící podnikové agenty. Podle společnosti Nvidia je model dodáván s otevřenými váhami, otevřenými datovými sadami a tréninkovými postupy a je dostupný na Hugging Face, prostřednictvím komunity ModelScope a jako mikroslužba Nvidia NIM. Současně byly oznámeny dva menší modely pro lokální hardware (edge): Nemotron 3.5 Bolt 74B-A9B 24GB, který je dostupný už nyní, a Nemotron 3.5 Bolt E4B 4GB, který podle společnosti Nvidia bude následovat 23. října.

Den po uvedení společnost AWS oznámila, že Nemotron 3.5 Super VL je dostupný na Amazon SageMaker JumpStart. Podle oznámení AWS model využívá hybridní jazykový základ typu mixture-of-experts (MoE) s 12 miliardami aktivních parametrů doplněný o vizuální enkodér, přijímá na vstupu obrázky, video a text, generuje textový výstup a podporuje délku kontextu až 1 milion tokenů. AWS dále popisuje vestavěnou hlavu pro predikci více tokenů určenou pro spekulativní dekódování, uvažování (reasoning), které lze u každého požadavku zapnout nebo vypnout, podporu deseti jazyků, strukturovaný výstup ve formátu JSON a volání nástrojů. SageMaker JumpStart nabízí dvě varianty: sestavení NVFP4 určené pro inferenci na instancích G7 (GPU RTX PRO 4500 Blackwell Server Edition) a referenční váhy BF16 nabízené na ml.p5en.48xlarge pro fine-tuning, posilované učení, destilaci a doménovou adaptaci. Zákazníci mohou model nasadit z katalogu modelů JumpStart v konzoli SageMaker nebo prostřednictvím SageMaker Python SDK.

Vlastní výkonnostní tvrzení společnosti Nvidia nebyla v dostupných zdrojích nezávisle ověřena. Firma uvádí, že Super VL dosahuje přesnosti srovnatelné s jejím největším modelem pro uvažování při zhruba pětinovém počtu parametrů, a tvrdí, že je pětkrát rychlejší než druhý nejlepší otevřený agentní model ve své třídě, přičemž se odvolává na propustnost v žebříčku Artificial Analysis Intelligence Index. Nvidia také uvádí, že model prošel trénováním na přibližně 26 bilionech tokenů a následně byl dotrénován (post-training) na zhruba 3,8 milionu vzorků, po čemž následovalo posilované učení v desítkách prostředí. Vizuální část se zaměřuje na optické rozpoznávání znaků (OCR), tabulky, grafy a strukturované informace v dokumentech, webových stránkách a souborech PDF, aby agenti nemuseli přepínat mezi oddělenými systémy pro text a obraz.

Nvidia uvádí řadu organizací, které model přizpůsobují nebo integrují, mimo jiné Atlassian pro agentní vyhledávání napříč nástroji Jira a Confluence, CrowdStrike pro defenzivní bezpečnost (blue teaming) v podnicích, Perplexity pro vyhledávání a agentní úlohy, Salesforce pro automatizaci pracovních postupů ve státní správě prostřednictvím Missionforce Operations a Scale AI, která podle společnosti Nvidia model dotrénovala (post-training) pro agenty v oblasti financí a due diligence ve společnostech Skydance a EY. Menší Bolt 74B-A9B 24GB je podle společnosti Nvidia navržen pro lokální agentní úlohy na systémech RTX a DGX Spark s využitím nativní 2bitové kvantizace, která se vejde do 24GB paměti, s podporou llama.cpp, Ollama, LM Studio, Unsloth a vLLM. Nvidia uvádí, že Bolt E4B 4GB je určen pro konverzační a fyzické agenty na hardwaru GeForce RTX, Jetson a RTX/DGX Spark.