Nvidia udostępnia otwarty model Nemotron 3.5 Super VL, dostępny teraz także w Amazon SageMaker JumpStart

Firma Nvidia udostępniła Nemotron 3.5 Super VL, otwarty model wizyjno-językowy o 120 miliardach parametrów, który pozycjonuje jako rozwiązanie dla stale działających agentów korporacyjnych. Według firmy Nvidia model jest dostarczany z otwartymi wagami, otwartymi zbiorami danych i przepisami treningowymi oraz jest dostępny w Hugging Face, poprzez społeczność ModelScope i jako mikrousługa Nvidia NIM. Jednocześnie zapowiedziano dwa mniejsze modele brzegowe: Nemotron 3.5 Bolt 74B-A9B 24GB, dostępny już teraz, oraz Nemotron 3.5 Bolt E4B 4GB, który według firmy Nvidia pojawi się 23 października.

Dzień po premierze AWS poinformował, że Nemotron 3.5 Super VL jest dostępny w Amazon SageMaker JumpStart. Według komunikatu AWS model wykorzystuje hybrydowy językowy szkielet typu mixture-of-experts z 12 miliardami aktywnych parametrów oraz enkoder wizyjny, przyjmuje na wejściu obrazy, wideo i tekst, generuje tekst na wyjściu i obsługuje konteksty o długości do 1 miliona tokenów. AWS opisuje także wbudowaną głowicę predykcji wielu tokenów (multi-token prediction head) do dekodowania spekulatywnego, rozumowanie, które można włączać lub wyłączać dla każdego zapytania, obsługę dziesięciu języków, strukturalne wyjście JSON oraz wywoływanie narzędzi (tool calling). SageMaker JumpStart oferuje dwa warianty: kompilację NVFP4 przeznaczoną do inferencji na instancjach G7 (z GPU RTX PRO 4500 Blackwell Server Edition) oraz wagi referencyjne BF16, oferowane na ml.p5en.48xlarge, do fine-tuningu, uczenia ze wzmocnieniem, destylacji i adaptacji domenowej. Klienci mogą wdrażać model z katalogu modeli JumpStart w konsoli SageMaker lub poprzez SageMaker Python SDK.

Własne deklaracje wydajnościowe firmy Nvidia nie zostały niezależnie zweryfikowane w dostępnych źródłach. Firma twierdzi, że Super VL osiąga dokładność porównywalną z jej największym modelem rozumującym przy około jednej piątej liczby parametrów, i deklaruje, że jest pięć razy szybszy niż kolejny najlepszy otwarty model agentowy w swojej klasie, powołując się na przepustowość w rankingu Artificial Analysis Intelligence Index. Nvidia podaje również, że model przetworzył około 26 bilionów tokenów treningowych, a następnie przeszedł post-trening na około 3,8 miliona próbek, po czym nastąpiło uczenie ze wzmocnieniem w dziesiątkach środowisk. Część wizyjna jest ukierunkowana na optyczne rozpoznawanie znaków (OCR), tabele, wykresy i informacje strukturalne w dokumentach, stronach internetowych i plikach PDF, tak aby agenci nie musieli przekazywać zadań między osobnymi systemami tekstowymi i obrazowymi.

Nvidia wymienia szereg organizacji, które dostosowują lub integrują model, w tym Atlassian w zakresie agentowego wyszukiwania w Jira i Confluence, CrowdStrike w zakresie defensywnego bezpieczeństwa (blue teaming) w przedsiębiorstwach, Perplexity w zakresie wyszukiwania i zadań agentowych, Salesforce w zakresie automatyzacji procesów administracji publicznej poprzez Missionforce Operations oraz Scale AI, która według firmy Nvidia przeprowadziła post-trening modelu na potrzeby agentów finansowych i due diligence w Skydance i EY. Mniejszy Bolt 74B-A9B 24GB został według firmy Nvidia zaprojektowany do uruchamiania lokalnych zadań agentowych na systemach RTX i DGX Spark z użyciem natywnej kwantyzacji 2-bitowej, która mieści się w 24GB pamięci, z obsługą llama.cpp, Ollama, LM Studio, Unsloth i vLLM. Nvidia podaje, że Bolt E4B 4GB jest przeznaczony dla agentów konwersacyjnych i fizycznych na sprzęcie GeForce RTX, Jetson oraz RTX/DGX Spark.