Nvidia açık Nemotron 3.5 Super VL modelini yayımladı, model artık Amazon SageMaker JumpStart'ta da sunuluyor

Nvidia, şirketin sürekli çalışan kurumsal ajanlar için konumlandırdığı, 120 milyar parametreli açık bir görsel-dil modeli olan Nemotron 3.5 Super VL'yi yayımladı. Nvidia'ya göre model açık ağırlıklar, açık veri kümeleri ve eğitim tarifleriyle birlikte geliyor; Hugging Face üzerinde, ModelScope topluluğu aracılığıyla ve bir Nvidia NIM mikro hizmeti olarak sunuluyor. Aynı anda iki küçük uç (edge) model duyuruldu: şu anda kullanılabilir olan Nemotron 3.5 Bolt 74B-A9B 24GB ve Nvidia'nın 23 Ekim'de geleceğini söylediği Nemotron 3.5 Bolt E4B 4GB.

Lansmandan bir gün sonra AWS, Nemotron 3.5 Super VL'nin Amazon SageMaker JumpStart üzerinde kullanılabilir olduğunu açıkladı. AWS duyurusuna göre model, 12 milyar aktif parametreli hibrit bir uzman karışımı (mixture-of-experts) dil omurgası ile bir görüntü kodlayıcı kullanıyor; görüntü, video ve metni girdi olarak kabul ediyor, metin çıktısı üretiyor ve 1 milyon token'a kadar bağlam uzunluğunu destekliyor. AWS ayrıca spekülatif kod çözme için yerleşik bir çoklu token tahmin başlığı, istek bazında açılıp kapatılabilen akıl yürütme, on dil desteği, yapılandırılmış JSON çıktısı ve araç çağırma özelliklerini tanımlıyor. SageMaker JumpStart iki varyant sunuyor: G7 örneklerinde (RTX PRO 4500 Blackwell Server Edition GPU'lar) çıkarım için tasarlanmış bir NVFP4 derlemesi ve ince ayar, pekiştirmeli öğrenme, damıtma ve alan uyarlaması için ml.p5en.48xlarge üzerinde sunulan BF16 referans ağırlıkları. Müşteriler, SageMaker konsolundaki JumpStart model kataloğundan veya SageMaker Python SDK aracılığıyla dağıtım yapabiliyor.

Nvidia'nın kendi performans açıklamaları, mevcut kaynaklarda bağımsız olarak doğrulanmış değil. Şirket, Super VL'nin yaklaşık beşte bir parametre sayısıyla en büyük akıl yürütme modeliyle karşılaştırılabilir doğruluğa ulaştığını söylüyor ve Artificial Analysis Intelligence Index sıralamasındaki verimi gerekçe göstererek modelin kendi sınıfındaki bir sonraki en iyi açık ajan modelinden beş kat daha hızlı olduğunu iddia ediyor. Nvidia ayrıca modelin yaklaşık 26 trilyon eğitim token'ı gördüğünü, ardından yaklaşık 3,8 milyon örnekle son eğitimden (post-training) geçirildiğini ve bunu onlarca ortamda pekiştirmeli öğrenmenin izlediğini belirtiyor. Görsel tarafı, ajanların ayrı metin ve görüntü sistemleri arasında geçiş yapmak zorunda kalmaması için belgelerdeki, web sayfalarındaki ve PDF'lerdeki optik karakter tanıma (OCR), tablolar, grafikler ve yapılandırılmış bilgileri hedefliyor.

Nvidia, modeli özelleştiren veya entegre eden bir dizi kuruluş sıralıyor: Jira ve Confluence genelinde ajan tabanlı arama için Atlassian, kurumsal güvenlikte savunma amaçlı güvenlik çalışmaları (blue teaming) için CrowdStrike, arama ve ajan görevleri için Perplexity, Missionforce Operations aracılığıyla kamu iş akışı otomasyonu için Salesforce ve Nvidia'nın ifadesiyle modeli Skydance ile EY'deki finans ve durum tespiti (due diligence) ajanları için son eğitimden geçiren Scale AI. Daha küçük Bolt 74B-A9B 24GB, Nvidia'ya göre 24GB belleğe sığan yerel bir 2 bit nicemleme kullanarak RTX ve DGX Spark sistemlerinde yerel ajan görevlerini çalıştırmak için tasarlandı; llama.cpp, Ollama, LM Studio, Unsloth ve vLLM desteği sunuyor. Nvidia, Bolt E4B 4GB'nin GeForce RTX, Jetson ve RTX/DGX Spark donanımındaki konuşma ve fiziksel ajanlara yönelik olduğunu söylüyor.