Μετάβαση στο περιεχόμενο
ittechwire

Ειδήσεις τεχνολογίας με σαφείς πηγές

  1. Αρχική
  2. ΤΝ

ΤΝ

Η Nvidia κυκλοφορεί το ανοικτό μοντέλο Nemotron 3.5 Super VL, διαθέσιμο πλέον και στο Amazon SageMaker JumpStart

Το μοντέλο όρασης-γλώσσας με 120 δισεκατομμύρια παραμέτρους διατίθεται με ανοικτά βάρη, σύνολα δεδομένων και συνταγές εκπαίδευσης, μαζί με δύο μικρότερα μοντέλα Bolt για τοπικό hardware. Τα στοιχεία της Nvidia για ταχύτητα και ακρίβεια παραμένουν ισχυρισμοί του προμηθευτή.

Σύνταξη ittechwire4 λεπτά ανάγνωσηςΠηγές: 2Μετάφραση με AI · πρωτότυπο: English
Είσοδος του κτιρίου των κεντρικών γραφείων Endeavor της Nvidia στη Σάντα Κλάρα της Καλιφόρνιας: σκούρα γυάλινη πρόσοψη με γωνιώδη γραμμή οροφής, τσιμεντένια σκαλοπάτια που οδηγούν στις πόρτες και μια επιγραφή-μνημείο με το λογότυπο της Nvidia και τον αριθμό οδού 2788 δίπλα στη σκάλα.
Coolcaesar · CC BY-SA 4.0

Βασικά σημεία

  1. 1Το Nemotron 3.5 Super VL είναι ανοικτό μοντέλο όρασης-γλώσσας με 120B παραμέτρους, κορμό mixture-of-experts και 12B ενεργές παραμέτρους, σύμφωνα με AWS και Nvidia.
  2. 2Το μοντέλο δέχεται εικόνες, βίντεο, έγγραφα και κείμενο ως είσοδο, παράγει κείμενο και υποστηρίζει συμφραζόμενα έως 1 εκατομμύριο tokens, με συλλογιστική ρυθμιζόμενη ανά αίτημα.
  3. 3Η AWS δήλωσε στις 16 Οκτωβρίου ότι το μοντέλο μπορεί να γίνει deploy στο Amazon SageMaker JumpStart σε παραλλαγές NVFP4 και BF16, μέσω του καταλόγου της κονσόλας ή του Python SDK.
  4. 4Η Nvidia ισχυρίζεται έως και πέντε φορές υψηλότερο throughput από το επόμενο καλύτερο ανοικτό μοντέλο της κατηγορίας του και ακρίβεια κοντά στην αιχμή με το ένα πέμπτο του μεγέθους· τα στοιχεία αυτά δεν επαληθεύονται ανεξάρτητα στις πηγές.
  5. 5Δύο μοντέλα edge συνοδεύουν την κυκλοφορία: το Bolt 74B-A9B 24GB με κβαντοποίηση 2 bit είναι διαθέσιμο τώρα, και το Bolt E4B 4GB αναμένεται στις 23 Οκτωβρίου.

Ολόκληρη η είδηση

Η Nvidia κυκλοφόρησε το Nemotron 3.5 Super VL, ένα ανοικτό μοντέλο όρασης-γλώσσας με 120 δισεκατομμύρια παραμέτρους, το οποίο η εταιρεία τοποθετεί για επιχειρησιακούς πράκτορες συνεχούς λειτουργίας. Σύμφωνα με την Nvidia, το μοντέλο διατίθεται με ανοικτά βάρη, ανοικτά σύνολα δεδομένων και συνταγές εκπαίδευσης, και είναι διαθέσιμο στο Hugging Face, μέσω της κοινότητας ModelScope και ως μικροϋπηρεσία Nvidia NIM. Ταυτόχρονα ανακοινώθηκαν δύο μικρότερα μοντέλα edge: το Nemotron 3.5 Bolt 74B-A9B 24GB, που είναι διαθέσιμο τώρα, και το Nemotron 3.5 Bolt E4B 4GB, το οποίο, όπως λέει η Nvidia, θα ακολουθήσει στις 23 Οκτωβρίου.

Μία ημέρα μετά την κυκλοφορία, η AWS δήλωσε ότι το Nemotron 3.5 Super VL είναι διαθέσιμο στο Amazon SageMaker JumpStart. Σύμφωνα με την ανακοίνωση της AWS, το μοντέλο χρησιμοποιεί έναν υβριδικό γλωσσικό κορμό mixture-of-experts με 12 δισεκατομμύρια ενεργές παραμέτρους και έναν κωδικοποιητή όρασης, δέχεται εικόνες, βίντεο και κείμενο ως είσοδο, παράγει κείμενο ως έξοδο και υποστηρίζει μήκη συμφραζομένων έως 1 εκατομμύριο tokens. Η AWS περιγράφει επίσης μια ενσωματωμένη κεφαλή πρόβλεψης πολλαπλών tokens για speculative decoding, συλλογιστική που μπορεί να ενεργοποιείται ή να απενεργοποιείται ανά αίτημα, υποστήριξη για δέκα γλώσσες, δομημένη έξοδο JSON και κλήση εργαλείων (tool calling). Το SageMaker JumpStart προσφέρει δύο παραλλαγές: μια έκδοση NVFP4 για inference σε instances G7 (GPU RTX PRO 4500 Blackwell Server Edition) και βάρη αναφοράς BF16, που προσφέρονται σε ml.p5en.48xlarge, για fine-tuning, ενισχυτική μάθηση, απόσταξη και προσαρμογή σε τομέα. Οι πελάτες μπορούν να κάνουν deploy από τον κατάλογο μοντέλων JumpStart στην κονσόλα SageMaker ή μέσω του SageMaker Python SDK.

Οι δηλώσεις της ίδιας της Nvidia για τις επιδόσεις δεν έχουν επαληθευτεί ανεξάρτητα στις διαθέσιμες πηγές. Η εταιρεία λέει ότι το Super VL επιτυγχάνει ακρίβεια συγκρίσιμη με το μεγαλύτερο μοντέλο συλλογιστικής της με περίπου το ένα πέμπτο του αριθμού παραμέτρων και ισχυρίζεται ότι είναι πέντε φορές ταχύτερο από το επόμενο καλύτερο ανοικτό agentic μοντέλο της κατηγορίας του, επικαλούμενη το throughput στην κατάταξη Artificial Analysis Intelligence Index. Η Nvidia λέει επίσης ότι το μοντέλο είδε περίπου 26 τρισεκατομμύρια tokens εκπαίδευσης και στη συνέχεια υποβλήθηκε σε post-training με περίπου 3,8 εκατομμύρια δείγματα, ακολουθούμενο από ενισχυτική μάθηση σε δεκάδες περιβάλλοντα. Η πλευρά της όρασης στοχεύει στην οπτική αναγνώριση χαρακτήρων (OCR), σε πίνακες, διαγράμματα και δομημένες πληροφορίες σε έγγραφα, ιστοσελίδες και PDF, ώστε οι πράκτορες να μη χρειάζεται να μεταβαίνουν ανάμεσα σε ξεχωριστά συστήματα κειμένου και εικόνας.

Η Nvidia αναφέρει μια σειρά οργανισμών που προσαρμόζουν ή ενσωματώνουν το μοντέλο, μεταξύ αυτών την Atlassian για agentic αναζήτηση σε Jira και Confluence, την CrowdStrike για αμυντική επιχειρησιακή ασφάλεια (blue teaming), την Perplexity για αναζήτηση και agentic εργασίες, τη Salesforce για αυτοματοποίηση κυβερνητικών ροών εργασίας μέσω του Missionforce Operations, και τη Scale AI, η οποία, όπως λέει η Nvidia, έκανε post-training στο μοντέλο για πράκτορες χρηματοοικονομικών και due diligence στις Skydance και EY. Το μικρότερο Bolt 74B-A9B 24GB είναι σχεδιασμένο, σύμφωνα με την Nvidia, να εκτελεί τοπικές agentic εργασίες σε συστήματα RTX και DGX Spark με εγγενή κβαντοποίηση 2 bit που χωράει σε 24GB μνήμης, με υποστήριξη για llama.cpp, Ollama, LM Studio, Unsloth και vLLM. Η Nvidia λέει ότι το Bolt E4B 4GB απευθύνεται σε συνομιλητικούς και φυσικούς πράκτορες σε hardware GeForce RTX, Jetson και RTX/DGX Spark.

Γιατί έχει σημασία

Τα ανοικτά βάρη, οι συνταγές εκπαίδευσης και τα σύνολα δεδομένων δίνουν στις επιχειρήσεις έναν δρόμο για fine-tuning και φιλοξενία ενός πολυτροπικού μοντέλου πράκτορα στη δική τους υποδομή, και η καταχώριση στο SageMaker JumpStart μειώνει το εμπόδιο για να το δοκιμάσουν στο AWS. Οι κατονομαζόμενοι ενσωματωτές υποδηλώνουν πρώιμη εμπορική υιοθέτηση, αλλά τα στοιχεία για ταχύτητα και ακρίβεια προέρχονται μόνο από την Nvidia και πρέπει να διαβάζονται ως ισχυρισμοί του προμηθευτή μέχρι να υπάρξουν ανεξάρτητες δοκιμές.

Χρονολόγιο

  1. · Δημοσιεύθηκε

Θέματα#Nvidia#Nemotron#ανοικτά μοντέλα#μοντέλα όρασης-γλώσσας#AWS SageMaker#πράκτορες AI

Πηγές

Αυτή η είδηση βασίζεται στις παρακάτω πηγές. Διαβάστε τις για το πλήρες πλαίσιο.

  1. 1Nvidia · Επίσημη ανακοίνωσηOpen From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Modelsblogs.nvidia.com
  2. 2Amazon Web Services · Επίσημη ανακοίνωσηNemotron 3.5 Super VL model now available on Amazon SageMaker JumpStartaws.amazon.com