Nvidia ওপেন Nemotron 3.5 Super VL মডেল প্রকাশ করল, এখন Amazon SageMaker JumpStart থেকেও পাওয়া যাচ্ছে
120 বিলিয়ন প্যারামিটারের এই ভিশন-ল্যাঙ্গুয়েজ মডেলটি ওপেন ওয়েট, ডেটাসেট ও ট্রেনিং রেসিপিসহ আসছে, সঙ্গে স্থানীয় হার্ডওয়্যারের জন্য দুটি ছোট Bolt মডেল। Nvidia যে গতি ও নির্ভুলতার পরিসংখ্যান দিয়েছে, তা ভেন্ডরের দাবি হিসেবেই রয়ে গেছে।
মূল বিষয়
- 1AWS ও Nvidia অনুসারে, Nemotron 3.5 Super VL হলো 120B প্যারামিটারের একটি ওপেন ভিশন-ল্যাঙ্গুয়েজ মডেল, যাতে মিক্সচার-অব-এক্সপার্টস ব্যাকবোন ও 12B সক্রিয় প্যারামিটার রয়েছে।
- 2মডেলটি ইনপুট হিসেবে ছবি, ভিডিও, নথি ও টেক্সট নেয়, টেক্সট আউটপুট দেয় এবং 1 মিলিয়ন টোকেন পর্যন্ত কনটেক্সট সমর্থন করে, যেখানে রিজনিং প্রতিটি অনুরোধে কনফিগার করা যায়।
- 3AWS 16 অক্টোবর জানিয়েছে যে মডেলটি Amazon SageMaker JumpStart থেকে NVFP4 ও BF16 ভ্যারিয়েন্টে কনসোল ক্যাটালগ বা Python SDK ব্যবহার করে ডিপ্লয় করা যায়।
- 4Nvidia দাবি করছে নিজের শ্রেণির পরবর্তী সেরা ওপেন মডেলের চেয়ে পাঁচ গুণ পর্যন্ত দ্রুত থ্রুপুট এবং এক-পঞ্চমাংশ আকারে প্রায় ফ্রন্টিয়ার-স্তরের নির্ভুলতা; সূত্রগুলোতে এই পরিসংখ্যান স্বাধীনভাবে যাচাই করা হয়নি।
- 5প্রকাশের সঙ্গে দুটি এজ মডেল আসছে: 2-বিট কোয়ান্টাইজেশনসহ Bolt 74B-A9B 24GB এখনই পাওয়া যাচ্ছে, আর Bolt E4B 4GB আসার কথা 23 অক্টোবর।
পুরো খবর
Nvidia প্রকাশ করেছে Nemotron 3.5 Super VL, 120 বিলিয়ন প্যারামিটারের একটি ওপেন ভিশন-ল্যাঙ্গুয়েজ মডেল, যেটিকে কোম্পানিটি সর্বদা সক্রিয় এন্টারপ্রাইজ এজেন্টের জন্য উপস্থাপন করছে। Nvidia অনুসারে, মডেলটি ওপেন ওয়েট, ওপেন ডেটাসেট ও ট্রেনিং রেসিপিসহ আসে এবং Hugging Face প্ল্যাটফর্মে, ModelScope কমিউনিটির মাধ্যমে এবং Nvidia NIM মাইক্রোসার্ভিস হিসেবে পাওয়া যাচ্ছে। একই সময়ে দুটি ছোট এজ মডেল ঘোষণা করা হয়েছে: Nemotron 3.5 Bolt 74B-A9B 24GB, যা এখনই পাওয়া যাচ্ছে, এবং Nemotron 3.5 Bolt E4B 4GB, যা Nvidia বলছে 23 অক্টোবর আসবে।
লঞ্চের এক দিন পর AWS জানিয়েছে যে Nemotron 3.5 Super VL এখন Amazon SageMaker JumpStart থেকে পাওয়া যাচ্ছে। AWS বিজ্ঞপ্তি অনুসারে, মডেলটি 12 বিলিয়ন সক্রিয় প্যারামিটারসহ একটি হাইব্রিড মিক্সচার-অব-এক্সপার্টস (MoE) ল্যাঙ্গুয়েজ ব্যাকবোন এবং একটি ভিশন এনকোডার ব্যবহার করে, ইনপুট হিসেবে ছবি, ভিডিও ও টেক্সট গ্রহণ করে, টেক্সট আউটপুট দেয় এবং 1 মিলিয়ন টোকেন পর্যন্ত কনটেক্সট দৈর্ঘ্য সমর্থন করে। AWS আরও বর্ণনা করেছে স্পেকুলেটিভ ডিকোডিংয়ের জন্য একটি অন্তর্নির্মিত মাল্টি-টোকেন প্রেডিকশন হেড, প্রতিটি অনুরোধে চালু বা বন্ধ করা যায় এমন রিজনিং, দশটি ভাষার সমর্থন, স্ট্রাকচার্ড JSON আউটপুট এবং টুল কলিং। SageMaker JumpStart দুটি ভ্যারিয়েন্ট দেয়: G7 ইনস্ট্যান্সে (RTX PRO 4500 Blackwell Server Edition GPU) ইনফারেন্সের জন্য তৈরি একটি NVFP4 বিল্ড, এবং ml.p5en.48xlarge ইনস্ট্যান্সে দেওয়া BF16 রেফারেন্স ওয়েট, যা ফাইন-টিউনিং, রিইনফোর্সমেন্ট লার্নিং, ডিস্টিলেশন ও ডোমেইন অ্যাডাপ্টেশনের জন্য। গ্রাহকেরা SageMaker কনসোলের JumpStart মডেল ক্যাটালগ থেকে বা SageMaker Python SDK ব্যবহার করে এটি ডিপ্লয় করতে পারেন।
Nvidia নিজে যে পারফরম্যান্স বিবৃতি দিয়েছে, তা উপলব্ধ সূত্রগুলোতে স্বাধীনভাবে যাচাই করা হয়নি। কোম্পানিটি বলছে, Super VL প্রায় এক-পঞ্চমাংশ প্যারামিটার সংখ্যায় তাদের বৃহত্তম রিজনিং মডেলের তুলনীয় নির্ভুলতায় পৌঁছায়, এবং Artificial Analysis Intelligence Index লিডারবোর্ডের থ্রুপুট উল্লেখ করে দাবি করছে যে এটি নিজের শ্রেণির পরবর্তী সেরা ওপেন এজেন্টিক মডেলের চেয়ে পাঁচ গুণ দ্রুত। Nvidia আরও বলছে, মডেলটি প্রায় 26 ট্রিলিয়ন ট্রেনিং টোকেন দেখেছে এবং এরপর প্রায় 3.8 মিলিয়ন স্যাম্পলে পোস্ট-ট্রেনিং করা হয়েছে, যার পরে কয়েক ডজন পরিবেশে রিইনফোর্সমেন্ট লার্নিং চালানো হয়েছে। ভিশন অংশটি নথি, ওয়েব পেজ ও PDF ফাইলে অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR), টেবিল, চার্ট ও স্ট্রাকচার্ড তথ্যকে লক্ষ্য করে, যাতে এজেন্টদের আলাদা টেক্সট ও ইমেজ সিস্টেমের মধ্যে হ্যান্ডঅফ করতে না হয়।
Nvidia বেশ কয়েকটি প্রতিষ্ঠানকে মডেলটি কাস্টমাইজ বা ইন্টিগ্রেট করছে বলে তালিকাভুক্ত করেছে, যার মধ্যে রয়েছে Jira ও Confluence জুড়ে এজেন্টিক সার্চের জন্য Atlassian, এন্টারপ্রাইজ সিকিউরিটি ব্লু টিমিংয়ের (প্রতিরক্ষামূলক নিরাপত্তা) জন্য CrowdStrike, সার্চ ও এজেন্টিক কাজের জন্য Perplexity, Missionforce Operations ব্যবহার করে সরকারি ওয়ার্কফ্লো অটোমেশনের জন্য Salesforce, এবং Scale AI, যারা Nvidia অনুসারে Skydance ও EY প্রতিষ্ঠানে অর্থ ও ডিউ ডিলিজেন্স এজেন্টের জন্য মডেলটিকে পোস্ট-ট্রেন করেছে। ছোট Bolt 74B-A9B 24GB মডেলটি, Nvidia অনুসারে, RTX ও DGX Spark সিস্টেমে স্থানীয় এজেন্টিক কাজ চালানোর জন্য ডিজাইন করা হয়েছে, যেখানে 24GB মেমোরির মধ্যে আঁটে এমন নেটিভ 2-বিট কোয়ান্টাইজেশন ব্যবহৃত হয় এবং llama.cpp, Ollama, LM Studio, Unsloth ও vLLM সমর্থিত। Nvidia বলছে, Bolt E4B 4GB GeForce RTX, Jetson এবং RTX/DGX Spark হার্ডওয়্যারে কথোপকথনমূলক ও ফিজিক্যাল এজেন্টের জন্য তৈরি।
কেন গুরুত্বপূর্ণ
ওপেন ওয়েট, ট্রেনিং রেসিপি ও ডেটাসেট এন্টারপ্রাইজগুলোকে নিজেদের অবকাঠামোয় একটি মাল্টিমোডাল এজেন্ট মডেল ফাইন-টিউন ও হোস্ট করার পথ দেয়, আর SageMaker JumpStart তালিকাভুক্তি AWS প্ল্যাটফর্মে এটি পরীক্ষা করে দেখার বাধা কমায়। নামোল্লেখ করা ইন্টিগ্রেটররা প্রাথমিক বাণিজ্যিক গ্রহণের ইঙ্গিত দেয়, তবে গতি ও নির্ভুলতার পরিসংখ্যান কেবল Nvidia থেকেই এসেছে এবং স্বাধীন পরীক্ষা পাওয়া না যাওয়া পর্যন্ত সেগুলোকে ভেন্ডরের দাবি হিসেবেই পড়া উচিত।
সময়রেখা
· প্রকাশিত
বিষয়#Nvidia#Nemotron#ওপেন মডেল#ভিশন-ল্যাঙ্গুয়েজ মডেল#AWS SageMaker#AI এজেন্ট
উৎস
এই খবরটি নিচের সূত্রগুলোর ওপর ভিত্তি করে লেখা। পূর্ণ প্রেক্ষাপটের জন্য সেগুলো পড়ুন।
