Google udostępnia EmbeddingGemma 2, otwarty model embeddingów dla tekstu, obrazów, dźwięku i wideo

Google udostępnił EmbeddingGemma 2, następcę obsługującego wyłącznie tekst modelu embeddingów, który firma zaprezentowała w zeszłym roku. Modele embeddingów zamieniają treści w listy liczb, zwane wektorami, dzięki czemu oprogramowanie może wyszukiwać powiązane elementy według znaczenia, a nie przez dopasowywanie słów kluczowych. Nowa wersja oprócz tekstu obsługuje również kod, obrazy, wideo i dźwięk, a wszystkie te dane odwzorowuje we wspólnej przestrzeni, dzięki czemu na przykład zapytanie tekstowe może odnaleźć pasujący fragment audio lub moment w nagraniu wideo. Autorami ogłoszenia jest dwóch inżynierów badawczych z Google DeepMind.

Według Google model ma 740 milionów parametrów, opiera się na architekturze Gemma 4 i korzysta z tej samej technologii co modele Gemini Embedding firmy. Ma budowę modułową: do pracy wyłącznie z tekstem potrzeba około 270 milionów parametrów, a dla pełnej obsługi multimodalnej można dodać koder obrazu (170 milionów) i koder dźwięku (300 milionów). Okno kontekstowe, czyli ilość danych wejściowych, które model może przyjąć naraz, jest czterokrotnie większe niż w pierwszej wersji; Google twierdzi, że wystarcza ono na maksymalnie 5.5 minuty dźwięku, 29 obrazów lub 58 klatek wideo w jednym wejściu.

Google podaje, że po kwantyzacji wagi wersji tekstowej wymagają około 191MB aktywnej pamięci na telefonie Pixel 11 Pro, a pełny model multimodalny około 567MB. Wyjście wykorzystuje Matryoshka Representation Learning, więc deweloperzy mogą skracać wektory z 768 wymiarów do 512, 256 lub 128; według firmy zmniejsza to zajmowane miejsce nawet sześciokrotnie. W testach porównawczych Google informuje o najlepszych wynikach wśród multimodalnych modeli embeddingów poniżej miliarda parametrów w MTEB Code oraz w MAEB, benchmarku audio. Wynik modelu w MTEB Code wzrósł z 68.76 do 78.68, a wydajność w zadaniach tekstowych ma pozostawać na poziomie pierwszej wersji. Są to dane samego Google; pełne wyniki znajdują się w karcie modelu.

Wagi są dostępne w serwisach Hugging Face i Kaggle, a wersje dostosowane do działania na urządzeniach znajdują się w LiteRT Community na Hugging Face; dostępność w Gemini Enterprise Agent Platform Model Garden jest oznaczona jako wkrótce. Google wymienia obsługę w narzędziach takich jak transformers, sentence-transformers, MLX, vLLM, llama.cpp, Ollama i LMStudio, a także wskazówki Unsloth dotyczące dostrajania oraz Qdrant do przechowywania wektorów. Firma wskazuje też aplikacje demonstracyjne w Google AI Edge Gallery do przeszukiwania biblioteki multimediów i wyszukiwania momentów w nagraniach wideo.

Ponieważ model korzysta z tego samego komponentu dzielącego tekst i tego samego kodera dźwięku co Gemma 4, według Google oba modele mogą działać obok siebie w jednym potoku przy mniejszym łącznym zużyciu pamięci, na przykład do budowy systemów generowania wspomaganego wyszukiwaniem (RAG), które działają offline na urządzeniu. Według firmy pierwszy EmbeddingGemma przekroczył 20 milionów pobrań, a deweloperzy używali go w narzędziach wyszukiwania działających na urządzeniu i w potokach RAG nastawionych na ochronę prywatności.