Google стартира Gemini Embedding 2: Мултимодални вектори

Google току-що стартира Gemini Embedding 2, първия си нативно мултимодален модел за ембединги. Наличен сега в публична предварителна версия в Vertex AI и Gemini API. Този инструмент генерира 3072-мерни вектори от текст, изображения, документи, аудио и дори видео. Вижте, ембедингите са били само текстови игрища твърде дълго. Gemini Embedding 2 обединява всичко в едно векторно пространство. Ранни бенчмаркове? Той надминава предишните модели в задачи за крос-модално извличане, според обявлението на Google. Аз съм тествал подобни инструменти. Това изглежда като реален напредък. Разработчиците получават семантично търсене, което наистина разбира видео клипове заедно с текстови заявки. Няма повече изолирани модалности.

Текстови ембединги са управлявали пазара — мисlete за ada-002 на OpenAI или по-стари варианти на Gemini. Солидни за думи. Безполезни за видео демонстрация или аудио трака. Gemini Embedding 2 променя това. Мултимодален от основата. Той води в класациите на MTEB за крос-модално извличане, както е подробно в документацията на Vertex AI. Ето какво: моделите с една модалност изискват изкуствени решения. Ръчно сливане на вектори? Мъка. Това го обединява. Изненада — не е само по-добър; той е задължителен за работни потоци отвъд обикновените чатботове. Да си призная — очаквах постепенно подобрение. Не. Крос-модалните бенчмаркове показват скок в точността.

Gemini Embedding 2 идва в идеалния момент. Retrieval-augmented generation (RAG) получава мултимодален тласък. Представете си извличане на видео референции или аудио сигнали в вашите промпти. За инструменти за изображения и видео това значи по-умно обусловяване. По-добри съвпадения между потребителски заявки и обучителни данни. Създатели, които ембедират NSFW клипове или стилови референции? Играта започва. Напредъкът в мултимодалните ембединги като Gemini Embedding 2 вече захранва създаването на NSFW съдържание, слейки текст, изображения и аудио за реалистични резултати. Съвет: Започнете просто. Ембедирайте видео кадар и текстово описание заедно. Търсете в базата си данни. Вижте как релевантността скочи. Но мащабира ли се? Ранните признаци казват да — ако нарязвате входовете правилно. Гореща оценка: Текстовото RAG е мъртво. Мултимодалното е бъдещето. Спорете ми.