Google запускает Gemini Embedding 2: Мультимодальные векторы

Google только что запустила Gemini Embedding 2, свою первую нативно мультимодальную модель эмбеддингов. Доступна сейчас в публичном превью на Vertex AI и Gemini API. Эта штука генерирует 3072-мерные векторы из текста, изображений, документов, аудио и даже видео. Слушайте, эмбеддинги слишком долго были песочницей только для текста. Gemini Embedding 2 объединяет всё в одно векторное пространство. Ранние бенчмарки? Она уделывает предыдущие модели в задачах кросс-модального поиска, согласно анонсу Google. Я ковырялся в похожих инструментах. Это ощущается как настоящий шаг вперёд. Разработчики получают семантический поиск, который реально понимает видеоклипы наряду с текстовыми запросами. Больше никаких изолированных модальностей.

Текстовые эмбеддинги правили бал — вспомните ada-002 от OpenAI или старые варианты Gemini. Отлично для слов. Бесполезны для видео-демо или аудиотрека. Gemini Embedding 2 меняет это. Мультимодальная с нуля. Она лидирует в MTEB-лидербордах по кросс-модальному поиску, как указано в документации Vertex AI. Суть в том: однородальные модели требуют хаков. Сшивать векторы вручную? Кошмар. Это объединяет всё. Неожиданный поворот — она не просто лучше; она необходима для рабочих процессов за пределами простых чатботов. Не буду врать — ждал постепенного улучшения. Нет. Бенчмарки по кросс-модальности показывают скачок точности.

Gemini Embedding 2 выходит в идеальное время. Retrieval-augmented generation (RAG) получает мультимодальный буст. Представьте: вытаскиваете видео-референсы или аудио-сигналы в промпты. Для инструментов с изображениями и видео это значит умное кондиционирование. Лучшее совпадение между запросами пользователей и данными обучения. Креаторы, эмбеддящие NSFW-клипы или рефы стилей? Полный отрыв. Прогресс в мультимодальных эмбеддингах вроде Gemini Embedding 2 уже используется для создания NSFW-контента, сочетая текст, изображения и аудио для реалистичных результатов. Совет: начните просто. Эмбедьте кадр видео и текстовое описание вместе. Запросите базу данных. Смотрите, как релевантность взлетает. А масштабируется ли? Ранние признаки — да, если правильно чанкить входы. Горячее мнение: текстовый RAG мёртв. Мультимодальный — будущее. Спорьте со мной.