جوجل تطلق Gemini Embedding 2: متجهات متعددة الوسائط

لقد أطلقت جوجل للتو Gemini Embedding 2، وهو أول نموذج تضمين متعدد الوسائط أصليًا. متاح الآن في معاينة عامة على Vertex AI وواجهة برمجة تطبيقات Gemini. هذا الشيء ينتج متجهات بـ3072 بعدًا من النصوص والصور والوثائق والصوت وحتى الفيديو. انظروا، التضمينات كانت ملعبًا خاصًا بالنصوص لفترة طويلة جدًا. Gemini Embedding 2 يوحد كل شيء في فضاء متجه واحد. الاختبارات الأولية؟ إنه يتفوق على النماذج السابقة في مهام الاسترجاع عبر الوسائط، وفقًا لـإعلان جوجل. لقد جربت أدوات مشابهة. هذا يبدو خطوة حقيقية إلى الأمام. يحصل المطورون على بحث دلالي يفهم مقاطع الفيديو إلى جانب استفسارات النصوص. لا مزيد من الوسائط المعزولة.

سيطرت تضمينات النصوص على الساحة — فكر في ada-002 من OpenAI أو إصدارات Gemini القديمة. قوية للكلمات. عديمة الفائدة لعروض فيديو أو مسارات صوتية. Gemini Embedding 2 يغير ذلك. متعدد الوسائط من الأساس. يتصدر لوحات MTEB في الاسترجاع عبر الوسائط، كما هو مفصل في وثائق Vertex AI. الشيء هنا: نماذج الوسيطة الواحدة تفرض حيلًا. ربط المتجهات يدويًا؟ كابوس. هذا يوحد الأمر. التويست — ليس مجرد أفضل؛ إنه أساسي لسير العمل لأي شيء أبعد من الروبوتات الدردشة العادية. لن أكذب — توقعت تحسينات تدريجية. لا. اختبارات عبر الوسائط تظهر قفزات في الدقة.

يأتي Gemini Embedding 2 في الوقت المثالي. يحصل الاسترجاع المعزز بالتوليد (RAG) على دفعة متعددة الوسائط. تخيل سحب مراجع فيديو أو إشارات صوتية إلى مطالباتك. بالنسبة لأدوات الصور والفيديو، هذا يعني تهيئة أذكى. مطابقات أفضل بين استفسارات المستخدمين وبيانات التدريب. مبدعون يضمّنون مقاطع NSFW أو مراجع أنماط؟ اللعبة مفتوحة. التقدم في التضمينات متعددة الوسائط مثل Gemini Embedding 2 يُشغل بالفعل إنشاء محتوى NSFW، يدمج النصوص والصور والصوت لنتائج حية. نصيحة: ابدأ بسيطًا. ضع إطار فيديو ووصف نصي معًا. استعلم عن قاعدة بياناتك. شاهد الصلة ترتفع إلى السماء. لكن هل يتوسع؟ العلامات الأولى تقول نعم — إذا قسمت المدخلات بشكل صحيح. رأي ساخن: RAG النصوص فقط ميت. متعدد الوسائط هو المستقبل. جادل معي.