Google Melancarkan Gemini Embedding 2: Vektor Multimodal

Google baru sahaja melancarkan Gemini Embedding 2, model embedding multimodal pertama yang asli. Kini tersedia dalam pratinjau awam pada Vertex AI dan Gemini API. Benda ini menghasilkan vektor 3072-dimensi daripada teks, imej, dokumen, audio, dan bahkan video. Dengar, embedding selama ini hanya untuk teks sahaja terlalu lama. Gemini Embedding 2 menyatukan semuanya dalam satu ruang vektor. Benchmark awal? Ia mengalahkan model sebelumnya dalam tugas pengambilan cross-modal, mengikut Pengumuman Google. Saya dah cuba alat serupa. Ini rasa seperti langkah besar. Pembangun dapat carian semantik yang benar-benar faham klip video bersama pertanyaan teks. Tiada lagi modaliti terpisah.

Embedding teks pernah mendominasi — fikir OpenAI's ada-002 atau varian Gemini lama. Bagus untuk perkataan. Tidak berguna untuk demo video atau trek audio. Gemini Embedding 2 mengubah itu. Multimodal dari asasnya. Ia menduduki puncak papan penentu MTEB dalam pengambilan cross-modal, seperti yang terperinci dalam Dokumentasi Vertex AI. Inilah pokoknya: model satu-modaliti memaksa hack. Jahit vektor secara manual? Neraka. Ini menyatukannya. Plot twist — ia bukan sahaja lebih baik; ia penting untuk aliran kerja di luar chatbot biasa. Jujur — saya jangkakan peningkatan kecil. Tidak. Benchmark cross-modal menunjukkan lompatan ketepatan.

Gemini Embedding 2 tiba pada masa yang tepat. Pengambilan-augmented generation (RAG) mendapat dorongan multimodal. Bayangkan menarik rujukan video atau petunjuk audio ke dalam prompt anda. Untuk alat imej dan video, ini bermakna pengkondisian lebih pintar. Padanan lebih baik antara pertanyaan pengguna dan data latihan. Pencipta yang embedding klip NSFW atau rujukan gaya? Bermula sekarang. Kemajuan dalam embedding multimodal seperti Gemini Embedding 2 sudah memberi kuasa penciptaan kandungan NSFW, menggabungkan teks, imej, dan audio untuk hasil lifelike. Petua: Mulakan ringkas. Embedding bingkai video dan keterangan teks bersama. Cari pangkalan data anda. Saksikan relevansi melonjak. Tapi adakah ia boleh skala? Tanda awal kata ya — jika anda potong input betul. Pendapat panas: RAG teks sahaja sudah mati. Multimodal adalah masa depan. Bantahlah saya.