Google Ra Mắt Gemini Embedding 2: Vector Đa Phương Thức

Google vừa ra mắt Gemini Embedding 2, mô hình embedding đa phương thức gốc đầu tiên của họ. Hiện có sẵn ở giai đoạn xem trước công khai trên Vertex AI và Gemini API. Công cụ này tạo ra các vector 3072 chiều từ văn bản, hình ảnh, tài liệu, âm thanh, và thậm chí video. Nói thật, embedding từ lâu chỉ là sân chơi dành riêng cho văn bản. Gemini Embedding 2 thống nhất mọi thứ vào một không gian vector duy nhất. Các benchmark ban đầu? Nó vượt trội các mô hình trước trên nhiệm vụ truy xuất đa phương thức, theo Thông báo của Google. Tôi đã thử nghiệm các công cụ tương tự. Cái này thực sự là bước tiến lớn. Nhà phát triển có được tìm kiếm ngữ nghĩa thực sự hiểu các đoạn video cùng với truy vấn văn bản. Không còn các phương thức bị cô lập nữa.

Embedding văn bản từng thống trị — nghĩ đến ada-002 của OpenAI hoặc các biến thể Gemini cũ. Tốt cho từ ngữ. Vô dụng cho demo video hoặc track âm thanh. Gemini Embedding 2 thay đổi điều đó. Đa phương thức từ gốc rễ. Nó dẫn đầu bảng xếp hạng MTEB ở truy xuất đa phương thức, như chi tiết trong tài liệu Vertex AI. Điểm mấu chốt: mô hình đơn phương thức buộc phải hack. Ghép vector thủ công? Ác mộng. Cái này thống nhất tất cả. Bất ngờ — không chỉ tốt hơn; nó thiết yếu cho workflow vượt ngoài chatbot cơ bản. Thật lòng mà nói — tôi mong đợi cải tiến dần dần. Không phải. Benchmark đa phương thức cho thấy bước nhảy vọt về độ chính xác.

Gemini Embedding 2 ra mắt đúng lúc. Retrieval-augmented generation (RAG) được tăng cường đa phương thức. Hãy tưởng tượng kéo tham chiếu video hoặc gợi ý âm thanh vào prompt của bạn. Với công cụ hình ảnh và video, điều này nghĩa là conditioning thông minh hơn. Khớp tốt hơn giữa truy vấn người dùng và dữ liệu huấn luyện. Người sáng tạo embed clip NSFW hoặc tham chiếu phong cách? Sẵn sàng chiến. Các tiến bộ embedding đa phương thức như Gemini Embedding 2 đã hỗ trợ tạo nội dung NSFW, kết hợp văn bản, hình ảnh và âm thanh cho kết quả sống động. Mẹo: Bắt đầu đơn giản. Embed khung video và mô tả văn bản cùng nhau. Truy vấn cơ sở dữ liệu của bạn. Xem độ liên quan tăng vọt. Nhưng có scale không? Dấu hiệu ban đầu nói có — nếu bạn chunk input đúng cách. Ý kiến nóng: RAG chỉ văn bản đã chết. Đa phương thức là tương lai. Tranh luận đi.