Актуализацията Gemma 4 носи 3x ускорение на скоростта за Open AI модели

Към 7 май 2026 г. Google пусна Multi-Token Prediction drafters за своите отворени модели Gemma 4. Актуализацията въвежда спекулативно декодиране, което позволява на системата да предсказва няколко бъдещи токена паралелно, намалявайки времето за генериране до три пъти на потребителски хардуер. Качеството на изхода остава по същество непроменено във всичките четири размера на модела, вече оптимизирани за edge deployment. Разработчиците могат да изтеглят обновените тегла директно от официалните канали на Google. Тази стъпка цели точно болната точка, за която локалните потребители се оплакват: бавна итерация при работа с мултимодални модели офлайн.

Практическата полза се проявява веднага при прототипиране. Вместо да чакат минути за всяка вариация на prompt-а, създателите вече могат да преминават през подобрения на изображения и видео за секунди на прилична GPU. Сметките за облачни услуги намаляват, защото по-малко runs трябва да напускат машината. Експериментирането става по-малко предпазливо – опитайте странна композиция, отхвърлете я, променете prompt-а, повторете. Честно казано, след като сами пуснах няколко десетки тестови генерации, разликата се усеща по-голяма, отколкото показват суровите числа. Превръща това, което преди беше съзнателен, почти церемониален процес, в нещо по-близко до скициране.

В сравнение с предишното семейство Gemma 3, новите MTP версии показват постоянни 2.5–3x печалби в throughput при идентични резултати за качество. В сравнение с Llama и Mistral чекпойнтове с подобен размер, ранните тестове от общността поставят Gemma 4 напред по токени в секунда, като същевременно се равнява или превъзхожда по стандартни мултимодални бенчмаркове. Предимството е най-забележимо на средно ниво хардуер, а не на топ-енд клъстери – точно там, където работят повечето независими създатели. Ще бъда откровен: това не са само лабораторни числа. Моят напълно ненаучен тест от един човек показва, че заявеното подобрение се запазва в ежедневната употреба.

Подобренията в скоростта като това се натрупват в цялата генеративна екосистема. Когато локалната инференция престане да бъде пречка, повече хора могат да си позволят експерименти, които преди изискваха скъпи облачни кредити или дълги опашки. Именно този ефект на демократизация наистина движи областта напред. Същите печалби в ефективността, които правят Gemma 4 привлекателна за ежедневно прототипиране, понижават и бариерата за специализирани fine-tunes и приложения в реално време. Накратко, open-source страната току-що стана значително по-конкурентоспособна и всеки, който гради върху тези основи, печели.