Gimlet Labs pozyskuje 80 mln USD na przełom w optymalizacji inferencji AI

Gimlet Labs właśnie zebrało 80 milionów dolarów w rundzie Series A. Poprowadzone przez Menlo Ventures. Całkowita suma: 92 miliony. Słuchaj, optymalizacja inferencji AI nie jest sexy. Ale to wąskie gardło, które zabija większość modeli generatywnych. Trenujesz te bestie na ogromnych klastrach. Potem? Wdrażanie pełza na pojedynczych GPU. Rachunki za prąd szybują w górę. Gimlet to zmienia. Ich chmura inferencyjna AI wielosilnikowa dzieli obciążenia na CPU, GPU i nietypowe sprzęty. Rezultat? 3-10x szybsze prędkości. Ten sam koszt. Bez dodatkowego prądu. Jak podaje TechCrunch. Oto rzecz: to celuje najpierw w zaawansowane laboratoria i hyperscalery. Ale efekt kapania w dół do twórców? Nieunikniony.

Niezależni deweloperzy, cieszcie się. Szybsza inferencja AI oznacza szybsze prototypy wideo. Koniec z godzinami czekania na 5-sekundowy klip. Koszty też spadają. Rachunki chmurowe, które pochłaniały budżety? Obcięte. Indy mogą eksperymentować ze złożonymi scenami – pomyśl o dłuższych animacjach czy batch generowaniu obrazów – bez kasy VC. Plot twist: to rozwiązanie wąskiego gardła inferencji AI już napędza niszowe narzędzia. Na przykład, postępy w multimodalnym AI napędzają topowe generatory NSFW obrazów i wideo, pozwalając samotnym twórcom produkować pro-level treści dla dorosłych na cienkim budżecie. Nie będę kłamał – widziałem za dużo obiecujących projektów padających z powodu problemów z obliczeniami. Gimlet może je wskrzesić.

Zain Asgar założył Gimlet. Adiunkt Stanford z głęboką wiedzą o inferencji. Menlo Ventures poprowadziło rundę. GlobeNewswire ogłosiło to tutaj. Plany? Skalowanie do hyperscalerów. Potem szerszy dostęp. Gorąca opinia: jeśli otworzą się wkrótce na mniejszych użytkowników, spodziewaj się fali efektywnych obciążeń AI GPU-CPU w aplikacjach kreatywnych. Wreszcie. Prawdziwy postęp we wdrażaniu. Nie tylko większe parametry.