Od sveučilišnog eksperimenta do gotovo jednoroga brzinom kakvu rijetko viđamo i u Silicijskoj dolini.
LMArena, spin-off s UC Berkeleyja, objavila je u utorak da je podigla 150 milijuna dolara u rundi serije A uz post-money vrednovanje od 1,7 milijardi dolara. Komercijalni proizvod javno su lansirali tek u rujnu.
Rundu su vodili Felicis i UC Investments, investicijski fond Sveučilišta Kalifornija. Sudjelovali su i Andreessen Horowitz, The House Fund, LDVP, Kleiner Perkins, Lightspeed Venture Partners i Laude Ventures.
Već u svibnju LMArena je zatvorila seed rundu od 100 milijuna dolara na vrednovanju od 600 milijuna. Ukupno, startup je u oko sedam mjeseci prikupio 250 milijuna dolara.
Od Chatbot Arena do komercijalnog LMArena brenda
LMArena je krenula 2023. kao Chatbot Arena, otvoreni istraživački projekt istraživača s UC Berkeleyja Anastasiosa Angelopoulosa i Wei-Lina Chianga. U početku se financirala kroz grantove i donacije.
Koncept: crowdsourcani poredak AI modela.
Na javnoj stranici korisnik upiše upit, a platforma ga šalje dvama različitim modelima. Zatim korisnik bira koji je odgovor bolji. Ti dvoboji hrane javne ljestvice koje rangiraju modele u zadacima poput teksta, web developmenta, računalnog vida, tekst-u-sliku i drugih kategorija.
Prema podacima tvrtke, više od 5 milijuna korisnika mjesečno iz 150 zemalja generira oko 60 milijuna razgovora mjesečno. Za timove koji treniraju modele te su ljestvice postale svojevrsna opsesija.
LMArena uspoređuje širok spektar sustava, uključujući različite verzije OpenAI GPT, Google Gemini, Anthropic Claude i Grok, kao i specijalizirane modele za generiranje slika, pretvorbu teksta u sliku ili napredno zaključivanje.
Kako su benchmarke pretvorili u prihod
Nakon što je izgradila reputaciju neutralnog terena za mjerenje performansi, LMArena je počela blisko surađivati s pojedinim kompanijama. S OpenAI-jem, Googleom i Anthropicom dogovorila je da njihovi flagship modeli budu dostupni zajednici za evaluacije.
Tu počinju i kontroverze. U travnju je grupa konkurenata objavila rad u kojem tvrdi da ta partnerstva pomažu tim igračima da "igraju" LMArena benchmarke. Tvrtka te optužbe snažno negira.
Biznis, čini se, za sada ne pati.
U rujnu je LMArena javno lansirala svoj komercijalni servis AI Evaluations, namijenjen poduzećima, model laboratorijima i developerima. Klijenti plaćaju da LMArena kroz svoju zajednicu i infrastrukturu odradi strukturirane evaluacije modela.
Do prosinca – manje od četiri mjeseca nakon lansiranja – taj je proizvod dosegnuo ono što tvrtka naziva godišnjom "stopom potrošnje" od 30 milijuna dolara, vlastitu verziju metrike godišnjeg ponavljajućeg prihoda (ARR).
Što to znači za regionalnu AI scenu
Kako broj modela eksplodira, pitanje "koji je model stvarno bolji za moj use-case" postaje sve teže. Klasični benchmarki i sintetički testovi ne hvataju uvijek stvarno korisničko iskustvo.
LMArena računa da će masovne, ljudi-u-petlji usporedbe postati ključna infrastruktura AI stacka – slično kao što su benchmarki preglednika ili cloud performansi oblikovali prethodne tehnološke valove.
Za timove iz Hrvatske i šire regije koji rade na vlastitim modelima ili integriraju tuđe, platforme poput LMArene mogu postati mjesto gdje ćete svoje rješenje usporediti s OpenAI-jem, Googleom ili Anthropicom – i vidjeti kako vam presuđuje globalna zajednica naprednih korisnika.
