Ein ehemaliges Forschungsprojekt der UC Berkeley wird in Rekordzeit zum Milliardenunternehmen.
LMArena gab am Dienstag eine Series-A-Finanzierung in Höhe von 150 Millionen US-Dollar zu einer Bewertung von 1,7 Milliarden US-Dollar (Post-Money) bekannt – nur vier Monate, nachdem das Unternehmen sein erstes kommerzielles Produkt im September gestartet hat.
Die Runde führten Felicis und UC Investments, der Investmentfonds der University of California, an. Beteiligt waren außerdem Andreessen Horowitz, The House Fund, LDVP, Kleiner Perkins, Lightspeed Venture Partners und Laude Ventures.
Bereits im Mai hatte LMArena eine Seed-Runde über 100 Millionen US-Dollar zu einer Bewertung von 600 Millionen US-Dollar abgeschlossen. Damit summiert sich das eingeworbene Kapital in rund sieben Monaten auf 250 Millionen US-Dollar.
Von Chatbot Arena zu LMArena
LMArena begann 2023 als Chatbot Arena, ein offenes Forschungsprojekt der UC-Berkeley-Forscher Anastasios Angelopoulos und Wei-Lin Chiang. Finanziert wurde es anfangs über Fördergelder und Spenden.
Der Kern: von der Crowd getriebene Performance-Ranglisten für KI-Modelle.
Auf der öffentlichen Website geben Nutzerinnen und Nutzer eine Eingabe ein, die LMArena parallel an zwei Modelle weiterleitet. Anschließend wählen sie, welche Antwort besser ist. Aus Millionen dieser Duelle entstehen Leaderboards, die Modelle in Aufgaben wie Textgenerierung, Webentwicklung, Vision, Text-zu-Bild und weiteren Kategorien einordnen.
Nach Angaben des Unternehmens nutzen inzwischen mehr als 5 Millionen Menschen aus 150 Ländern die Plattform monatlich; dabei entstehen rund 60 Millionen Konversationen pro Monat. Für viele Modellanbieter wurden diese Ranglisten schnell zu einem Fixpunkt.
Getestet werden unterschiedliche Varianten von OpenAI GPT, Google Gemini, Anthropic Claude und Grok, außerdem spezialisierte Modelle etwa für Bildgenerierung, Text-zu-Bild oder logisches Schlussfolgern.
Monetarisierung der Benchmarks
Nachdem sich LMArena als neutrale Vergleichsbasis etabliert hatte, ging das Team den nächsten Schritt und arbeitete enger mit einzelnen Modellanbietern zusammen. Mit OpenAI, Google und Anthropic wurden Partnerschaften geschlossen, um deren Flaggschiff-Modelle der Community für Bewertungen bereitzustellen.
Das blieb nicht ohne Kritik: Im April veröffentlichte eine Gruppe von Wettbewerbern ein Paper, in dem sie behauptete, diese Kooperationen ermöglichten es den Partnern, die Benchmarks von LMArena zu "manipulieren". LMArena weist diese Vorwürfe entschieden zurück.
Das Geschäftsmodell hat der Streit bislang nicht gebremst.
Im September brachte LMArena seinen kommerziellen Dienst AI Evaluations offiziell auf den Markt. Zielgruppe sind Unternehmen, Modellentwicklungs-Labore und Entwicklerinnen und Entwickler, die das Unternehmen beauftragen können, strukturierte Modellbewertungen mit Hilfe der Community durchzuführen.
Bis Dezember – also weniger als vier Monate nach dem Launch – erreichte dieses Angebot laut LMArena eine annualisierte "Consumption Rate" von 30 Millionen US-Dollar; das Unternehmen verwendet diese Kennzahl als Entsprechung zu Annual Recurring Revenue (ARR).
Diese Wachstumskurve, kombiniert mit der starken Verankerung in der globalen KI-Szene, erklärt, warum sich eine Reihe prominenter Venture-Capital-Fonds an der Series A beteiligt haben.
Bedeutung für den KI-Markt
Mit der wachsenden Zahl von KI-Modellen wird die Frage "Welches Modell ist für meinen Anwendungsfall wirklich besser?" immer schwieriger zu beantworten. Klassische Benchmarks und synthetische Tests liefern nur einen Teil der Wahrheit.
LMArena setzt darauf, dass großskalige, menschenbasierte Vergleiche zu einer zentralen Infrastruktur im KI-Stack werden – ähnlich wie Browser-Benchmarks oder Cloud-Performance-Tests frühere Technologiezyklen geprägt haben.
Für Unternehmen im deutschsprachigen Raum, die eigene Modelle entwickeln oder KI-Lösungen einkaufen, könnte eine unabhängige Bewertungsinstanz wie LMArena zu einem wichtigen Referenzpunkt werden, um Marketingversprechen von tatsächlicher Performance zu trennen.
