Naslov in uvod
AI infrastruktura je od zunaj videti kot redka dobrina, v notranjosti večine grozdov pa velja obratno: GPU-ji mirujejo, strežniki so prekomerno zakupljeni, denar pa potiho izgoreva pri vsakem klicu inferenc. Sveži krog v višini 130 milijonov dolarjev za ScaleOps je jasen signal, da vlagatelji glavni ozki grlo AI ne vidijo več v strojni opremi, temveč v tem, kako jo upravljamo.
V nadaljevanju ne bomo ponavljali novice, temveč analizirali, zakaj je "avtonomna infrastruktura" nenadoma vroča tema, kaj to pomeni za ekipe DevOps in ponudnike oblaka, kako se navezuje na FinOps in učinkovitost AI ter zakaj bi morala evropska – in slovenska – podjetja to pozorno spremljati.
Novica na kratko
Po poročanju TechCruncha je podjetje ScaleOps, s sedežem v New Yorku in koreninami v Izraelu, zbralo 130 milijonov dolarjev v krogu Series C pri vrednotenju 800 milijonov dolarjev. Podjetje razvija programsko opremo, ki samodejno upravlja porazdelitev računske moči za AI in druge oblačne delovne obremenitve na Kubernetesu.
Krog vodi sklad Insight Partners, sodelujejo pa tudi obstoječi vlagatelji, med njimi Lightspeed Venture Partners, NFX, Glilot Capital Partners in Picture Capital. ScaleOps, ki ga je leta 2022 soustanovil Yodar Shafrir (prej pri Run:ai, ki ga je kasneje prevzel Nvidia), trdi, da z dinamičnim upravljanjem procesorjev, pomnilnika, shrambe in omrežja lahko zmanjša stroške infrastrukture v oblaku in AI za do 80 %.
Podjetje se pozicionira kot popolnoma avtonomna rešitev za produkcijska okolja, ne zgolj kot orodje za vpogled v porabo. Med strankami so po navedbah TechCruncha večja podjetja, kot so Adobe, Wiz, DocuSign, Salesforce in Coupa. ScaleOps poroča o več kot 450-odstotni letni rasti in trikratnem povečanju ekipe v zadnjem letu, pri čemer načrtuje, da se bo z novim kapitalom do konca leta še enkrat potrojila.
Zakaj je to pomembno
ScaleOps ne cilja na še en grafični preglednik stroškov, temveč na strukturni problem današnje AI infrastrukture: človeški faktor je še vedno v središču odločanja za sisteme, ki se spreminjajo hitreje, kot lahko realno sledi katera koli ekipa SRE ali DevOps.
Večina resnih podjetij zdaj poganja mešanico učnih opravil, serijske analitike in nizko-latenčnih AI inferenc na Kubernetesu. Kubernetes je izjemno zmogljiv, a temeljito statičen: enkrat nastavljeni viri, limiti in pravila autoscalinga pogosto ostanejo nespremenjeni mesece. Vmes pa se aplikacije in modeli spreminjajo – promet niha, modeli se posodabljajo, funkcionalnosti se dodajajo.
Rezultat je kronična prekomerna rezervacija virov “za vsak primer” ter skrite težave z zmogljivostjo, ko se te ocene izkažejo za napačne.
Kdo ima od tega koristi?
- Finančni oddelki in FinOps dobijo vzvod, ki hkrati znižuje stroške in tveganje, namesto da bi žrtvovali eno za drugo.
- Ekipe DevOps / platform engineering se lahko osvobodijo dela, ki ga nihče ne mara – ročnega prilagajanja zmogljivosti, lovljenja “noisy neighbour” težav, finega nastavljanja grozdov.
- AI ekipe pa dobijo bolj predvidljivo delovanje brez globokega znanja o Kubernetesu.
Kdo lahko izgubi? Na kratek rok bi hiperskali (AWS, Azure, Google Cloud) lahko videli manj “zapravljive” porabe na delovno obremenitev. A zgodovina kaže, da ko infrastrukturo pocenite in poenostavite, se običajno poveča skupno število projektov.
Bolj neposredno to ogroža orodja, ki ostanejo pri goli opazljivosti brez akcije. Če lahko CIO kupi “avtopilota”, ki sam optimizira grozde, bodo sami grafi stroškov in opozorila začeli delovati nepopolno.
Širša slika
ScaleOps deluje na stičišču več večletnih trendov.
Prvič, FinOps je postal tema uprav in nadzornih svetov. Podjetja so v zadnjih letih na javne oblake obesila sloje nadzornih plošč in poročil. To je rešilo transparentnost, ne pa ukrepanja. Logičen naslednji korak so algoritmi, ki sami pravočasno prilagajajo velikost grozdov, vire podov in njihovo umestitev.
Drugič, AI infrastruktura se konsolidira okoli Kubernetesa. Tudi ko se učenje modelov izvaja na specializiranih platformah, infrastuktura okoli njih (API-ji, podatkovne baze, vektorski indeksi) vse pogosteje teče na K8s. To ustvarja univerzalno “kontrolno ravnino”, kjer lahko optimizator, kot je ScaleOps, deluje enkrat in prinese vrednost v zelo različnih scenarijih.
Tretjič, vidimo premik od ročnega SRE dela k AIOps in “samovozeči” infrastrukturi. Podatkovne baze so se že pred desetletji premaknile od ročnega pisanja izvrševalnih načrtov do naprednih optimizatorjev, omrež protokoli so se naučili dinamično obvladovati zastoje. Logično je, da bo nekaj podobnega doletelo tudi razporejanje računske moči.
Konkurenčno je prostor že precej zaseden: Cast AI, Kubecost, Spot in drugi napadajo problem od različnih zornih kotov – od pravih velikosti vozlišč do stroškovne analitike in izkoriščanja “spot” instanc. Vendar večina teh orodij še vedno predpostavlja veliko ročnega dela in pogosto ni zasnovana kot popolnoma avtonomna rešitev za najbolj kritična produkcijska okolja.
ScaleOps stavi, da bo zmagovalni produkt videti bolj kot avtopilot kot pa nadzorna plošča: kontekstno zavedno orodje, privzeto vključeno, ki mu ekipe dovolj zaupajo, da se dotika najbolj občutljivih grozdov. To je visok standard. Zaupanje je v infrastrukturi najtežje prislužiti; en napačen “optimizacijski” premik, ki povzroči izpad, lahko izbriše mesece prodajnega dela.
Kljub temu je smer jasna: kompleksnost AI infrastrukture prehiteva človeške zmogljivosti. Ali bomo avtomatizirali več odločitev, ali pa sprejeli vse višje stroške in krhkost sistemov.
Evropski in slovenski kot
Za evropska podjetja učinkovitost AI infrastrukture ni le stroškovno, temveč tudi regulativno in strateško vprašanje.
Prvič, tu je energija in trajnost. V državah, kot so Irska, Nizozemska in Nemčija, podatkovni centri že danes porabijo občuten delež elektrike, političen pritisk pa raste. Evropska zakonodaja – od zelenega dogovora do CSRD – od velikih podjetij zahteva podrobno poročanje o vplivu digitalne infrastrukture. Orodje, ki lahko pokaže 30–80 % boljšo izkoriščenost GPU-jev in CPU-jev, hitro postane tudi argument pred regulatorji in investitorji.
Drugič, AI Act, GDPR, DSA in DMA znižujejo manevrski prostor velikih platform – vsak novi obvezni proces (ocena tveganj, nadzor kakovosti podatkov, transparentnost modelov) pomeni dodatne stroške. Pri enakem proračunu se bo pritisk na optimizacijo infrastrukture še okrepil.
Tretjič, Evropa gradi lastno oblačno suverenost: francoski OVHcloud, nemški in avstrijski ponudniki, slovenski SI-Cloud in različni državni “suvereni oblaki” v regiji. Skoraj vsi temeljijo na Kubernetesu. Neodvisna optimizacijska plast, ki ni vezana na enega hiperskala, zato zveni zelo privlačno tudi za javni sektor.
Za Slovenijo je zanimivo še nekaj: domača podjetja in javne institucije so pogosto premajhne, da bi si privoščile velike ekipe SRE, a hkrati vse bolj posegajo po AI (npr. v bankah, zavarovalnicah, logistiki). Avtonomno orodje za optimizacijo Kubernetes grozdov se zato dolgoročno bolje sklada z realnostjo trga kot model “najemite še pet DevOps in FinOps strokovnjakov”.
Pogled naprej
Ključno vprašanje ni, ali bo prišlo do več avtomatizacije v infrastrukturi – to se že dogaja – temveč, kdo bo nadzoroval “možgane” nad Kubernetesom.
V naslednjih treh do petih letih lahko pričakujemo več front:
- Tehnična širitev: od prilagajanja virov znotraj grozdov k odločanju o geografiji, multi-cloud arhitekturah in celo izbiri, ali bo delovna obremenitev tekla v oblaku ali on-prem, glede na ceno, latenco in celo ogljični odtis.
- Konsolidacija trga: velike platforme (hiperskali, veliki ponudniki opazljivosti, morda tudi proizvajalci GPU-jev) bodo želeli to logiko vgraditi neposredno v svoje ekosisteme – kar lahko pomeni val prevzemov, tudi ScaleOpsa.
- Regulativna pričakovanja: ko regulatorji že danes zahtevajo sledljivost odločitev modelov, se lahko čez čas odpre vprašanje sledljivosti tudi za avtomatizirane infrastrukturne odločitve, če te vplivajo na razpoložljivost kritičnih storitev.
Za slovenska podjetja bo zanimivo spremljati, ali bo ScaleOps – ali kdo od tekmecev – vzpostavil resno prisotnost v regiji: lokalne partnerje, podporo, morda celo razvojne ekipe v Ljubljani ali sosednji Avstriji. Brez tega bo zaupanja težko zgraditi.
Največje tveganje ostaja kriza zaupanja po kakšnem odmevnem izpadu sistema, ki ga je sprožila napačna optimizacija. Največja priložnost pa je postati standardna plast, ki omogoča, da lahko ekipe v miru razvijajo modele, medtem ko se infrastruktura sama prilagaja.
Spodnja črta
Krog v višini 130 milijonov dolarjev za ScaleOps kaže, da se AI mrzlica trezni: od “kupimo še več GPU-jev” gremo k “izkoristimo, kar že imamo”. Avtonomno upravljanje Kubernetes infrastrukture bo v nekaj letih verjetno postalo osnovni pogoj za resno produkcijo AI, ne več eksotika. Pravo vprašanje je, ali bodo evropska – in slovenska – podjetja to plast obravnavala kot strateško kompetenco ali le še en oblačni strošek.
