Az üzemeltetési költségek kérdése

1. AI-modellek tanítása: miért olyan nehéz megbecsülni a költségeket?
2. Miért olyan magasak az AI költségei?
3. A GPT-4 betanításának költségei
4. Az AI energiaigényének jövőbeli alakulása

AI-modellek tanítása: miért olyan nehéz megbecsülni a költségeket?

Jelenleg meglehetősen nehéz megbecsülni, hogy a mesterséges intelligencia bevezetése milyen valós üzemeltetési igényekkel jár. Ennek első oka, hogy még mindig kísérleti fázisban vagyunk, ahol az alkalmazást inkább tesztelik, mintsem rutinszerű üzemeltetésről lenne szó. A második ok pedig az, hogy továbbra is rendkívül gyors fejlődés zajlik, amelyben hamarosan talán maga a mesterséges intelligencia is segédkezni fog.

Miért olyan magasak az AI költségei?

Az AI-cégek jelenlegi magas igényei az adatközpontok építéséhez kapcsolódnak, ahol egyetlen mai rendszer Nvidia H100-zal nagyjából 35 ezer dollárba kerül, de mivel a szállítási várakozási idő meghaladja a 11 hónapot, az egyes darabokat az eBay-en akár 45 ezer dollárért is eladják. A jelenlegi dominancia az Nvidia számára kétségkívül előnyös és rendkívül jövedelmező, de ha a mesterséges intelligencia igazán nagy léptékben indul be, sokkal több chipre lesz szükség – nemcsak nagyobb teljesítményűekre, hanem alacsonyabb teljesítményű, de lényegesen kisebb fogyasztású és magasabb számítási hatékonyságú chipekre is.

Jelenleg a mesterséges intelligenciához épített nagy számítási központok létrehozása a nagy felhőszolgáltatók – például a Microsoft Azure és az Amazon AWS – területe, amelyek számítási kapacitást adnak bérbe a modellek tanításával foglalkozó cégeknek. A mesterséges intelligencia modellek fejlesztésével foglalkozó jelenlegi startupok befektetői pénzből működnek, és abban bíznak, hogy értékes szellemi tulajdonra tesznek szert, ami növeli a cég értékét, és így térítik vissza a befektetők pénzét.

A GPT-4 tanításának költségei

A nagy modellek tanításának költségei jelentősen eltérnek. Sam Altman, az OpenAI vezetője elmondta, hogy a GPT-4 modell tanítása 100 millió dollárba került az OpenAI-nak. A fejlesztőcsapat költségei sem elhanyagolhatók: a hagyományos fejlesztőkön (software developer) kívül a mesterséges intelligenciára specializálódott cégeknek adatelemzőkre (data scientist) és gépi tanulási szakemberekre (machine learning engineer) is szükségük van, akiknek a szaktudása kisebb csapatok esetén is évi nagyjából félmillió dollárral növeli az üzemeltetési költségeket.

Végső soron az a feltételezés, hogy az egyszerűbb AI-modellek (edge AI) működtetését a felhasználó maga fizeti majd az eszköz vételárában és az energiaköltségekben. A szervereken futó mesterséges intelligencia – mint például a Microsoft Copilot – esetében valószínűleg többszintű szolgáltatási modell alakul ki, az ingyenes szolgáltatásoktól a professzionális, havi vagy éves előfizetéssel igénybe vehető szolgáltatásokig. Ez a modell hasonlítana például a Microsoft OneDrive különböző szolgáltatási szintjeinek kínálatához.

Amikor kérdezünk, avagy mennyibe kerül 1 prompt?

Ami a mesterséges intelligencia jelenlegi üzemeltetési költségeit illeti, a becslések lekérdezésenként (prompt) 0,0065 centtől – az olyan kevésbé igényes AI-modellek esetében, mint az Anthropic Claude Haiku – egészen 4 centig terjednek a komplexebb AI-k, például a Claude Opus esetében. Nyilvánvaló, hogy a jövőben ez az ár csökkenni fog: várhatóan mind a lekérdezésenkénti energiaigény, mind a chipek ára mérséklődik – és a mesterséges intelligencia modellek tanításának költségei is csökkennek.

A mesterséges intelligencia másik mesterséges intelligenciával történő tanításának korai kísérletei – amelyeket például a Llama modelleken végeztek – azt mutatták, hogy a tanítás akár két nagyságrenddel is olcsóbbá és gyorsabbá tehető. Azonban az a probléma, hogy ismételten bebizonyosodott: ha egy AI másik AI-tól tanul, hamis minták kerülnek a tanulási folyamatba, és általánosságban csökken a válaszok pontossága, ami azt jelenti, hogy ennek a tanítási modellnek megvannak a maga korlátai.

A legtöbb durva becslés szerint a mesterséges intelligencia energiafogyasztása elérheti a teljes villamosenergia-termelés két százalékát, de a részletekbe nehéz belelátni. Egy dolog a jelenlegi modellek, más dolog a nagyon kiterjedt modellek tanítására tervezett AI szuperszámítógépek, amelyeknél akár gigawattos nagyságrendű teljesítményfelvétellel kalkulálnak – és megint egészen más a hasonló modellek üzemeltetése, ahol éppen ellenkezőleg, a takarékos működésre összpontosítanak.

Az AI energiaigényének jövőbeli alakulása

Így abba a helyzetbe kerülünk, hogy egyszerre épülnek hatalmas fogyasztású új adatközpontok, ugyanakkor az a terv, hogy az AI modellek gyakorlati üzemeltetésének nagy része otthoni, sőt mobil neurogyorsítókon fog futni, amelyek teljesítményfelvétele alacsonyabb, mint a hagyományos vagy mobil grafikus kártyáké. Az energiaigény alakulása tehát nagymértékben attól függ, hogy a hatalmas adatközpontok építésére irányuló törekvés kerekedik-e felül, vagy az AI üzemeltetés zöme takarékos hardverre koncentrálódik.