Az AI-modellek robbanásszerű növekedése

1. AI-modellek áttekintése
2. A generatív AI-modellek felszabadítása
3. A Microsoft és a konkurencia
4. Startupok és innováció az AI-ban

AI-modellek áttekintése

Az elmúlt évtizedben a mesterséges intelligencia területén példátlan növekedésnek lehettünk tanúi: az AI-modellek mérete és összetettsége exponenciális ütemben nő. Ez a tendencia jól megfigyelhető, ha a modellek méretét vizsgáljuk 2015-től napjainkig, ahogy azt a mellékelt grafikon és táblázat is szemlélteti.

A táblázat teljes változata

A terjedelemre való tekintettel itt csak a főbb nyelvi modellek áttekintését találod. Táblázatunk azonban képfeldolgozó és egyéb modelleket is tartalmaz. A teljes változatot alább tekintheted meg.

Cég	Név	Paraméterek (milliárd)	Méret (GB)	Megjelenés éve	Modell típusa
Microsoft	ResNet-50	0,025	0,1	2015	Képfeldolgozó modell
Microsoft	ResNet-152	0,06	0,2	2015	Képfeldolgozó modell
Google	DeepDream	0,05	0,1	2015	Generatív modell (grafika)
Google	Wide & Deep Learning	0,5	1	2016	Ajánlómodell
Carnegie Mellon	OpenPose	0,025	0,1	2017	Képfeldolgozó modell
Google	BERT Base	0,11	0,4	2018	Nyelvi modell
Google	BERT Large	0,34	1,3	2018	Nyelvi modell
Google	BigGAN	2	8	2018	Generatív modell (grafika)
Google	DeepVariant	1	1	2018	Bioinformatikai modell
OpenAI	GPT-2	1,5	6	2019	Nyelvi modell
Facebook	RoBERTa Base	0,125	0,5	2019	Nyelvi modell
Facebook	RoBERTa Large	0,355	1,4	2019	Nyelvi modell
Google	T5 Base	0,22	0,9	2019	Nyelvi modell
Google	T5 Large	0,77	3	2019	Nyelvi modell
Google	T5 3B	3	12	2019	Nyelvi modell
Google	T5 11B	11	45	2019	Nyelvi modell
Nvidia	StyleGAN2	0,03	0,2	2019	Generatív modell (grafika)
DeepMind	VQ-VAE-2	1	2	2019	Generatív modell (grafika)
Google	XLNet Base	0,11	0,4	2019	Nyelvi modell
Google	XLNet Large	0,34	1,3	2019	Nyelvi modell
Google	EfficientNet	0,066	0,25	2019	Képfeldolgozó modell
Google	Transformer-XL Base	0,11	0,4	2019	Nyelvi modell
Google	Transformer-XL Large	0,34	1,3	2019	Nyelvi modell
OpenAI	GPT-3	175	700	2020	Nyelvi modell
Microsoft	Turing-NLG	17	68	2020	Nyelvi modell
Facebook	MarianMT	1	1	2020	Fordítómodell
Object Detection	YOLOv4	0,065	0,25	2020	Objektumfelismerő modell
NVIDIA	NeRF	0,1	0,05	2020	Képfeldolgozó modell
DeepMind	AlphaFold	0,09	0,4	2020	Bioinformatikai modell
OpenAI	DALL-E	12	48	2021	Generatív modell (grafika)
OpenAI	CLIP	0,4	1,6	2021	Multimodális modell
VQGAN	Vector Quantized Generative Adversarial Network	1	4	2021	Generatív modell (grafika)
Facebook AI Research	ESM-2	15	60	2022	Bioinformatikai modell
OpenAI	ChatGPT-4	1000	700	2023	Nyelvi modell
OpenAI	GPT-4 Turbo	1000	500	2023	Nyelvi modell
Google	Gemini 1	1000	500	2023	Multimodális modell
Anthropic	Claude 2	1000	500	2023	Nyelvi modell
Meta	LLaMA 2-7B	7	30	2023	Nyelvi modell
Meta	LLaMA 2-13B	13	60	2023	Nyelvi modell
Meta	LLaMA 2-70B	70	280	2023	Nyelvi modell
Mistral AI	Mistral 7B	7	28	2023	Nyelvi modell
OpenAI	DALL-E 3	30	60	2023	Generatív modell (grafika)
Google	PalM 2	1000	600	2023	Nyelvi modell
Google	Gemini 1.5	1000	600	2024	Multimodális modell

Mit mutat a grafikon?

A grafikon az AI-modellek méretének logaritmikus transzformációját ábrázolja (gigabájtban) az idő függvényében, konkrétan 2015-től 2023-ig. A logaritmikus transzformációt azért választottuk, mert így jobban érzékeltethető a modellek exponenciális növekedése. E transzformáció nélkül a különböző időszakokban megjelenő modellek közötti különbségek kevésbé lennének szembeötlőek, és a grafikon aránytalannak tűnhetne.

A grafikonon jól látható, hogy a modellek mérete exponenciálisan növekszik, és ez a trend egyelőre nem mutat lassulást. Ez azt jelenti, hogy nemcsak a modellek paramétereinek száma emelkedik, hanem a fizikai méretük is, ami egyre nagyobb követelményeket támaszt a számítási infrastruktúrával és az energiaforrásokkal szemben.

Mit mutat a táblázat?

A grafikon alatti táblázat részletes áttekintést nyújt az egyes AI-modellekről, amelyek a grafikonon szerepelnek. A táblázat minden sora a következő információkat tartalmazza:

• Cég: Melyik cég fejlesztette ki a modellt.
• Modell neve: Mi a modell neve.
• Paraméterek száma (milliárdokban): A modellben található paraméterek száma.
• Modell mérete (GB-ban): A modell mérete gigabájtban.
• Megjelenés éve: A modell bemutatásának éve.
• Modell típusa: Milyen típusú modellről van szó (pl. nyelvi modell, generatív grafikai modell, képfeldolgozó modell stb.).

Ez a táblázat lehetővé teszi, hogy könnyen nyomon követhesd az AI-modellek fejlődését, folyamatosan növekvő komplexitásukat és méretüket az idő múlásával. Láthatod, hogyan fejlődtek a modellek a 2015-ös első kísérletektől egészen a 2023-as és 2024-es legújabb eredményekig.

Mit jelent ez a trend?

Az AI-modellek méretének exponenciális növekedése arra utal, hogy a mesterséges intelligencia területe folyamatos és gyors fejlődésben van. Ezzel a növekedéssel azonban új kihívások is járnak, többek között az erősebb számítási kapacitás iránti igény, a betanításhoz szükséges nagyobb adatmennyiség, valamint az e technológiák növekvő energiaigényével kapcsolatos etikai és ökológiai kérdések megoldása.

Az AI-modellek méretének függése a paraméterek számától

Az alábbi grafikon közel lineáris kapcsolatot mutat a paraméterek számának és a modellek méretének természetes logaritmusa között. Ez arra utal, hogy e két mennyiség között exponenciális összefüggés áll fenn. Más szóval, ha a paraméterek száma egy bizonyos tényezővel nő, a modell mérete exponenciálisan növekszik.

A paraméterek száma és a modellek mérete közötti korreláció szinte elkerülhetetlen. A modell minden egyes paramétere egy számértékként (pl. float) van tárolva, amely meghatározott mennyiségű memóriát foglal el. Minél több paraméterrel rendelkezik egy modell, annál több memória szükséges azok tárolásához, ami közvetlenül megmutatkozik a modell méretében. Ugyanakkor különböző optimalizálási technikák (pl. kvantálás vagy pruning) befolyásolhatják ezt az összefüggést, és eltéréseket okozhatnak a pontosan lineáris függéstől.

Nagy méretű, kevés paraméterrel rendelkező modell

Egy nagy méretű, kevés paraméterrel rendelkező modell valószínűleg nagyon hatékonytalan lenne, és korlátozott teljesítményéhez képest aránytalanul nagy számítási kapacitást és tárhelyet igényelne.

Kis méretű, sok paraméterrel rendelkező modell

Egy kis méretű, sok paraméterrel rendelkező modell rendkívül hatékony lehetne, de fennáll a pontosságvesztés vagy a bonyolultabb implementáció kockázata. Ha azonban a tömörítés és az optimalizálás megfelelően történik, egy ilyen modell rendkívül nagy teljesítményű és költséghatékony megoldást jelenthet.

A generatív AI-modellek megjelenése

A mesterséges intelligencia iránti jelenlegi érdeklődési hullám az OpenAI ChatGPT generatív intelligenciájának megjelenésével indult el, valamint a Dall-E és a Midjourney generatív intelligenciák 2023 eleji elérhetővé válásának köszönhetően. Ezt a megjelenést a kritikusok olykor „elhamarkodottnak" nevezik – de mi számít elhamarkodottnak a technológia világában?

A modellek nyilvánosság számára korlátozott hozzáférésűvé tétele és egy fejlesztői API (Application Programming Interface, alkalmazásprogramozási felület) létrehozása egy bizonyos szakaszban elkerülhetetlen: az emberek kipróbálják az új szolgáltatást, az ügyfelek elkezdik átgondolni, hogyan tudnák hasznosítani, a fejlesztők eszközt kapnak a szolgáltatás saját projektjeikbe való integrálásához – az újságírók pedig elkezdhetnek arról írni, hogy valami új van készülőben.

A Microsoft és a verseny

Tekintettel arra, hogy az OpenAI egyik legnagyobb befektetője a Microsoft, amely nem titkolja, hogy a szolgáltatást integrálni kívánja az „irodai gemkapocs legújabb verziójába", vagyis a MicrosoftCopilot szolgáltatásba, ez a helyzet különösen kellemetlenül érintette a versenytársakat, elsősorban a Google-t és Elon Muskot.

Mindenesetre két különböző dologról van szó: a Copilot forradalmasíthatja az információkeresést a Google rendszerein kívül, Elon Musk esetében pedig arról van szó, hogy kezdetben részt vett az OpenAI működtetésében, sőt felajánlotta, hogy vezeti a céget, végül azonban kilépett a projektből – és most nyilvánvalóan bánja, ezért építi saját konkurens szolgáltatását, az xAI-t.

Az OpenAI feletti kontrollért folytatott küzdelem 2023 novemberében drámai fordulatokhoz vezetett: az OpenAI vezérigazgatóját, Sam Altmant először kirúgták a cégből, majd a vezetőség döntése ellen a beosztott alkalmazottak többsége fellázadt. Ez oda vezetett, hogy a Microsoft mint legjelentősebb befektető beavatkozott a helyzetbe, támogatta Sam Altmant, visszahelyezte a pozíciójába, az ellene lázadó vezetőséget pedig eltávolította.

Startupok és innováció az AI területén

Mindez arra utal, hogy az AI-fejlesztés területén a helyzet sokkal drámaibb, mint amilyennek tűnhet, és nemcsak az AI fejlesztésének és bevetésének filozófiája körül zajlanak csaták, hanem üzleti küzdelmek is folynak, mivel például a Google és különösen az Apple a mesterséges intelligencia terén jelentősen lemaradt a többiekhez képest.

A fő csatatéren kívül is nagy forradalom zajlik: számos startup jön létre, amelyek saját modelljeikkel kísérleteznek, mint például az Anthropic a Claude 3 modellcsaládjával vagy a Google Gemini. A Google jóval kevésbé sikeres, mint a többiek – miközben számukra a hatékony mesterséges intelligencia fejlesztése létfontosságú, mivel fennáll a veszélye, hogy az új digitális asszisztens rendszerek idővel teljesen felváltják a hagyományos keresést, ami a Google üzleti tevékenységének alapja.

Komoly küzdelmek zajlanak a hardver területén is. Az AI-gyorsítók piacán jelenleg egyértelműen az Nvidia dominál, de a Microsoft saját megoldással próbálkozik, és Sam Altman, az OpenAI vezetője sem titkolja, hogy szívesen szerezne hatalmas befektetést nemcsak saját gyorsítók fejlesztésére, hanem olyan gyárak (fabok) építésére is, ahol ezeket gyártanák.

A cikk bemutatja a mesterséges intelligencia fejlesztésének dinamikáját és versenyhelyzetét, kiemelve az olyan innovatív modellek megjelenését, mint a ChatGPT, a Dall-E és a Midjourney, amelyek új korszakot nyitottak az AI-technológiában. Ismerteti az olyan cégek, mint az OpenAI, a Microsoft, a Google, valamint olyan személyiségek, mint Elon Musk belső vitáit és stratégiai manővereit. A legfontosabb mozzanatok között szerepelnek az irányításért folytatott küzdelmek, a hardverbe történő befektetések és az új startupok megjelenése. Ez a helyzet jelentős forradalmat vetít előre nemcsak az AI-technológiák terén, hanem a hagyományos keresőrendszerek átalakításának és új piaci paradigmák létrehozásának lehetőségében is.