Mesterségesintelligencia-gyorsítók

1. Az AI-gyorsítók szerepe az AI-számításokban
2. Átállás energiahatékony megoldásokra
3. Telepítési és felhasználási lehetőségek

Az AI-gyorsítók szerepe az AI-számításokban

A modern AI-modellekre jellemző, hogy elkülönítik a tanulási (training) és a futtatási (inference, üzemeltetési) módot. A tanulás rendkívül nagy teljesítményű hardvert igényel, és jelentős energiafogyasztással jár, míg a modellek futtatása lényegesen kevésbé erőforrás-igényes. A kellően optimalizált modellek olyan kicsik és hatékonyak lehetnek, hogy akár klienseszközön is futtathatók – legyen szó mobiltelefonról, AR szemüvegről, okosautók processzoráról vagy robotokról. Az ilyen jellegű AI-feldolgozást edge AI-nak, illetve edge AI computingnak nevezzük („peremhálózati feldolgozás”, azaz a számítások az adatforráshoz közel történnek).

A modellek alapvető futtatásához a közeljövőben várhatóan elegendőek lesznek az AI-számítások gyorsítására szolgáló új megoldások, például a tenzorfeldolgozó egységek (TPU, Tensor Processing Unit), illetve az úgynevezett neurogyorsítók (NPU, Neural Processing Unit). Mindkét esetben mátrixműveletek gyorsításáról van szó, mivel az AI-algoritmusok többsége nagy méretű mátrixok feldolgozására épül, beleértve a ritka mátrixokat (sparse matrix, olyan mátrix, amelynek elemeinek többsége nulla).

Ezeket a gyorsítóegységeket általában a modern processzorokba integrálva találjuk, például az Apple M1 vagy az Intel Core Ultra és újabb sorozataiban. Az AI-feladatokra felkészített gépeket nemcsak ezekről a speciális egységekről lehet felismerni, hanem arról is, hogy megnövelt memóriakapacitással rendelkeznek, mivel az AI-modelleknek valahol tárolódniuk kell futás közben. Az új generációs, AI-ra optimalizált laptopoknál az ajánlott minimum 16 GB RAM, de hasonló memóriaméret ma már a nagy teljesítményű mobiltelefonokban is egyre gyakoribb.

Átállás energiahatékony megoldásokra

Ha nagyobb teljesítményre van szükség, ma már használható a GPU-kon történő AI-gyorsítás (GPU computing), de közben egy új eszközkategória is megjelent: a dedikált neurogyorsítók. Ilyen például a Qualcomm Cloud AI 100 Ultra. Ez egy bővítőkártya-formájú, PCIe Gen4 csatlakozású egység, amely egy dedikált AI-gyorsítót és saját memóriát tartalmaz. Az AI-gyorsító egy optimalizált processzor, 64 maggal és körülbelül 870 TOPS teljesítménnyel, amit 128 GB RAM egészít ki. Ez a hardver lehetővé teszi akár 100 milliárd paraméteres AI-modellek futtatását is, ráadásul skálázható módon: két ilyen kártya együtt már akár 175 milliárd paraméteres modellek üzemeltetésére is képes.

Telepítési és felhasználási lehetőségek

A megoldás egyik alapvető előnye, hogy a hagyományos grafikus kártyákhoz képest jóval nagyobb memóriakapacitást kínál, miközben jelentősen energiahatékonyabb is. A fogyasztása körülbelül 150 W, ami inkább egy belépőszintű GPU-hoz hasonlítható. Ez egy kifejezetten szerverekbe szánt megoldás, ahol minden kártya akár négy különböző AI-modell egyidejű futtatását is támogatja, és a teljesítmény több gyorsító hozzáadásával skálázható. Ez lehetővé teszi a felhasználók számára, hogy pontosan az igényeikhez igazodó, energiahatékony rendszert építsenek. A gyártó becslései szerint az ilyen típusú gyorsítók akár a futtatási (inferencia) költségeket is a tizedére csökkenthetik.

A Qualcomm Cloud AI 100 Ultra jelenleg fejlesztői változatban (devkit) érhető el a fejlesztők számára, és a tervek szerint szélesebb körű bevezetés is várható, mind felhőszolgáltatásokban, mind vállalati szerverekben. Ez az eszköz olyan AI-alapú alkalmazások futtatását teheti lehetővé, amelyek például részben kiválthatják vagy nagymértékben automatizálhatják az ügyfélszolgálati központok (call centerek) működését, technikai támogatási rendszereket hozhatnak létre, valamint igény szerint képesek tartalmat generálni és más összetett AI-feladatokat megoldani.