Mesterségesintelligencia-gyorsítók
A modern AI-modellekre jellemző, hogy elkülönítik a tanulási (training) és a futtatási (inference, üzemeltetési) módot. A tanulás rendkívül nagy teljesítményű hardvert igényel, és jelentős energiafogyasztással jár, míg a modellek futtatása lényegesen kevésbé erőforrás-igényes. A kellően optimalizált modellek olyan kicsik és hatékonyak lehetnek, hogy akár klienseszközön is futtathatók – legyen szó mobiltelefonról, AR szemüvegről, okosautók processzoráról vagy robotokról. Az ilyen jellegű AI-feldolgozást edge AI-nak, illetve edge AI computingnak nevezzük („peremhálózati feldolgozás”, azaz a számítások az adatforráshoz közel történnek).
Read more »