Try our cookiesAlza.cz a. s., Company identification number 27082440, use cookies and other data to ensure the proper functioning of the website and, with your consent, also, among other things, to personalize advertising and the content of our websites. By clicking on the “I understand“ button, you agree to the use of cookies and the transfer of data regarding the behavior on the website for displaying targeted advertising on social networks and advertising networks on other websites.
We use 8 categories of cookies on our website:
Technical cookies
These are strictly necessary for the functioning of the website and the features you choose to use. Without them, our website would not work; you wouldn't be able to log in to your user account, for example.
Functionality cookies
These cookies allow us to remember your basic choices and improve the user experience. These include remembering your preferred language or allowing you to stay logged in permanently.
Social media cookies
These cookies allow us to easily link you to your social media profile and, for example, allow you to share products and services with your friends and family.
Content personalisation
These cookies allow us to show you content and ads according to the information we have about you to best meet your needs. This includes what content you have viewed, or on what device you are accessing our website.
Non-personalised advertising
These cookies allow us to show you general ads for products and services.
Personalised advertising
Thanks to these cookies, we and our partners can offer you relevant products and services based on your purchases, your shopping behaviour and your preferences.
Audience metrics
These cookies allow us to optimise our site for your convenience based on how you use it. The aim is to remember or anticipate your choices. This includes, for example, the use of features, their location, or the behaviour on the page.
By giving your consent to the processing of cookies, functionality and analytical cookies will be installed on the device you use to browse the website (click on the "I understand" button for both categories, or you can select only one of the categories by clicking on the "Settings" button). We always install technical cookies on your device, even without your explicit consent, because without them our website would simply not work.
You can revoke your consent to the processing of cookies. In connection with our company's cookie processing, you also have the following rights: the right to access cookies, delete, modify, supplement and correct them, restrict processing and the right to lodge a complaint with the Office for Personal Data Protection. Read more about your rights.
Képzeld el azt a világot, ahol minden eszköz – az okostelefonoktól a szerverekig – képes hatékonyan AI-modellek futtatására. Az olyan gyorsítók, mint a Qualcomm Cloud AI 100 Ultra, most pontosan ezt teszik lehetővé: energiahatékony és nagy teljesítményű adatfeldolgozást a hálózat peremén. Ez a cikk végigvezet az AI-számítások forradalmán, ahol a komplex mátrixműveletek optimalizálása találkozik a skálázhatóság és az energiahatékonyság iránti igénnyel. Fedezd fel, hogyan nyitják meg ezek az innovációk az utat az okos technológiák új korszakába, amely most már mindenki számára elérhető.
A modern AI-modellekre jellemző, hogy elkülönítik a tanulási (training) és a futtatási (inference, üzemeltetési) módot. A tanulás rendkívül nagy teljesítményű hardvert igényel, és jelentős energiafogyasztással jár, míg a modellek futtatása lényegesen kevésbé erőforrás-igényes. A kellően optimalizált modellek olyan kicsik és hatékonyak lehetnek, hogy akár klienseszközön is futtathatók – legyen szó mobiltelefonról, AR szemüvegről, okosautók processzoráról vagy robotokról. Az ilyen jellegű AI-feldolgozást edge AI-nak, illetve edge AI computingnak nevezzük („peremhálózati feldolgozás”, azaz a számítások az adatforráshoz közel történnek).
A modellek alapvető futtatásához a közeljövőben várhatóan elegendőek lesznek az AI-számítások gyorsítására szolgáló új megoldások, például a tenzorfeldolgozó egységek (TPU, Tensor Processing Unit), illetve az úgynevezett neurogyorsítók (NPU, Neural Processing Unit). Mindkét esetben mátrixműveletek gyorsításáról van szó, mivel az AI-algoritmusok többsége nagy méretű mátrixok feldolgozására épül, beleértve a ritka mátrixokat (sparse matrix, olyan mátrix, amelynek elemeinek többsége nulla).
Illusztrációs fotó, forrás: Midjourney
Ezeket a gyorsítóegységeket általában a modern processzorokba integrálva találjuk, például az Apple M1 vagy az Intel Core Ultra és újabb sorozataiban. Az AI-feladatokra felkészített gépeket nemcsak ezekről a speciális egységekről lehet felismerni, hanem arról is, hogy megnövelt memóriakapacitással rendelkeznek, mivel az AI-modelleknek valahol tárolódniuk kell futás közben. Az új generációs, AI-ra optimalizált laptopoknál az ajánlott minimum 16 GB RAM, de hasonló memóriaméret ma már a nagy teljesítményű mobiltelefonokban is egyre gyakoribb.
Átállás energiahatékony megoldásokra
Ha nagyobb teljesítményre van szükség, ma már használható a GPU-kon történő AI-gyorsítás (GPU computing), de közben egy új eszközkategória is megjelent: a dedikált neurogyorsítók. Ilyen például a Qualcomm Cloud AI 100 Ultra. Ez egy bővítőkártya-formájú, PCIe Gen4 csatlakozású egység, amely egy dedikált AI-gyorsítót és saját memóriát tartalmaz. Az AI-gyorsító egy optimalizált processzor, 64 maggal és körülbelül 870 TOPS teljesítménnyel, amit 128 GB RAM egészít ki. Ez a hardver lehetővé teszi akár 100 milliárd paraméteres AI-modellek futtatását is, ráadásul skálázható módon: két ilyen kártya együtt már akár 175 milliárd paraméteres modellek üzemeltetésére is képes.
Illusztrációs fotó, forrás: Midjourney
Telepítési és felhasználási lehetőségek
A megoldás egyik alapvető előnye, hogy a hagyományos grafikus kártyákhoz képest jóval nagyobb memóriakapacitást kínál, miközben jelentősen energiahatékonyabb is. A fogyasztása körülbelül 150 W, ami inkább egy belépőszintű GPU-hoz hasonlítható. Ez egy kifejezetten szerverekbe szánt megoldás, ahol minden kártya akár négy különböző AI-modell egyidejű futtatását is támogatja, és a teljesítmény több gyorsító hozzáadásával skálázható. Ez lehetővé teszi a felhasználók számára, hogy pontosan az igényeikhez igazodó, energiahatékony rendszert építsenek. A gyártó becslései szerint az ilyen típusú gyorsítók akár a futtatási (inferencia) költségeket is a tizedére csökkenthetik.
A Qualcomm Cloud AI 100 Ultra jelenleg fejlesztői változatban (devkit) érhető el a fejlesztők számára, és a tervek szerint szélesebb körű bevezetés is várható, mind felhőszolgáltatásokban, mind vállalati szerverekben. Ez az eszköz olyan AI-alapú alkalmazások futtatását teheti lehetővé, amelyek például részben kiválthatják vagy nagymértékben automatizálhatják az ügyfélszolgálati központok (call centerek) működését, technikai támogatási rendszereket hozhatnak létre, valamint igény szerint képesek tartalmat generálni és más összetett AI-feladatokat megoldani.
Az AI-gyorsítók, mint például a Qualcomm Cloud AI 100 Ultra, kulcsszerepet játszanak a modern AI-modellek működésében, mivel lehetővé teszik az adatok hatékony és energiahatékony feldolgozását a hálózat peremén (edge AI). Ezek a gyorsítók kifejezetten nagy és ritka mátrixok feldolgozására vannak optimalizálva, így erőteljes megoldást kínálnak a mesterséges intelligencia különböző eszközökbe történő integrálására – az okostelefonoktól egészen a szerverekig. Fejlődésük és egyre szélesebb körű elterjedésük egy új korszakot nyit az AI-számításokban, ahol a teljesítmény, az energiahatékonyság és a skálázhatóság kéz a kézben járnak az AI-modellek egyre növekvő számítási igényeivel.
