Artykuł sponsorowany

NPU tu, NPU tam, NPU wszędzie dobrze robi nam. NPU u Qualcomma, u Intela oraz u AMD. W procesorach Apple z rodziny M NPU również zostało zaimplementowane. To znak czasów, w których coraz większą rolę odgrywają narzędzia wykorzystujące tak zwaną, szeroko propagowaną, sztuczną inteligencję. Microsoft powołał nawet do życia ideę laptopów mających pomagać wykorzystywaniu owych narzędzi, a pierwsze maszyny z logo Copilot+ zasiliły, ku zaskoczeniu niektórych, procesory Qualcomm Snapdragon X Elite. A więc ani nie Intela, ani nie AMD. Qualcomm wyszedł na prowadzenie ponieważ procesory mające napędzać laptopy Copilot+ musiały spełniać określone wymagania. Między innymi dotyczyły one wydajności procesora odpowiedzialnego za przetwarzanie zadań związanych z obliczeniami sieci neuronowych.  

No dobrze, ale o co właściwie chodzi z tym NPU? Dlaczego obecnie każdy z wiodących producentów chipów chce mieć taki układ w swoich jednostkach? I dlaczego każdemu z nich zależy, aby było ono jak najwydajniejsze? O tym, między innymi, będzie ten poradnik, w którym przyjrzymy  się jednostkom dla laptopów z nieco tajemniczo, ale jednocześnie bardzo sugestywnie nazwanej serii – AMD Ryzen AI.  

Czym właściwie jest NPU?

Zanim przyjrzymy się procesorom wyposażonym w jednostki NPU, warto najpierw odpowiedzieć na pytanie czym one właściwie są i dlaczego stały się tak ważnym elementem wyposażenia procesora.

NPU (ang. Neural Processing Unit) to, w dużym uproszczeniu, układ scalony odpowiedzialny za wykonywanie obliczeń wykorzystujących sztuczną inteligencję oraz uczenie maszynowe. NPU są specjalnie zoptymalizowane w celu zapewnienia wysokiej wydajności przy obliczeniach związanych z sieciami neuronowymi. A te z kolei stanowią podstawę wielu algorytmów sztucznej inteligencji. Z racji tego, że NPU przystosowane są z myślą o przetwarzaniu macierzy i tensorów, radzą sobie w tej materii lepiej niż klasyczne CPU oraz układy graficzne. Tak jak układy graficzne radzą sobie zdecydowanie lepiej z przetwarzaniem grafiki, niż klasyczne CPU.

NPU dzięki swojej specjalizacji lepiej radzą sobie także z przetwarzaniem informacji w czasie rzeczywistym, tam gdzie analiza danych musi zachodzić błyskawicznie. Dobrym przykładem takiego działania jest chociażby rozpoznawanie i edycja dźwięku albo obrazu lub nakładanie różnego rodzaju filtrów w czasie rzeczywistym. Ważną cechą układów NPU jest również odpowiednia efektywność energetyczna. Dzięki swojej specjalizacji konsumują one mniej energii niż chociażby CPU i GPU w analogicznych zadaniach. Nawet biorąc pod uwagę, że układy graficzne i tak są w nich całkiem biegłe, w niektórych zadaniach nawet przewyższając NPU swoją wydajnością. Kolejną przewagą NPU nad CPU oraz układem graficznym jest ścisłe przywiązanie tej jednostki do zadań związanych ze sztuczną inteligencją. Główny procesor i GPU nierzadko mają na swoich barkach zdecydowanie więcej zadań, więc nie mogą siłą rzeczy przeznaczyć maksimum swoich zasobów na inne procesy i obliczenia.

W tym momencie ktoś powie, że w zasadzie po co to całe zamieszanie, jak przecież może korzystać z niektórych narzędzi na swoim paroletnim już urządzeniu. I ma rację, z tym że wtedy najczęściej wszystkie obliczenia wykonywane są za pomocą chmury danych lub obciążają właśnie CPU i/lub kartę graficzną. Dzięki wysokiej wydajności NPU, obliczenia związane z SI mogą być wykonywane z odpowiednią wydajnością lokalnie i offline, wyłącznie na swoim komputerze, bez potrzeby wysyłania danych w Sieć. I oczywiście nie chodzi tu tylko o narzędzia, które można znaleźć pod przyciskiem z logo Copilot+. Sporą liczbę takich funkcji i wtyczek bazujących na SI otrzymały w ostatnim czasie chociażby aplikacje pakietu Adobe, co wspomaga i przyspiesza edycję zdjęć i innych plików graficznych, a także przetwarzanie i edycję wideo. A to raptem jeden z licznych przykładów, ograniczony w dodatku wyłącznie do branży kreatywnej. Należy pamiętać, że z dobrodziejstw uczenia maszynowego i dużych modeli językowych korzystają także aplikacje chociażby z branży ochrony danych czy przetwarzania baz danych.

NPU w laptopach

Oczywiście gdyby NPU miałoby wyłącznie technologiczną ciekawostką, to nie byłoby w związku z nią takiej marketingowej burzy, jak się pojawiła. Jej pierwsze grzmoty mogliśmy słyszeć już w momencie wybuchu szału na chatboty i sztuczną inteligencję w ogóle, kiedy weszła ona do mainstreamu. W czerwcu tego roku pojawiła się zapowiedź Microsoftu w postaci wprowadzenia na rynek laptopów Copilot+, których jedną z cech charakterystycznych miałaby być właśnie wysoka wydajność w obliczeniach związanych z sieciami neuronalnymi. Stąd też pojawiły się pewne wymagania dotyczące tych laptopów.

Jednym z wymagań dotyczących laptopów Copilot+ jest procesor z jednostką NPU oferującą wydajność na poziomie 40 TOPS (ang. tera-operations per second, czyli bilion operacji na sekundę). W momencie ogłoszenia tych warunków, na rynku znajdował się wyłącznie jeden procesor dla notebooków o takich możliwościach: Snapdragon X Elite od Qualcomma. Jego mniej wydajna wersja, nazwana Snapdragon X Plus, także ten wymóg spełniała oferując wydajność na poziomie 45 TOPS. Trzeba jednak pamiętać, że podobnie jak w przypadku procesorów z rodzin M3 i M4 od Apple, niebiorących udziału w inicjatywie Microsoftu, mówimy tu o jednostce bazującej na architekturze ARM.

W tym samym czasie, konkurencja od Intela oraz AMD (procesory x86) posiadała na rynku jednostki Intel Core Ultra (maksymalnie 11 TOPS oferowane przez Intel AI Boost) oraz AMD Ryzen serii 8000 (chociaż pierwsze jednostki z XDNA oferowała już seria Ryzen 7000 ), których wydajność NPU pod postacią XDNA nie przekraczała 16 TOPS, zaś cały procesor, łącznie z CPU i GPU oferował do 39 TOPS. Jak widać – to wciąż za mało. Pierwszą rundę w tym starciu zwyciężył więc, i to bez żadnych wątpliwości, Qualcomm. Przynajmniej jeżeli chodzi o fakt samego wykorzystania procesora z wydajnym NPU w laptopie. Na chwilę obecną laptopy z SoC od Qualcomma mają udział w zaledwie 0,8% rynku, a więc mówimy o marginesie.

Tajwańczycy nie spędzili jednak zbyt dużo czasu na pozycji lidera, bo już tej jesieni Intel wypuścił swoje nowe procesory dla laptopów z rodziny Core Ultra 200V (Lunar Lake) i tu już wydajność nowego NPU prezentuje się zgoła lepiej, bo jest w stanie dostarczyć wydajność do 48 TOPS. A więc, jak łatwo się domyślić, Lunar Lake’i z czystym sumieniem mogą trafić do laptopów Copilot+. I tej jesieni trafiły, tak jak zresztą latem „niebiescy” zapowiadali.

Po „czerwonej” stronie rynku praca także wrzała, dzięki czemu AMD nie zostało w tyle za konkurencją. Owocem tej pracy są procesory dla laptopów z serii Ryzen AI. Już samą nazwą ekipa z Santa Clara chciała zadeklarować dalszy udział w wyścigu dotyczącym jednostek stworzonych do operowania funkcjami wykorzystującymi SI. Jednak sama deklaracja to nie wszystko, gdyż nowe SoC dla notebooków od AMD otrzymało procesor NPU o wydajności do 55 TOPS.

Czym są nowe procesory Ryzen AI?

Na chwilę obecną na rynku pojawiło się sześć jednostek Ryzen AI, przy czy trzy to układy „cywilne”, a kolejne trzy to procesory w wersji PRO, a więc przygotowane z myślą o laptopach biznesowych i stacjach roboczych. Na chwilę obecną seria ta oferuje układy o wysokiej wydajności, a więc Ryzen AI 9 oraz Ryzen AI 7, a domyślne TDP zostało ustawione na 28 W, zarówno w jednostkach Ryzen AI, jak i Ryzen AI – HX. Pełną listę procesorów Ryzen AI przedstawia poniższa tabela.

Układy Ryzen AI bazują na architekturze Zen 5 (Strix Point, 4 nm). W oczy ma prawo rzucać się liczba oferowanych rdzeni i wątków, ale też ich wysokie taktowanie. AMD zadbało jednocześnie, aby swoje nowe jednostki uczynić jak najbardziej wszechstronnymi i uniwersalnymi nie tylko pod kątem funkcjonalności. Konfigurowalne TDP oscyluje tutaj w „widełkach” 15 – 54 W, więc nowe procesory mogły dzięki temu trafić zarówno do laptopów o wysokiej wydajności (ale raczej nie będą to najwydajniejsze maszyny z kategorii laptopów multimedialnych, stacji roboczych oraz sprzętu dla twórców kreatywnych), jak i maszyn bliższym ultrabookom. W swoich materiałach AMD nie pomija także kwestii efektywności energetycznej i energooszczędności.  

Głównym powodem powstania procesorów Ryzen AI było jednak zapewnienie jak najwyższej wydajności w obliczeniach związanych wykorzystywaniem narzędzi i funkcji napędzanych przez sztuczną inteligencję. Optymalne wykorzystanie architektury XDNA 2 ma pozwolić na osiągnięcie wydajności 50 – 55 TOPS (w zależności od procesora), o czym już wspominałem. To trzykrotnie wyższe rezultaty niż chociażby w przypadku poprzedniej generacji mobilnych Ryzenów. To z kolei postawiło procesory z tej rodziny na najwyższym stopniu podium, biorąc pod uwagę najwydajniejsze jednostki dla pierwszej generacji laptopów Copilot+. Cały SoC zaś, uwzględniając tu także możliwości obliczeniowe CPU oraz zintegrowanego układu graficznego (Radeon serii 800 – w zależności od procesora) osiąga nawet do 85 TOPS.

Jak to przekłada się na rezultaty? Weźmy tu dla przykładu pod lupę Ryzena AI 9 HX 370, a więc niemal najmocniejszy układ zaproponowany w ramach „inteligentnej” rodzinki. Okazuje się, że procesor pod kątem ogólnej wydajności samego CPU to poziom mniej więcej konkurencyjnego Core Ultra 9 185H, ale już pod kątem wydajności w zadaniach, gdzie do roboty zostaje zaprzęgnięte NPU widać wyraźną przewagę nad oponentem – wydajność przy tych operacjach jest ok. dwukrotnie wyższa, a w przypadku uruchomienia pierwszego tokena w modelu Llama 2, różnica jest nawet 5-krotna na korzyść reprezentanta AMD.

Podsumowanie

Rosnąca popularność różnego rodzaju narzędzi i wtyczek wykorzystujących duże modele językowe, uczenie maszynowe oraz dobrodziejstwa sztucznej inteligencji w ogóle, dość mocno sugeruje, że nowy element procesorów, a więc NPU, raczej nie będzie technologiczną ciekawostką, która szybko przeminie i odejdzie w niepamięć. Obecna sytuacja na rynku procesorów pozwala wyciągać wniosek zgoła odmienny – NPU stanie się tam samo ważny elementem chipów, jak chociażby zintegrowany układ graficzny.

W momencie powstawania tego krótkiego poradnika na rynku mamy czterech producentów procesorów dla laptopów z jednostkami przystosowanymi do obliczeń związanych ze sztuczną inteligencją: Qualcomma, Apple, AMD oraz Intela. Apple oczywiście nie bierze udziału w tworzeniu laptopów Copilot+, ale promuje swoją Apple Intelligence i procesory z rodziny M4, które również mogą pochwalić się wydajnymi NPU (38 TOPS). Spomiędzy pozostałej trójki, Qualcomm ze swoim Snapdragonem X Elite był pierwszy w laptopach z logo Copilot+. Obecnie jednak najwydajniejsze jednostki dla tego typu urządzeń należą do AMD. Procesory Ryzen AI wyposażone w jednostki XDNA 2 nie są może bezkonkurencyjne, ale ten etap „wyścigu zbrojeń” ekipa z Santa Clara może traktować jako zwycięstwo.

Obserwowanie rywalizacji pomiędzy wszystkimi wymienionymi może wywoływać rumieńce, szczególnie biorąc pod uwagę, że to przecież pierwsza generacja komputerów zaprojektowanych z myślą o lokalnym, masowym wykorzystywaniu sztucznej inteligencji. Pozostaje zatem czekać, czy AMD wciąż będzie udawało się dzierżyć laur najwydajniejszych jednostek NPU dla laptopów, czy może Intel i Qualcomm będą w stanie zaoferować coś więcej od siebie. Trzeba też pamiętać, że NVIDIA także nie zamierza biernie przyglądać się poczynaniom konkurencji i kto wie, czy 2025 rok nie przyniesie nam procesorów także od „zielonych”.