Karta graficzna do AI: RTX PRO Blackwell czy Ada, którą wybrać

Co liczy się w karcie do AI

Przy wyborze karty do gier czy grafiki patrzy się na liczbę rdzeni i taktowanie. Przy lokalnych modelach językowych liczy się co innego:

1. Ilość pamięci

   Model musi w całości zmieścić się w pamięci karty. Potrzebne jest też miejsce na kontekst, czyli wszystko, co model ma „przed oczami” w danej rozmowie: pytanie, wcześniejsze wiadomości i wklejone dokumenty. Od pamięci zależy, jak duży model uruchomisz i ile osób obsłużysz naraz. Jak to policzyć, pokazujemy w artykule Jaki serwer do lokalnego LLM.

2. Szybkość pamięci (przepustowość)

   Model to miliardy liczb, tzw. wag. Żeby napisać każde kolejne słowo odpowiedzi, karta musi dla każdego jednego słowa odczytać z pamięci praktycznie wszystkie. Dlatego im więcej gigabajtów na sekundę potrafi odczytać, tym szybciej generuje tekst. Dwie karty z tą samą ilością pamięci mogą więc różnić się szybkością odpowiedzi nawet dwukrotnie.

3. Format liczb (precyzja)

   Każdą wagę modelu można zapisać dokładnie, na 16 bitach, albo w uproszczeniu, na 8 lub 4 bitach. Uproszczony model zajmuje mniej pamięci i działa szybciej, a dobrze przygotowany traci niewiele jakości. Nowsze karty liczą w takich formatach bezpośrednio, starsze muszą je przeliczać. Więcej w części o FP4.

4. Pobór mocy i chłodzenie

   Od tego zależy, ile kart można zmieścić w jednej obudowie i jaki zasilacz będzie potrzebny do uruchomienia systemu. Szczególnie ważne przy budowie dużych systemów z kilkoma GPU.

Wszystkie karty z obu rodzin mają pamięć z korekcją błędów (ECC) i sterowniki przygotowane do pracy 24/7, więc pod tym względem są równe.

Blackwell i Ada: porównanie kart

Zestawiamy karty z obu generacji parami, według miejsca w ofercie NVIDIA. Pamięć i pobór mocy podajemy według NVIDIA, szybkość pamięci według kart katalogowych. Ceny to ceny netto w naszym sklepie w dniu publikacji, aktualne znajdziesz na kartach produktów.

Co z tego wynika:

• Na każdym poziomie Blackwell ma więcej albo tyle samo pamięci i wyraźnie szybszą pamięć. RTX PRO 4500 ma 32 GB wobec 24 GB w RTX 4500 Ada, a jej pamięć jest dwa razy szybsza.
• RTX PRO 5000 Blackwell to najciekawsza karta w zestawieniu. Ma tyle samo pamięci co RTX 6000 Ada, ale pisze odpowiedzi szybciej (pamięć szybsza o ok. 40%) i obsługuje FP4, a w dniu publikacji kosztuje mniej.
• Starsze karty bywają droższe od nowszych. RTX 5000 Ada i RTX 4500 Ada kosztują dziś więcej niż mocniejsze odpowiedniki Blackwell. To ceny ostatnich sztuk w magazynach, a nie odbicie wartości karty.
• W najniższej klasie różnica jest mała. RTX PRO 2000 i RTX 2000 Ada mają po 16 GB i 70 W, a dopłata do Blackwell to kilkaset złotych za szybszą pamięć i FP4.

FP4: większy model na tej samej karcie

Model językowy to w praktyce ogromny zbiór liczb. Model 70 mld parametrów to 70 mld liczb, a to, ile miejsca zajmuje, zależy od tego, na ilu bitach zapiszemy każdą z nich:

• 16 bitów (FP16/BF16): pełna dokładność, ok. 140 GB.
• 8 bitów (FP8): ok. 70 GB.
• 4 bity (FP4): ok. 35 GB.

Takie „odchudzanie” modelu nazywa się kwantyzacją. Działa podobnie jak kompresja zdjęcia do JPG: plik jest kilka razy mniejszy, a różnicę widać dopiero przy dokładnym porównaniu.

Karty Ada potrafią bezpośrednio liczyć najniżej na liczbach 8-bitowych. Blackwell liczy także na 4-bitowych. NVIDIA przygotowała do tego własny format NVFP4, zaprojektowany tak, żeby model tracił jak najmniej jakości. Coraz więcej producentów publikuje modele od razu w tym formacie, a obsługują go popularne programy do uruchamiania modeli, np. vLLM.

Co to daje w praktyce:

• Większy model na tej samej karcie. Na karcie 96 GB mieści się model ok. 120 mld parametrów i jeszcze zostaje miejsce na rozmowy kilku osób.
• Szybsze odpowiedzi. Karta liczy na 4-bitowym modelu bezpośrednio, bez przeliczania.

Model 4-bitowy uruchomisz też na Adzie, np. w Ollamie. Zajmie tak samo mało pamięci, ale karta musi go na bieżąco przeliczać na format, który rozumie, więc nie zyska na szybkości tyle co Blackwell. Ile jakości traci model przy 4 bitach, zależy od modelu, dlatego przed wdrożeniem sprawdzamy to na dokumentach klienta.

Którą kartę do jakich modeli

Orientacyjnie, dla modeli zapisanych na 4 bitach. Do każdej konfiguracji trzeba doliczyć zapas pamięci na długość rozmów i dokumentów oraz na liczbę osób, które pracują naraz.

Kilka kart w jednym serwerze można połączyć tak, żeby jeden duży model rozłożył się na wszystkie, albo dać każdej karcie inny model. RTX PRO 6000 Blackwell można też podzielić (funkcja MIG) na maksymalnie cztery niezależne „wirtualne karty”, każdą z własną pamięcią. To wygodne, gdy na jednej karcie mają działać różne modele dla różnych działów. Z jakich modeli korzystamy we wdrożeniach, piszemy w przewodniku, w części Jakie modele wybrać. Wyniki modeli do kodu znajdziesz w teście 7 lokalnych modeli.

Workstation, Max-Q, Server Edition, SFF

Ta sama karta występuje w kilku wersjach. Różnią się chłodzeniem i poborem mocy, a wybór zależy od obudowy:

• Workstation. Podstawowa wersja do stacji roboczej. RTX PRO 6000 Blackwell w tej wersji pobiera do 600 W i jest najszybsza, ale wydmuchuje ciepło do wnętrza obudowy. Najlepiej sprawdza się jako jedna karta w komputerze.
• Max-Q. RTX PRO 6000 Blackwell Max-Q ma te same 96 GB, ale limit 300 W i chłodzenie wydmuchujące powietrze na zewnątrz obudowy. Kilka takich kart pracuje obok siebie w jednej stacji. Jest wolniejsza od wersji 600 W, ale przy modelach językowych mniej, niż sugeruje różnica w mocy, bo przy pisaniu odpowiedzi karta częściej czeka na pamięć niż na rdzenie.
• Server Edition. RTX PRO 6000 i RTX PRO 4500 Server Edition mają chłodzenie pasywne, czyli nie mają własnego wentylatora. Potrzebują serwera rack, którego wentylatory przepychają powietrze przez kartę. W zwykłej obudowie się przegrzeją.
• SFF. RTX PRO 4000 Blackwell SFF to niska karta o poborze 70 W, która nie potrzebuje dodatkowego kabla zasilającego. Pasuje do małych komputerów, w których nie zmieści się pełnowymiarowa karta. Ma 24 GB jak pełna RTX PRO 4000, ale wolniejszą pamięć.

W sklepie jest też NVIDIA L4: pasywna karta serwerowa generacji Ada z 24 GB i poborem 72 W. Sprawdza się w serwerach, w których liczy się niski pobór prądu, np. przy rozpoznawaniu mowy czy analizie obrazu. Do dużych modeli językowych lepsze są karty z większą i szybszą pamięcią.

Kiedy Ada nadal ma sens

• Dokładasz kartę do istniejącego serwera. Jeśli w serwerze pracują już karty RTX 6000 Ada, a jeden model działa na kilku z nich, najprościej dołożyć kolejną taką samą.
• Trafiasz na wyraźnie niższą cenę. RTX 4000 Ada kosztuje dziś mniej niż RTX PRO 4000 Blackwell. Jeśli 20 GB wystarczy na Twoje modele, a budżet jest napięty, to rozsądny wybór.
• Masz starszy serwer ze złączami PCIe 4.0. Karty Blackwell w nim zadziałają, ale wolniej wymieniają dane z resztą komputera. Gdy model mieści się na jednej karcie, nie ma to znaczenia. Gdy jeden model działa na kilku kartach, warto to sprawdzić.

W pozostałych przypadkach przy nowym zakupie wybieramy Blackwell.

Karta czy komputer z GB10

Karta graficzna to nie jedyna droga do lokalnego AI. Komputer z układem GB10 (np. DGX Spark, Dell Pro Max GB10, Lenovo ThinkStation PGX) ma 128 GB pamięci wspólnej dla procesora i GPU w obudowie 15 × 15 cm. Mieści większe modele niż karta 96 GB, ale jego pamięć jest kilka razy wolniejsza niż w RTX PRO 5000 czy 6000 (ok. 273 GB/s), więc wolniej pisze odpowiedzi.

• Komputer z GB10, gdy chcesz uruchomić duży model dla kilku osób, bez serwerowni i przy niskim poborze prądu.
• Karta RTX PRO, gdy liczy się szybkość odpowiedzi, wielu użytkowników naraz albo rozbudowa o kolejne karty.

Porównanie obu konfiguracji opisujemy w artykule Jaki serwer do lokalnego LLM. Komputery z GB10 znajdziesz w sklepie, a wersję do zabrania ze sobą opisujemy w artykule DGX Spark, który możesz zabrać ze sobą.

Pytania i odpowiedzi

Źródła

• RTX PRO in Desktops: pamięć i pobór mocy kart Blackwell i Ada (NVIDIA)
• NVIDIA RTX PRO Blackwell Series GPUs (Exxact)
• NVIDIA RTX PRO 4000, 5000 and 6000 (Boston)
• Nvidia Blackwell RTX Pro with up to 96GB of VRAM (Tom's Hardware)