NVIDIA Minerva. AI ma wykrywać awarie w fabrykach AI

Czym jest NVIDIA Minerva

Minerva to oprogramowanie dla zespołów utrzymujących duże klastry GPU. Zbiera telemetrię, czyli bieżące pomiary pracy sprzętu i oprogramowania, z całej fabryki AI i porządkuje ją w grafie zależności. Dzięki temu system wie, które zadanie treningowe działa na której karcie, przez który przełącznik i kabel przechodzą jego dane.

Na tej mapie pracują modele uczenia maszynowego. Mają poznać normalne zachowanie klastra, wychwycić nietypowe odchylenia, przewidzieć zbliżające się usterki i powiązać zdarzenia według topologii sieci. Platforma ma też wbudowanego asystenta AI, któremu można zadawać pytania w języku naturalnym, oraz łączy się z zewnętrznymi narzędziami agentowymi.

Jaki problem ma rozwiązać

W dużym klastrze jedna słabsza część potrafi spowolnić całe zadanie. NVIDIA podaje przykłady karty GPU, która nagrzewa się bardziej niż sąsiednie, albo dysku NVMe tracącego wydajność pod obciążeniem. Takie sygnały łatwo przeoczyć wśród tysięcy alertów, a skutkiem są przerwane treningi i niewykorzystane godziny pracy GPU.

Firma opisuje cel platformy jako wzrost wydajności fabryki AI (AI factory yield). Mierzy go godzinami pracy GPU, goodputem, czyli ilością użytecznej pracy po odjęciu powtórzeń i przestojów, czasem dostępności klastra oraz liczbą wytworzonych tokenów. Usterki mają być usuwane ręcznie przez człowieka albo automatycznie przez interfejsy infrastruktury i systemy zewnętrzne.

Kto zapowiedział wdrożenie

Lista partnerów pokazuje, że Minerva celuje w operatorów największych instalacji GPU, a nie w pojedyncze serwerownie. Według komunikatu NVIDIA wygląda ona tak.

• Użytkownik referencyjny - IREN, operator centrów danych AI. Dyrektor technologiczny Denis Skrinnikoff mówi, że platforma daje zespołowi jeden widok sieci, GPU i działających na nich zadań.
• Planowane wdrożenia - Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla.
• Producenci serwerów - Dell Technologies, Lenovo i Supermicro mają włączyć Minerva do swoich usług utrzymania fabryk AI.

Ograniczenia i niewiadome

Wszystkie informacje pochodzą od NVIDIA. Komunikat nie zawiera żadnych liczb dotyczących skuteczności, na przykład o ile skraca się czas naprawy albo wydłuża okres między przerwami. Nie wiadomo też, ile platforma kosztuje, czy wymaga sprzętu sieciowego NVIDIA i jak ma się do oferowanego już przez firmę oprogramowania Mission Control do zarządzania klastrami.

Na rynku działają też niezależni dostawcy podobnych narzędzi, a firmy budujące odporność klastrów pozyskują kapitał. W naszej ocenie przewagą NVIDIA jest dostęp do danych z własnych GPU, kart sieciowych i przełączników. Ta sama cecha może jednak mocniej związać operatora z jednym dostawcą.

Co to oznacza dla polskich operatorów

Polska nie pojawia się w komunikacie, ale coraz więcej instytucji w kraju utrzymuje własną infrastrukturę NVIDIA. Przykładem jest Centrum e-Zdrowia, które buduje platformę usług AI na klastrze DGX BasePOD. Dla takich zespołów liczy się każda godzina pracy drogich kart, a awaria w środku długiego treningu oznacza stracone dni obliczeń.

Operatorzy klastrów GPU w Polsce mogą traktować Minerva jako sygnał, że monitorowanie fabryk AI przesuwa się od prostych progów alarmowych do przewidywania usterek. Przed rozmową z dostawcą warto zapytać o cenę, wymagania sprzętowe, możliwość pracy bez połączenia z chmurą producenta i miejsce przetwarzania telemetrii, bo te dane opisują całą infrastrukturę organizacji.