Clockwork.io zebrał 31 mln USD na odporność klastrów GPU

Kto zainwestował i kto korzysta

Rundę współprowadzili Premji Invest, Wing Venture Capital i Seligman Ventures, a udział wzięli też dotychczasowi inwestorzy NEA i e& Capital. Łączne finansowanie Clockwork.io wzrosło do 73 mln USD, czyli około 285,6 mln zł. Firmą kieruje Suresh Vasudevan.

Wśród klientów spółka wymienia LinkedIn, Together AI, WhiteFiber, Wells Fargo, Nebius i Nscale. Z oprogramowania korzystają więc zarówno firmy trenujące własne modele, jak i dostawcy chmur GPU, którzy odsprzedają moc obliczeniową innym.

Dlaczego awarie GPU kosztują tak dużo

Trening dużego modelu działa na tysiącach kart GPU połączonych szybką siecią. Awaria jednego łącza lub jednej karty zwykle zatrzymuje całe zadanie, które trzeba wznowić od ostatniego punktu kontrolnego, czyli zapisanego stanu treningu. Clockwork.io przywołuje dane Meta z treningu Llama 3: na klastrze 16 384 kart GPU przez 54 dni przerwy zdarzały się średnio co około trzy godziny.

Według komunikatu odtworzenie pracy z punktu kontrolnego może trwać nawet 90 minut. Przy tej skali każda awaria oznacza tysiące zmarnowanych godzin pracy GPU, za które firma płaci niezależnie od wyniku.

Jak działa oprogramowanie Clockwork.io

Clockwork.io dodaje warstwę programową między kartami GPU a uruchomionymi zadaniami AI. Synchronizuje klaster i zbiera bardzo dokładną telemetrię, aby wykrywać usterki, zanim wymuszą restart całego klastra. Firma oferuje kilka narzędzi:

• LinkPass - przekierowuje ruch sieciowy wokół uszkodzonego łącza, tak że zadanie nie zauważa awarii,
• TorchPass - przenosi pracę z awaryjnej karty GPU na sprawną, dzięki czemu trening nie cofa się do punktu kontrolnego,
• migawki wielowęzłowe - zapisują stan rozproszonego zadania bez zmian w kodzie i mają przyspieszać uczenie ze wzmocnieniem,
• FleetLens - monitoruje wydajność i poprawność konfiguracji klastra.

Ograniczenia i niewiadome

Wyniki wydajności, w tym spadek utraty mocy z 14 proc. do poniżej 3 proc., pochodzą z komunikatu spółki, który powołuje się na testy firmy analitycznej SemiAnalysis. Nie są niezależnym audytem na różnych typach sprzętu. Clockwork.io nie publikuje cennika, a firma nie podała typu rundy ani wyceny.

Nie ma też informacji o dostępności usług w europejskich centrach danych. Klienci w Polsce mogą trafić na to oprogramowanie pośrednio, jeśli korzystają z dostawcy chmury GPU, który je wdrożył.

Co to oznacza dla zespołów trenujących modele

Runda pokazuje, że inwestorzy finansują narzędzia poprawiające wykorzystanie już kupionego sprzętu, a nie wyłącznie nowe centra danych. Przy klastrach liczących setki lub tysiące kart GPU kilka procent odzyskanej mocy oznacza realne oszczędności dla każdego, kto trenuje lub dostraja modele na wielu węzłach.

W naszej ocenie polskie zespoły badawcze i firmy wynajmujące klastry GPU powinny pytać dostawców o mechanizmy odporności na awarie, częstotliwość punktów kontrolnych i zasady rozliczania przestojów. Te parametry wpływają na koszt treningu bardziej niż sama cena godziny GPU w cenniku.