DeepSeek udostępnia DeepInfer, silnik, na którym działa jego API

Czym jest DeepInfer

Inferencja to etap, w którym wytrenowany model odpowiada na zapytania użytkowników. Silnik inferencji decyduje, jak szybko i jak tanio się to dzieje, bo zarządza pamięcią GPU, kolejką zapytań i podziałem modelu między wiele kart. DeepInfer jest właśnie takim silnikiem i według README stanowi podstawę produkcyjnych usług DeepSeek.

Projekt powstał pierwotnie na bazie vLLM, popularnego otwartego silnika inferencji. Twórcy wymieniają też inspiracje SGLang i TensorRT-LLM firmy NVIDIA. DeepSeek dołożył do tego własne biblioteki, które publikował już wcześniej, m.in. FlashMLA, DeepGEMM i DeepEP, oraz jądra obliczeniowe napisane w języku TileLang.

Repozytorium utworzono 16 października 2026 roku, a publiczna zapowiedź pojawiła się 20 października. W ciągu kilku dni projekt zebrał na GitHubie ponad 10 tys. gwiazdek.

Co obsługuje pierwsza wersja

Lista funkcji pokazuje, że DeepSeek udostępnił mechanizmy przyspieszające generowanie odpowiedzi, a nie gotowy serwer. Najważniejsze z nich zebraliśmy poniżej na podstawie README z 20 października 2026 roku.

• Równoległość modelu, w tym podział ekspertów MoE między karty (expert parallelism) z równoważeniem obciążenia EPLB.
• DSpark, czyli dekodowanie spekulatywne. Model szkicuje kilka tokenów naraz, a następnie je weryfikuje, co skraca czas odpowiedzi.
• Asynchroniczne planowanie partii zapytań, które nakłada pracę procesora na obliczenia na GPU.
• Wyniki niezależne od składu partii i deterministyczne próbkowanie, czyli identyczna odpowiedź przy tych samych danych wejściowych. Obie funkcje działają tylko na NVIDIA.
• Ustrukturyzowane odpowiedzi zgodne z wyrażeniem regularnym, schematem JSON lub gramatyką EBNF.

Huawei Ascend obok NVIDIA

Najwięcej komentarzy wywołała lista sprzętu. DeepInfer od pierwszego dnia działa zarówno na kartach NVIDIA, jak i na układach Huawei Ascend 950. The New Stack zwrócił uwagę, że chiński sprzęt dostał w dokumentacji równorzędne miejsce. To kontynuacja wcześniejszych publikacji DeepSeek, który pod koniec września udostępnił wersje bibliotek DeepGEMM i DeepEP przygotowane dla Ascend.

Ma to znaczenie polityczne i biznesowe. USA ograniczają sprzedaż najmocniejszych chipów do Chin, a 19 października Departament Bezpieczeństwa Krajowego nakazał cywilnym agencjom federalnym usunięcie produktów DeepSeek. Otwarty silnik działający na sprzęcie Huawei ułatwia chińskim firmom uniezależnienie się od NVIDIA, a zarazem pozwala firmom spoza Chin uruchamiać modele DeepSeek na własnej infrastrukturze.

Czego brakuje do pełnej usługi

DeepSeek wprost zaznacza, że wydanie nie wystarczy do zbudowania usługi takiej jak jego API. Brakuje systemu pamięci podręcznej KV, która przechowuje wyniki pośrednie rozmowy i obniża koszt kolejnych zapytań. Nie ma też gotowego rozdzielenia etapów prefill i decode na osobne maszyny ani równoważenia ruchu między replikami. RuntimeWire podsumował to tak, że instalacja i obsługa usługi spadają na deweloperów.

Wymagania sprzętowe są wysokie. Testy wydajności DeepSeek przeprowadził na 4 kartach SM100 dla etapu prefill i na 64 kartach dla dekodowania. Wykresy w repozytorium porównują przepustowość z opóźnieniem, ale nie zawierają porównania z vLLM czy SGLang. Niezależnych pomiarów na razie brak.

Co to oznacza dla firm w Polsce

Dla większości polskich firm DeepInfer nie zmienia sposobu korzystania z modeli DeepSeek. Kto używa API lub gotowych platform, nie musi nic robić. Projekt jest istotny dla zespołów, które utrzymują własne klastry GPU, np. w centrach danych w UE ze względu na RODO lub tajemnicę przedsiębiorstwa. Mogą one porównać DeepInfer z dotychczasowym silnikiem i sprawdzić, czy przy V4.1 Flash daje niższy koszt na token.

Przed wdrożeniem warto sprawdzić trzy rzeczy. Po pierwsze, czy posiadany sprzęt jest zgodny, bo starsze generacje GPU NVIDIA nie są na liście. Po drugie, kto przejmie budowę brakujących elementów usługi. Po trzecie, ocenę ryzyka samego modelu, którą opisaliśmy przy okazji ceny API DeepSeek V4.1 Flash. Licencja Apache 2.0 dotyczy kodu silnika, a nie wag modelu, które mają własną licencję.

W naszej ocenie publikacja jest sygnałem dla rynku cen. Otwarte modele z Chin już wcześniej wymuszały obniżki, a teraz DeepSeek udostępnia także narzędzie do ich taniego uruchamiania. Realny wpływ będzie jednak widoczny dopiero po pierwszych niezależnych testach.