Nemotron 3.5 Transcribe. Otwarty model NVIDIA do transkrypcji po polsku

Czym jest Nemotron 3.5 Transcribe

Nemotron 3.5 Transcribe to model rozpoznawania mowy, który zamiast jednego stałego trybu pracy przyjmuje polecenie tekstowe. Można poprosić o zwykłą transkrypcję, transkrypcję z etykietami mówców, tłumaczenie na angielski albo streszczenie. Polecenie może zawierać listę trudnych terminów, na przykład nazw leków czy produktów, które model ma rozpoznać poprawnie.

Model ma architekturę mieszanki ekspertów (mixture of experts), w której przy przetwarzaniu każdego fragmentu aktywna jest tylko część sieci. Z 30 mld parametrów pracuje naraz około 4 mld, co obniża wymagania sprzętowe. NVIDIA udostępniła wagi w Hugging Face, NGC i build.nvidia.com, a obsługę w bibliotece NeMo Speech na GitHubie.

Jak model radzi sobie z polskim

Karta modelu zalicza polski do języków z najlepszą obsługą transkrypcji. Polski jest też na liście języków tłumaczonych w obie strony z angielskim i obsługuje przełączanie języków w jednej wypowiedzi, co przydaje się przy nagraniach z angielskimi wtrąceniami. Dla polskiego NVIDIA podaje wskaźnik błędu słów (WER) 3,81 proc. na zbiorze FLEURS, złożonym z czytanych zdań.

Ograniczenia dla polskiego są wyraźne. Transkrypcja z rozpoznaniem, kto mówi, obejmuje 13 języków, w tym angielski, niemiecki, francuski i włoski, ale bez polskiego. Funkcje rozumienia nagrania, takie jak odpowiadanie na pytania o jego treść, sprawdzano tylko po angielsku i karta modelu zastrzega, że w innych językach mogą działać zawodnie.

Wyniki i porównanie

Wyniki pochodzą od NVIDIA i nie zostały jeszcze niezależnie potwierdzone. Poniższa lista zestawia najważniejsze liczby z karty modelu.

• Średni WER na angielskim zestawie Open ASR Leaderboard (9 zbiorów) wynosi 4,71 proc.
• Średni WER na wielojęzycznym zestawie Open ASR (7 języków, bez polskiego) wynosi 4,62 proc.
• WER dla polskiego na zbiorze FLEURS wynosi 3,81 proc.
• Średni cpWER, czyli błąd z uwzględnieniem przypisania mówców, na nagraniach spotkań i rozmów telefonicznych wynosi 15,8 proc.
• Długie nagrania (zestaw long-form Open ASR) mają średni WER 10,98 proc., wyraźnie wyższy niż krótkie fragmenty.

Wymagania sprzętowe i licencja

NVIDIA zaleca uruchamianie modelu na jednej karcie H100 80 GB. Na liście zgodnego sprzętu są też m.in. A100 80 GB, H200, B200, DGX Spark i RTX PRO 6000 Blackwell, a karta RTX 5090 obsługuje model wyłącznie w formacie NVFP4. Model działa w vLLM, Hugging Face Transformers, GGML i SGLang-Omni, przy czym nie każde środowisko obsługuje znaczniki czasu, mówców i tłumaczenie.

Licencja OpenMDW-1.1 dopuszcza użycie komercyjne i niekomercyjne. Model jest bezpłatny do pobrania, więc koszt zależy od sprzętu lub wynajmu GPU w chmurze. Dla porównania usługi API, takie jak Gemini 3.5 Transcribe, rozlicza się za czas nagrania, ale nie wymagają własnej infrastruktury.

Ograniczenia

Nemotron 3.5 Transcribe przetwarza gotowe pliki i nie nadaje się do napisów na żywo ani do asystentów głosowych w czasie rzeczywistym. Działanie na nagraniach dłuższych niż godzina nie jest gwarantowane, a domyślny limit w vLLM wynosi 600 sekund i trzeba go podnieść do 3600. Karta modelu wspomina też o rzadkim zapętlaniu się generowania, na które NVIDIA dostarcza filtr.

Integracja z vLLM opublikowana razem z modelem jest według NVIDIA około dwa razy wolniejsza od zoptymalizowanego stosu, którego firma jeszcze nie udostępniła jako open source. Przed wdrożeniem w produkcie karta modelu zaleca testy na własnych danych.

Dla kogo w Polsce ma to sens

Największą zaletą modelu dla polskich firm i instytucji jest możliwość transkrypcji na własnym serwerze. Nagrania rozmów z klientami, posiedzeń czy wywiadów nie muszą trafiać do zewnętrznej usługi, co upraszcza ocenę zgodności z RODO. Z modelu mogą skorzystać redakcje, uczelnie, kancelarie i działy obsługi klienta, które mają już dostęp do GPU w serwerowni lub chmurze.

Brak rozpoznawania mówców po polsku ogranicza zastosowanie przy protokołach spotkań. W takim przypadku trzeba łączyć model z osobnym narzędziem do diaryzacji albo wybrać usługę, która obsługuje polskie nagrania wielu osób. W naszej ocenie przed decyzją warto porównać na kilku własnych nagraniach Nemotron 3.5 Transcribe z modelami dostępnymi przez API, uwzględniając koszt GPU i czas obsługi wdrożenia.