NVIDIA Cosmos 3 Nano. Otwarte modele do symulacji aut i robotów

Co NVIDIA udostępniła w Cosmos 3 Nano

Modele świata to sieci, które przewidują, jak zmieni się otoczenie po działaniu auta lub robota. Dzięki nim zespół może sprawdzać oprogramowanie na symulowanych sytuacjach, zanim wyśle maszynę na drogę lub do zakładu. Rodzina Cosmos 3 jest znana od czerwca, a nowością są cztery gotowe warianty pod konkretne zadania.

• Cosmos3-Nano-Transfer-Auto. Generuje offline dane z jazdy i zmienia warunki, na przykład dzienny przejazd w deszczową noc, przy zachowaniu układu drogi i ruchu aut.
• Cosmos3-Nano-Sim-Auto. Strumieniuje zsynchronizowany obraz z kamer i LiDAR w kilku krokach odszumiania, na potrzeby symulacji w zamkniętej pętli.
• Cosmos3-Nano-Sim-Transfer. Zamienia sterowanie z symulatora fizyki i opis tekstowy w fotorealistyczne wideo, co pomaga rozszerzać nagrania demonstracji robotów.
• Cosmos3-Nano-Sim-Bimanual. Przewiduje obraz na podstawie akcji robota lub kamery, także dla dwuramiennych platform YAM i AgiBot.

Jakie są wymagania i licencja

Licencja OpenMDW 1.1 pozwala na użytek komercyjny i niekomercyjny na jej warunkach. Sprzęt jest trudniejszą barierą, bo wymagania pamięci przewyższają możliwości typowych kart konsumenckich. NVIDIA podaje je dla Cosmos3-Nano, a nie osobno dla każdego z czterech wariantów, więc poniższe liczby są punktem odniesienia.

• Pamięć GPU w generowaniu - 58 GiB w BF16, 44 GiB w FP8 i 31 GiB w FP8 z offloadingiem, czyli przenoszeniem części modelu poza GPU.
• Przykładowe uruchomienia Transfer-Auto i Sim-Auto wykorzystują cztery GPU.
• Oprogramowanie to Linux, GPU NVIDIA, Docker i NVIDIA Container Toolkit.
• Konfigurację z vLLM-Omni testowano na jednym GB200. Autorzy zastrzegają, że nie jest to minimalna specyfikacja.
• Transfer-Auto przyjmuje i zwraca wideo 30 kl./s, do 400 klatek w 480p lub 720p. Dłuższe sekwencje trzeba dzielić na części.

Czego NVIDIA jeszcze nie pokazała

Parametry pochodzą od producenta, a my nie uruchamialiśmy tych modeli. We wpisach nie ma czasów generowania ani opóźnień dla czterech wariantów, a to one decydują o przydatności w symulacji na żywo. Dane o przyspieszeniu 2-3 razy na H200 dotyczą ogólnej techniki w Cosmos NIM, a nie tego pakietu.

Autorzy sami przyznają, że trzeba dopiero zmierzyć, gdzie modele wiernie wspierają uczenie i ocenę systemów. Ładny obraz nie dowodzi bowiem, że odległości w danych LiDAR czy zachowanie innych aut są zgodne z fizyką. Wyniki z generowanych danych nie zastępują testów na torze ani procedur bezpieczeństwa wymaganych przy dopuszczaniu pojazdów.

Co to oznacza dla polskich firm i uczelni

Najbardziej skorzystają zespoły budujące systemy wizyjne, robotykę magazynową i przemysłową oraz dostawcy branży motoryzacyjnej. Otwarte wagi pozwalają dotrenować Transfer-Auto na własnym układzie kamer i LiDAR, także w polskich warunkach drogowych. Mniejsze zespoły powinny policzyć koszt wynajmu GPU, zanim zaplanują własny projekt.

1. Sprawdź warunki OpenMDW 1.1 i pochodzenie danych, których chcesz użyć do dotrenowania.
2. Uruchom gotowy przykład i zmierz czas generowania na swoim sprzęcie lub w wynajętej chmurze.
3. Porównaj wygenerowane sceny z własnymi nagraniami, zwłaszcza z danymi LiDAR.
4. Traktuj dane syntetyczne jako uzupełnienie rzeczywistych nagrań, a nie ich zamiennik.