Muse Voice od Meta. Rozmowy wideo z awatarem AI w USA

Co potrafi Muse Voice

Muse Voice zmienia sposób kontaktu z agentem. Zamiast pisać, użytkownik dzwoni do Muse, zadaje pytania i zleca mu zadania, a agent odpowiada głosem. W trybie wideo towarzyszy temu animowany awatar nazywany Jolly, który można zastąpić postacią przypominającą człowieka, zwierzę albo inną wymyśloną figurę.

Meta zapowiada subtelną mimikę i gesty dopasowane do tonu rozmowy. Firma zakłada, że taka forma zwiększy więź użytkownika z agentem. To cel produktowy, a nie zmierzony efekt, i warto czytać go również jako sposób na wydłużenie czasu spędzanego w aplikacji.

Jak działają modele Muse Realtime

Wpis badawczy Meta z 23 września opisuje dwa modele połączone w jeden strumień. Muse Realtime Voice prowadzi rozmowę i tworzy tokeny mowy, czyli zakodowaną informację o treści i sposobie wypowiedzi. Z tego samego strumienia korzysta Muse Realtime Avatar, który generuje obraz. Dzięki temu ruch ust i mimika pozostają zsynchronizowane z głosem.

Podane przez Meta parametry to dane producenta, których nikt niezależny jeszcze nie potwierdził.

• Obraz w pionowej rozdzielczości 448 x 768 przy 25 klatkach na sekundę.
• Ok. 870 ms od końca wypowiedzi użytkownika do pierwszego bajtu odpowiedzi z głosem i obrazem.
• Do 12 równoległych sesji generowania wideo na jednym systemie NVIDIA GB200.
• Niewidoczny znak wodny Meta Video Seal w generowanym obrazie.

Jak Meta wypada na tle konkurencji

Meta porównała swój model z Runway Characters i HeyGen LiveAvatar. Oceniający prowadzili dwu- i trzyminutowe rozmowy i według firmy częściej wybierali Muse Realtime Avatar, także w ocenie jakości obrazu i synchronizacji. Przy manierach ruchowych różnica względem Runway nie była istotna statystycznie.

Test przeprowadził sam producent na wybranych kryteriach, więc nie przesądza on o przewadze. Wyników nikt niezależny dotąd nie powtórzył.

Ograniczenia i niewiadome

Meta zastrzega, że przykłady z wpisu pokazują możliwości modelu i nie wszystkie awatary są dostępne w aplikacji. Muse jest przeznaczony dla osób od 18. roku życia. Ani wpis, ani relacja TechCrunch nie podają, czy funkcja ma limity czasu rozmowy, czy wymaga płatnego planu ani jak długo przechowywane są nagrania głosu i obrazu.

Terminu nie ma też dla pozostałych urządzeń. Okulary AI i Muse Charm, małe urządzenie noszone przy sobie, mają otrzymać rozmowy na żywo później, a Muse Charm ma trafić na rynek przed końcem roku.

Czy Muse Voice zadziała w Polsce

Na razie nie. Dostępność obejmuje USA, a Meta nie zapowiedziała startu w Unii Europejskiej. Prywatność tej usługi nie jest przy tym sprawą teoretyczną, bo w październiku badacze z firmy Claroc opisali udostępnione rozmowy z Muse, które dało się odnaleźć bez otrzymania linku.

Wejście do UE wymagałoby odpowiedzi na kilka pytań. Rozmowa wideo oznacza przetwarzanie głosu i obrazu z kamery, jeśli użytkownik ją włączy, więc liczyć się będą podstawa prawna z RODO i zasady używania tych danych do trenowania modeli. AI Act wymaga też, aby osoba rozmawiająca z systemem AI wiedziała, że nie jest to człowiek. Przy animowanym zwierzaku jest to oczywiste, przy realistycznej twarzy już mniej.

Użytkownikom w Polsce pozostają dziś podobne tryby głosowe konkurencji. Przed podłączeniem takiego asystenta do służbowych spraw warto sprawdzić, czy nagrania nie trafiają do treningu modeli, i nie omawiać przy nim danych klientów.