Guided Vision w Gemini Live: pomoc dla osób niewidomych

Co potrafi Guided Vision

Guided Vision to tryb rozmowy w Gemini Live, w którym użytkownik udostępnia obraz z kamery, a asystent na bieżąco mówi, co widzi. Różnica wobec zwykłego udostępniania kamery polega na wskazówkach dotyczących kadru. Gdy etykieta jest ucięta albo za ciemna, asystent podpowiada, jak przesunąć lub obrócić telefon.

Google wymienia konkretne sytuacje: odczytanie tabeli wartości odżywczych, ustawienia pokrętła w pralce, karty w restauracji, odnalezienie przedmiotu w pokoju, opis koloru i wzoru ubrania oraz poznanie nieznanego pomieszczenia. Rozmowa może toczyć się w różnych językach obsługiwanych przez Gemini Live.

Dla kogo jest funkcja

Głównymi odbiorcami są osoby niewidome i słabowidzące. Google wskazuje jednak także osoby starsze, osoby z trudnościami w czytaniu oraz każdego, kto musi odczytać drobny druk przy słabym świetle. W Polsce może to dotyczyć na przykład seniorów czytających ulotki leków czy instrukcje urządzeń.

Przy pracy nad funkcją Google współpracował z Aira, amerykańską firmą łączącą osoby niewidome z przeszkolonymi asystentami przez wideo. Aira przekazała dziesiątki tysięcy godzin nagrań z opisami wizualnymi, a ponad 1000 jej testerów pomagało dopracować model.

Jak włączyć Guided Vision

Google opisuje trzy drogi dostępu. Funkcja działa na telefonach z Androidem 9 lub nowszym, a dostępność może pojawiać się stopniowo. Redakcja nie sprawdziła jeszcze działania funkcji na polskim urządzeniu.

• W aplikacji Gemini: ustawienia aplikacji, a następnie opcja Guided Vision dla Gemini Live.
• Przez skrót ułatwień dostępu w ustawieniach Androida.
• Z poziomu czytnika ekranu TalkBack, z którego korzysta wiele osób niewidomych.

Ograniczenia i bezpieczeństwo

Google wyraźnie zaznacza, że Guided Vision nie jest wyrobem medycznym, pomocą w poruszaniu się ani narzędziem nawigacyjnym i nie zastępuje białej laski. Funkcja nie powinna więc służyć do przechodzenia przez jezdnię czy orientacji w ruchu ulicznym.

Model językowy może się pomylić, zwłaszcza przy liczbach, dawkach i datach ważności. W sprawach zdrowia i bezpieczeństwa wynik warto potwierdzić u drugiej osoby lub w innym źródle. Trzeba też pamiętać, że obraz z kamery trafia do usług Google, więc nie należy pokazywać dokumentów z danymi osobowymi bez potrzeby.

Google nie podał, czy funkcja działa jednakowo dobrze we wszystkich językach. Jakość opisu po polsku, szczególnie przy odczycie polskich etykiet, wymaga praktycznego sprawdzenia.