GitHub Copilot z computer use obsłuży aplikacje na pulpicie

Co zmienia computer use w GitHub Copilot

Computer use to zdolność agenta AI do obsługi interfejsu graficznego tak, jak robi to człowiek. Copilot odczytuje zawartość okien przez drzewo dostępności systemu operacyjnego, czyli strukturę opisującą przyciski i pola dla czytników ekranu. Gdy to nie wystarcza, korzysta ze zrzutów ekranu. Na tej podstawie klika kontrolki, wpisuje i poprawia tekst, naciska klawisze, przewija i przeciąga elementy.

GitHub kieruje tę funkcję do zadań w starszym oprogramowaniu, które nie ma API, wiersza poleceń ani integracji przez MCP (Model Context Protocol, standard łączenia agentów z narzędziami). Dokumentacja podaje przykłady takie jak podsumowanie danych w starej aplikacji desktopowej, aktualizacja prezentacji czy przeniesienie informacji między programami w kilkuetapowym procesie. Firma zastrzega, że jeśli zadanie da się wykonać przez API, terminal albo dedykowane narzędzie przeglądarki, takie rozwiązanie da bardziej przewidywalny wynik.

Jak włączyć computer use krok po kroku

Funkcja jest domyślnie wyłączona, więc trzeba ją świadomie aktywować. Procedura różni się w zależności od narzędzia.

1. Copilot CLI: w sesji wpisz /computer on. Polecenie /computer show pokazuje stan funkcji, a /computer off ją wyłącza.
2. Aplikacja GitHub Copilot: otwórz Settings, wybierz Computer Use i zaznacz Enable Computer Use. Działa też polecenie /computer on.
3. macOS: przy pierwszym uruchomieniu Copilot poprowadzi przez nadanie uprawnień Accessibility (sterowanie kontrolkami) i Screen Recording (podgląd okien).
4. W poleceniu opisz oczekiwany efekt, programy, których dotyczy zadanie, i ograniczenia, na przykład że agent nie może niczego zapisywać bez potwierdzenia.
5. Aby przerwać działanie agenta, w CLI naciśnij dwa razy Esc, a w aplikacji kliknij Stop albo naciśnij Esc.

Zgody i kontrola w firmie

Copilot prosi o zgodę przed przejęciem kontroli nad każdym programem. Można ją dać tylko na bieżącą sesję, zapamiętać na przyszłość albo odmówić. Wybór Always allow jest zapisywany lokalnie i obowiązuje jednocześnie w CLI i w aplikacji na tym samym komputerze. Listę zapamiętanych programów da się przejrzeć w aplikacji i usuwać z niej pojedyncze pozycje, ale usunięcie nie odbiera dostępu w sesji, która już trwa.

Reguły blokujące narzędzie mają pierwszeństwo przed automatycznymi zgodami. Administratorzy w firmach mogą wyłączyć computer use w ustawieniach zarządzanych, a włączenie funkcji lokalnie nie omija polityki organizacji. GitHub nie podał w komunikacie ograniczeń dotyczących planów ani osobnej opłaty za tę funkcję.

Ograniczenia i ryzyka

Dokumentacja GitHub wprost wymienia słabe strony funkcji. Interfejsy zmieniają się między wersjami programów, systemami i stanami okien, więc agent może wybrać zły przycisk, wpisać tekst w niewłaściwe pole albo powtórzyć czynność. Gorzej radzi sobie z niestandardowymi, dynamicznymi kontrolkami i długimi procesami.

Drugie ryzyko dotyczy bezpieczeństwa. Niejasne polecenie lub nieoczekiwana treść na ekranie mogą wywołać działania, które wpłyną na dane, urządzenie albo podłączone konta, także bankowe i firmowe. Zawartość okien, w tym dane innych osób, trafia do Copilota jako kontekst. GitHub odradza wybieranie Always allow dla programów z wrażliwymi informacjami lub takich, w których jedno kliknięcie ma poważne skutki.

Co to oznacza dla polskich zespołów

W wielu firmach część pracy wciąż odbywa się w starszych programach księgowych, magazynowych czy kadrowych, które nie mają API. Computer use pozwala zautomatyzować takie czynności bez budowania integracji. Dla zespołów IT to sposób na szybkie przetestowanie automatyzacji, zanim zapadnie decyzja o kosztownym wdrożeniu.

W naszej ocenie na etapie public preview funkcję warto testować na kopiach danych lub kontach testowych, a nie w systemach produkcyjnych. Jeśli w oknach widać dane osobowe klientów lub pracowników, ich przekazanie do Copilota wymaga oceny zgodności z RODO i firmową polityką AI. Działy IT powinny też od razu zdecydować, czy dopuszczają tę funkcję, i w razie potrzeby wyłączyć ją w ustawieniach zarządzanych.