Co-Design Bench. Najlepszy agent kodu kończy 26 proc. zadań

Co mierzy Co-Design Bench

Autorzy odeszli od typowych zadań z gotowym kodem wzorcowym. Z 26 tys. rzeczywistych sesji programistycznych wyłowili ponad 37 tys. zapytań, a do testu wybrali 273. The Decoder zwraca uwagę, że wybierano przypadki, w których użytkownicy musieli przeformułować prośbę lub cofać zmiany.

Test ma dwa tory. Sto zadań to edycja multimodalna, czyli lokalna zmiana aplikacji internetowej na podstawie obrazu, nagrania, wideo lub dokumentu. Pozostałe 173 to edycja repozytorium, w której agent musi skoordynować zmiany w wielu miejscach kodu.

Ocena opiera się na 2331 ukrytych kryteriach przygotowanych przez ekspertów. Najpierw model językowy sprawdza kod i działanie aplikacji w przeglądarce, a drugi model próbuje podważyć każdy pozytywny werdykt. Wszystkie modele pracowały w Claude Code, z limitem 3 godzin i 120 tur.

Wyniki dziesięciu modeli AI

Lista jest uporządkowana według średniego odsetka spełnionych kryteriów. Druga wartość mówi, jaka część zadań została wykonana bez żadnego niespełnionego wymagania.

• GPT-6 Astra - 69,9 proc. kryteriów, 26,4 proc. zadań w całości,
• Claude Opus 5 - 66,1 proc. i 18,3 proc.,
• Qwen3.8-Max - 65,3 proc. i 16,5 proc.,
• Qwen3.8-27B - 64,4 proc. i 15,0 proc.,
• Kimi K3 - 62,9 proc. i 15,8 proc.,
• GPT-5.6 Sol - 61,1 proc. i 14,3 proc.,
• Claude Opus 4.8 - 58,1 proc. i 10,3 proc.,
• GLM-5.3 Flash - 57,3 proc. i 10,6 proc.,
• GLM-5.2 - 56,7 proc. i 9,5 proc.,
• Grok 4.6 - 51,1 proc. i 6,6 proc.

Gdzie agenci kodu tracą najwięcej

Największa różnica dzieli dwa tory. GPT-6 Astra w całości wykonał 41 proc. zadań multimodalnych i tylko 17,9 proc. zadań repozytoryjnych. Dobrze wypadł też Qwen3.8-27B, który w edycji repozytorium zajął drugie miejsce pod względem odsetka spełnionych kryteriów.

Wyniki spadają wraz ze złożonością prośby. Przy zmianach łączących trzy lub cztery typy prac średnia wyniosła 0,591 wobec 0,654 przy jednym lub dwóch typach, a odsetek prób bez żadnego spełnionego kryterium wzrósł z 0,9 do 5,8 proc. Spadek dotyczył każdego z testowanych modeli.

Słabym punktem pozostają też załączniki i nowe funkcje. Najniższy wynik zanotowano przy poleceniach z plikiem audio, a zadania polegające na budowie działającej funkcji zaliczono w całości tylko w 10,3 proc. przypadków. Przy dokumentach pełne zaliczenie dotyczyło 18,2 proc. prób wobec 37 proc. w zadaniach bez załączników.

Co wynik oznacza dla zespołów programistycznych

Wynik 70 proc. spełnionych kryteriów nie oznacza, że 70 proc. pracy można wdrożyć bez sprawdzenia. W tym teście w mniej więcej trzech na cztery zadania nawet najlepszy model zostawiał przynajmniej jedno niespełnione wymaganie. W naszej ocenie zespoły powinny potraktować to jako argument za ustalaniem kryteriów przed uruchomieniem agenta.

• spisuj warunki odbioru przed zleceniem pracy i sprawdzaj każdy z nich,
• dziel większe prośby tak, aby jedno zadanie obejmowało jeden typ zmian,
• testuj efekt w przeglądarce, bo poprawny kod nie gwarantuje działającego interfejsu,
• porównuj modele na własnym repozytorium, a nie wyłącznie na publicznych rankingach.

Ograniczenia badania

Praca ma status preprintu w arXiv, a strona publikacji nie informuje o recenzji naukowej. Wśród autorów są osoby związane z Alibabą, której dwa modele Qwen znalazły się w pierwszej czwórce. Autorzy sami zaznaczają, że ocena przez modele może być błędna, a test nie obejmuje kolejnych uwag użytkownika w trakcie pracy.

Porównania mają charakter opisowy, ponieważ zadania w poszczególnych grupach różnią się treścią. Główny ranking powstał w jednym środowisku, Claude Code, a inne narzędzia sprawdzono tylko dla dwóch modeli. Benchmark mierzy liczbę tokenów, a nie koszt w pieniądzach, i nie podaje wyników dla poleceń po polsku.