Harness agenta kodu podnosi koszt, nie skuteczność. Badanie

Co porównali autorzy badania

Praca nosi tytuł „What Does a Harness Buy? Tokens, Mostly”, a jej autorami są Yangze Liu i Zhongyi Han. Harness to wszystko, co agent dokłada do samego modelu: prompt systemowy, zestaw narzędzi, sposób zarządzania kontekstem i reguły ponawiania kroków. Badacze chcieli sprawdzić, czy rozbudowany harness rzeczywiście poprawia wyniki, czy głównie zwiększa liczbę przesyłanych tokenów.

W testach użyto trzech harnessów. Claude Code 2.1 to rozbudowany agent Anthropic, OpenCode 1.18 to popularne narzędzie open source, a mini-SWE-agent 2.4.6 to ok. 100 linii kodu w Pythonie z jednym narzędziem do poleceń powłoki i bez kompresji kontekstu. W tych środowiskach uruchamiano otwarte modele Qwen3.6-35B-A3B i Qwen3.8-27B na własnych serwerach oraz DeepSeek-V4-Flash, GLM-5.3-Flash i HY4-Preview przez API dostawców. Claude Opus 5 posłużył jako punkt odniesienia, ale działał tylko w Claude Code.

Zadania pochodziły z SWE-bench Verified, zestawu prawdziwych zgłoszeń błędów z projektów open source w Pythonie. Autorzy podzielili go na pulę 447 zadań i 45 najtrudniejszych. Agenty pracowały w odizolowanych kontenerach bez dostępu do internetu, bo we wcześniejszych przebiegach z siecią część z nich odnajdywała gotową poprawkę napisaną przez ludzi.

Skuteczność prawie się nie zmienia

Na dużej puli zadań różnice między Claude Code a mini-SWE-agent były niewielkie i nie zawsze na korzyść bardziej rozbudowanego narzędzia. Jedyną wyraźną różnicą była przegrana OpenCode, który tracił do 9 punktów procentowych. Poniżej wyniki dla dwóch modeli Qwen, policzone przez nas z liczby rozwiązanych zadań podanej w pracy.

Według autorów połowa straty OpenCode na modelu Qwen3.8-27B wynikała z jednego ograniczenia. Narzędzie ucina odpowiedź modelu na 32 tys. tokenów i nie prosi go o kontynuację, więc zadanie zwykle kończy się bez zmian w kodzie. Takie przerwane próby kończyły się sukcesem w 7,9 proc. przypadków, a pozostałe w 75,9 proc. Claude Code w podobnej sytuacji wznawiał pracę własnym poleceniem.

• Qwen3.6-35B-A3B rozwiązał w Claude Code ok. 70 proc., mini-SWE-agent ok. 71 proc., OpenCode ok. 67 proc.
• Qwen3.8-27B rozwiązał w Claude Code ok. 78 proc., mini-SWE-agent ok. 79 proc., OpenCode ok. 70 proc.
• Na 45 najtrudniejszych zadaniach zmiana harnessu odwraca wynik ok. 13 proc. zadań, a ponowne uruchomienie tego samego zestawu daje podobny odsetek.

Skąd biorą się różnice w koszcie

Koszt zależy głównie od stałego wstępu, który harness wysyła przy każdym kroku. Składają się na niego prompt systemowy i opisy narzędzi. W Claude Code było to 16 581 tokenów, w OpenCode 7025, a w mini-SWE-agent 829. Ten wstęp powtarza się przy każdym wywołaniu modelu, więc rachunek rośnie wraz z liczbą kroków, a na modelu GLM-5.3-Flash Claude Code wykonywał średnio 88 kroków na zadanie.

Efekt zależy jednak od modelu i jego cennika. Na GLM-5.3-Flash Claude Code był prawie dwa razy droższy od mini-SWE-agent, ale na DeepSeek-V4-Flash koszty Claude Code, mini-SWE-agent i harnessu DeepSeek (dsh) wyniosły od 0,98 do 1,04 juana na zadanie. Autorzy zaznaczają, że tańsze tokeny z pamięci podręcznej obniżają rachunek, ale nie zmieniają kolejności harnessów.

Ile to kosztuje w złotych

Autorzy liczyli koszty według cennika dostawców w juanach. Przeliczyliśmy je po kursie średnim NBP z 23 października 2026 roku (1 CNY = 0,5883 zł). Dane dotyczą 45 najtrudniejszych zadań i modelu GLM-5.3-Flash, więc pokazują proporcje, a nie typowy rachunek zespołu.

Przy 1000 takich zadań miesięcznie różnica między Claude Code a mini-SWE-agent wyniosłaby ok. 490 zł przy zbliżonej skuteczności. OpenCode jest najtańszy, ale na dużej puli rozwiązywał wyraźnie mniej zadań. Dla Claude Opus 5 autorzy podają tylko szacunek z samego Claude Code, ok. 1,5-1,8 USD na próbę, bo testy prowadzono w ramach subskrypcji, a nie rozliczenia za tokeny.

• Claude Code kosztuje 1,81 CNY za zadanie, ok. 1,06 zł, przy 1000 zadań ok. 1065 zł.
• mini-SWE-agent kosztuje 0,97 CNY za zadanie, ok. 0,57 zł, przy 1000 zadań ok. 571 zł.
• OpenCode kosztuje 0,56 CNY za zadanie, ok. 0,33 zł, przy 1000 zadań ok. 329 zł.

Ograniczenia badania

Praca jest preprintem, który nie przeszedł recenzji naukowej, a jej wyniki opierają się na jednym benchmarku. Dodatkowy test na Terminal-Bench 2.1 objął tylko jeden model i 50 zadań. Najmocniejszy model w zestawieniu, Claude Opus 5, działał wyłącznie w Claude Code, więc porównanie trzech harnessów kończy się na słabszych modelach. Na lokalnych modelach Qwen limity czasu nie były równe dla wszystkich wariantów.

Badanie mierzy też tylko poprawki błędów w Pythonie. Nie obejmuje pracy z dużym repozytorium firmy, długich sesji z człowiekiem ani funkcji, za które zespoły wybierają Claude Code, takich jak integracje, uprawnienia czy rozszerzenia. Autorzy udostępnili kod i dane na GitHubie, co pozwala powtórzyć eksperyment.

Co mogą zrobić zespoły programistów

Dla firm w Polsce, które płacą za agentów kodu z API, wniosek jest praktyczny. Wybór harnessu lepiej oceniać łącznie ze skutecznością i kosztem rozwiązanego zadania, bo sam wynik w rankingu pomija rachunek za tokeny. Pojedyncza różnica kilku punktów w benchmarku może być szumem, co autorzy pokazali, uruchamiając te same konfiguracje ponownie.

1. Zmierz liczbę tokenów i koszt na zadanie na własnych zgłoszeniach, a nie tylko na publicznym benchmarku.
2. Uruchom tę samą konfigurację dwa razy, zanim uznasz różnicę wyników za realną.
3. Sprawdź, ile tokenów zajmuje prompt systemowy i opisy narzędzi, zwłaszcza po dodaniu serwerów MCP i własnych umiejętności agenta.
4. Włącz buforowanie promptów u dostawcy modelu, bo stały wstęp jest wysyłany przy każdym kroku.
5. Ustal limit odpowiedzi i sposób wznawiania przerwanych kroków, żeby uniknąć prób zakończonych bez zmian w kodzie.