OpenAI poprawia modele w COBOL-u, Fortranie i Visual Basicu

Co OpenAI sprawdził w starych językach programowania

OpenAI przygotował dwa własne testy. Pierwszy, MultiLangBench, sprawdza, czy model potrafi od zera zbudować silnik bazy danych zgodny z SQLite w jednym z 20 języków programowania. Drugi mierzy, czy model przeniesie istniejący program napisany w COBOL-u do innego języka bez zmiany jego zachowania.

Firma tłumaczy wybór tematu opiniami klientów korporacyjnych. Modele dobrze radzą sobie z Pythonem czy JavaScriptem, bo w sieci jest ogromnie dużo kodu w tych językach. Kodu w COBOL-u i Fortranie jest znacznie mniej, a dokumentacja starych systemów bywa niepełna. Według danych IBM przytoczonych przez OpenAI COBOL obsługuje ponad 40 proc. systemów bankowości internetowej i 95 proc. transakcji w bankomatach.

Wyniki testów w liczbach

Największą różnicę widać w migracji COBOL-a. OpenAI uznaje przeniesienie programu za udane tylko wtedy, gdy wszystkie ukryte testy dają wynik identyczny co do bajtu z oryginałem. Firma podaje, że GPT-6.1 Sol osiągnął przy tym koszt API o 39 proc. niższy od GPT-5.6 Sol.

W teście MultiLangBench wyniki wybranych języków przedstawiają się następująco (średni odsetek zdanych testów przy maksymalnym poziomie rozumowania).

• COBOL - 10,9 proc. dla GPT-5.6 Sol, 17,1 proc. dla GPT-6 Luna, 72,1 proc. dla GPT-6 Astra,
• Fortran - 21,4 proc., 31,4 proc. i 83,5 proc.,
• Visual Basic - 27,5 proc., 41,6 proc. i 89,4 proc.,
• OCaml - 25,6 proc., 34,1 proc. i 85,8 proc.,
• średnio w 20 językach - 26,8 proc., 40,3 proc. i 87,4 proc.

Tańszy wariant GPT-6 Luna

OpenAI pokazał też, ile kosztuje jedna próba w teście MultiLangBench. Dla GPT-6 Luna szacunkowy koszt API wyniósł średnio 0,77 USD, a dla GPT-5.6 Sol 3,48 USD, czyli ok. 3 zł wobec ok. 13,56 zł według kursu NBP z 20 października 2026 roku (1 USD = 3,8959 zł). Luna zdaje jednak mniej testów niż Astra, więc nadaje się raczej do prostszych zadań niż do budowy dużych modułów.

Firma nie podała kosztu pojedynczej próby dla GPT-6 Astra w tym teście. Ceny modeli w API opisujemy w osobnych materiałach o GPT-6 Astra i GPT-6.1 Sol.

Co to oznacza dla banków i administracji

Stare systemy w COBOL-u działają także w polskich bankach, ubezpieczalniach i instytucjach publicznych. Ich utrzymanie jest drogie, bo specjalistów od COBOL-a ubywa, a reguły biznesowe często istnieją tylko w kodzie. Lepsze modele mogą skrócić analizę takiego kodu i przygotowanie pierwszej wersji migracji.

OpenAI zwraca uwagę na pułapki. COBOL domyślnie obcina nadmiarowe miejsca po przecinku, jeśli program wprost nie każe ich zaokrąglać. Przepisany program, który zaokrągla kwoty, może działać bez błędów, a mimo to dawać inne wyniki finansowe. Dlatego w naszej ocenie model może przyspieszyć migrację, ale nie zastąpi testów porównujących stary i nowy system na prawdziwych danych.

Ograniczenia wyników

Oba testy zaprojektowało OpenAI i firma sama ogłasza wyniki. Konkurencyjni dostawcy nie byli w nich porównywani, a niezależnych pomiarów jeszcze nie ma. Zestaw MultiLangBench jest dostępny na GitHubie, więc zespoły mogą sprawdzić wyniki we własnych językach. Testu migracji COBOL-a OpenAI nie udostępnił.

Firma nie ogłosiła osobnego produktu do modernizacji kodu. Zachęca do testowania najnowszych modeli przez API na własnych zadaniach programistycznych.