OpenAI publikuje testy kodowania w mniej popularnych językach, takich jak COBOL

19 października 2026 roku OpenAI opublikowało badanie o tym, jak jego modele radzą sobie z mniej popularnymi językami programowania, takimi jak COBOL, Fortran i Visual Basic. W tych językach jest znacznie mniej kodu i dokumentacji do nauki niż w Pythonie czy JavaScripcie. Według firmy prace wynikają z uwag programistów i klientów biznesowych, że modele do kodowania często mają z tymi językami problemy.

MultiLangBench wymaga od modelu zbudowania silnika bazy danych zgodnego z SQLite w wybranym języku. Wynik sprawdzają testy zaadaptowane z zestawu testów samego SQLite. Przy maksymalnym poziomie rozumowania GPT-6 Astra przekracza 83% w 19 z 20 języków, a najtrudniejszy pozostaje COBOL z wynikiem 72,1%. GPT-6 Luna osiąga 40,3% przy szacowanym średnim koszcie API 0,77 USD za próbkę, wobec 3,48 USD dla GPT-5.6 Sol. OpenAI udostępnia konfigurację testu, zestaw testów i wyniki dla każdego języka na GitHubie.

Drugi test polega na przeniesieniu programów w COBOL-u do C++, Javy, Kotlina, Pythona lub Rusta. Migracja liczy się jako udana tylko wtedy, gdy ukryte testy pokazują wyniki identyczne co do bajtu. GPT-6.1 Sol uzyskuje 86,6% przy niskim poziomie rozumowania, wobec 5,4% dla GPT-5.6 Sol, i kosztuje przy tym o 39% mniej. Przy wyższym poziomie rozumowania wynik sięga 97,9%. OpenAI zaznacza, że użycie tego w oprogramowaniu produkcyjnym nadal wymaga przeglądu przez ekspertów i testów.