AnthropicがIBMを揺るがした後、OpenAIも満点に近いCOBOL移行の成績を出した

動察 Beating AI 速報、今年2月、AnthropicがClaude CodeによるCOBOL旧システムの刷新能力を宣伝した後、IBMの株価は1日で13.2%急落した。

8か月後、OpenAIもGPT-6シリーズの古いプログラミング言語における最新の成績を公表し、そのうちCOBOLコード移行テストの最高成功率は97.9%に達した。

COBOLは1950年代に誕生し、今日でも銀行取引、ATM、保険システムで広く使われている。多くのプログラムは数十年間稼働し続け、元の開発者はすでに退職しており、一部の業務ルールはコードの中にしか存在しないものさえある。それらを現代的な言語に書き換えるには、コードが動くようにするだけでなく、計算結果が完全に一致することを保証しなければならない。例えばCOBOLでは定点数演算において、四捨五入が明示的に要求されていなければ、余分な小数位をそのまま切り捨てる。新しいプログラムで四捨五入に変更すると、金融帳簿に誤りが生じる可能性がある。

OpenAIはAIがCOBOLプログラムをC++、Java、Python、Rustなどの言語に書き換える能力を専門にテストし、新旧プログラムのテストにおける出力がバイト単位で一致することを求めた。GPT-6.1 Solは低推論設定での成功率が86.6%に達し、前世代のGPT-5.6 Solはわずか5.4%で、推定APIコストも39%削減された。推論設定を上げると、成功率はさらに97.9%に達した。

OpenAIはさらにMultiLangBenchをオープンソース化し、AIが20種類のプログラミング言語それぞれで、ゼロからSQLite互換のデータベースエンジンを書くことを求めた。GPT-6 Astraの平均テスト合格率は87.4%、GPT-5.6 Solは26.8%だった。うち両モデルはCOBOLでそれぞれ72.1%と10.9%を記録し、これが20言語の中で最も難しいものだった。