ChatGPTの超長文チャット読み込み速度が94%向上：741ターンの会話が28秒から2秒に短縮

動察 Beatingのモニタリングによると、OpenAIはChatGPTとCodexの超長文会話体験の最適化を準備しており、来週リリース予定です。内部テストでは、741ラウンド、231MBの巨大なチャットを処理した後、平均オープン時間が27.62秒から1.66秒に短縮され、読み込み速度が約94%向上しました。

今回の最適化は主にチャット履歴の読み込みに関するもので、モデルの応答速度の向上ではありません。テストでは、読み込む必要のある会話項目が15,529件から64件に削減され、リクエスト回数は894回から16回に減少し、アプリ全体のメモリ増加も41.2%削減されました。

ChatGPTやCodexを長期間使用しているユーザーにとって、これは古い会話を開く際の待ち時間を大幅に短縮します。これまで超長いスレッドが進むにつれて動作が重くなる主な原因は、クライアントが大量の履歴メッセージを処理する必要があったためです。今回OpenAIは読み込むデータ量を直接削減しました。