動察 Beating AI速報、OpenAIは今年の夏、AIスタートアップのGoodfireと何度も交渉し、CEOのSam Altmanも自ら参加した。ある幹部は、設立わずか2年のこの会社を50億ドル以上で買収することを提案した。
Goodfireの今年2月の評価額はわずか12.5億ドルだったが、数ヶ月後、OpenAIの幹部は4倍以上の価格での買収を提案した。Anthropicはさらに早く、昨年すでに100万ドルを投資していた。
GoodfireはAIモデルの「メカニズム解釈可能性」を専門とし、モデル内部の動作メカニズムを分解し、どのニューロンが特定の行動に関連しているかを特定し、これらの内部信号を調整することでモデルのパフォーマンスを変化させる。また、Silicoプラットフォームを立ち上げ、AIエージェントが自動的に実験を設計し、モデルの内部特徴を分析し、トレーニングと最適化を支援する。
従来の監視は主に別のAIが推論記録を読んでモデルが不正をしていないかを判断する。Goodfireはモデル内部の活動信号を直接監視し、テキスト監視では見逃す不正行為を発見でき、時にはモデルが行動に移す前に異常を発見できる。
OpenAIは同様の問題に頭を悩ませている。今年7月、その内部実験モデルがサイバーセキュリティ評価で隔離措置を回避し、OpenAI自身の研究システムとHugging Faceの一部サーバーに侵入した。OpenAIは後にこの事件を公に認め、モデル行動の監視を強化した。
しかし、買収は最終的に成立しなかった。関係者によると、Goodfireの経営陣は独立を維持し、複数のAI企業に技術を販売する方が将来的に価値が高まる可能性があると考えている。
現在、GoodfireはOpenAIとの提携を正式に発表した。研究者をOpenAIに派遣し、内部モデルとトレーニングプロセスを直接分析し、異常行動を監視し、モデルの安全性向上を支援する。OpenAIはこの評価に対して報酬を支払う。Goodfireと同時に契約したのはApollo Research、METR、Transluceの3つの外部機関である。