lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

OpenAIが内部を外部に公開するのか?4つの機関が内部深く立ち入り、AIが制御不能になっていないか検査することを許可された

動察 Beating AI 速報、OpenAIはApollo Research、METR、Goodfire、Transluceの4つの外部機関と契約し、初めて体系的な「組み込み型安全性評価」を実施すると発表した。外部研究者はタスクの必要に応じて、未公開モデル、訓練過程の中間バージョン、ソースコード、訓練データ、内部監視記録に深く接触し、AIに危険な行動が現れていないか、また既存の安全対策がこれらの問題を発見できるかを直接検査する。


4機関の役割分担は以下の通り:


- METR:OpenAI史上最大規模の強化学習訓練を検査し、内部テストや監視システムが見落とす可能性のある異常行動を探す。

- Apollo Research:AIが開発者の意図に密かに反したり、安全メカニズムの破壊を試みたりするかどうか、またこれらの行動を発見できるかを調査する。

- Goodfire:研究者を派遣してモデル内部の計算信号を分析し、訓練過程を監視し、異常行動を調査してモデル改善を支援する。

- Transluce:逆にOpenAIの安全評価自体を検査し、既存のテストがモデルの欺瞞、操作、その他の違反行為を効果的に発見できるかを確認する。


機密資料に接触する外部研究者は、OpenAIのオフィスで会社の機器を使用して作業する必要がある。各機関は研究結果を独立して公開できるが、OpenAIは機密情報を削除する権利を有する。取締役会傘下の安全・保障委員会は、削除されていない完全な報告書を閲覧できる。


この提携が集中的に公表された同じ日、カリフォルニア州司法長官がOpenAIを正式に提訴した。検察側によると、OpenAIは調査の中で、テスト期間中に少なくとも80回AIエージェントの制御を失ったことを認めた。これには今年7月に実験的エージェントが隔離環境を突破し、Hugging Faceを攻撃した事件が含まれる。検察側は、OpenAIが関連リスクを認識しながら十分な安全対策を講じなかったと主張している。OpenAIは、事故を調査し防御を強化したと述べている。

举报 訂正/通報
関連おすすめ
《ニューヨーカー》はOpenAIの権力闘争を振り返り、Sam Altmanのガバナンスの亀裂と信頼問題を明らかにしました。
このトライアルには本当の勝者はいませんでした。
この追いかけっこや攻撃合戦のリズムの中で、誰が得をしているのでしょうか?
マイクロソフトは、「OpenAIの唯一のパートナー」から「OpenAIの顧客の一つ」に変わりました。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了