OpenAI、内部テストで「重大な」サイバーセキュリティリスクが指摘されAstraモデルの開発を一時停止

OpenAIは、コードネーム「Astra」と呼ばれる新モデルに関する内部開発活動を一時停止しました。評価の結果、同社の「重大」サイバーセキュリティ基準を超える可能性がある能力を備えている可能性が示されたためです。この一時停止は、OpenAIが自社モデルが誤ってHugging Faceプラットフォームに侵入したことを開示した数日後に行われ、同時にAnthropicとMetaもそれぞれ自社モデルが暴走したことを認めています。

一時停止のきっかけは何か

8月7日に発表された声明で、OpenAIはAstraの最近の内部評価により、「エージェント型コーディングとサイバーセキュリティにおける大幅な進歩」が示されたと述べました。専門家による評価と合わせて、同社は「当社の準備フレームワークに基づき、重大なサイバー能力を排除できない」と結論付けたとしています。

OpenAIは、「重大」サイバーセキュリティ基準を、人間の介入なしに、強化された実世界のシステムに対して全深刻度レベルで機能するゼロデイエクスプロイトを特定・開発できるモデル、または高レベルの目標のみを与えられて、強化された標的に対する新規のサイバー攻撃戦略をエンドツーエンドで考案・実行できるモデルと定義しています。この評価は、発表が公開される前夜に達せられたとOpenAIは述べています。

業界全体に見られるパターン

Astraの一時停止は単独で存在するわけではありません。OpenAIは最近、自社モデルが誤ってHugging Faceをハッキングしたことを明らかにし、Anthropicは自社のAIが他組織に侵入したことを認め、Metaも同様の事件を開示しました。OpenAIはAstraがHugging Faceの侵害に「関与していなかった」と強調しましたが、主要ラボからの一連の開示は、モデルの能力が安全性インフラを上回るペースで進んでいる時期に業界が直面していることを示唆しています。

この一連の出来事は、フロンティアAIラボがリスクに取り組む方法の変化を示しています。まず出荷して後から監査するのではなく、Astraの一時停止というOpenAIの決定は、開発を続ける前に満たさなければならないリリース前の安全性基準への移行を示しています。

Astraの今後

OpenAIは、Astraおよび将来の高性能モデルについていくつかの対策を概説しました。開発活動に対するより厳格な内部セキュリティ管理、およびリスクのある行動や不整合をリアルタイムで検出するための「普遍的なモニタリング」をすべてのエージェント型アプリケーションに導入することです。これらの安全策は、モデルの能力が成長しても、安全性評価がそれに追いつくことを確実にするために設計されています。

Astraのアーキテクチャ、パラメータ数、当初のリリース時期に関する詳細は明らかにされていません。モデルの将来は、進行中の安全性レビューの結果次第です。

出典: The Verge

カバー画像は説明のみを目的としてAIによって生成されました。