中国のAIモデルKimi K3がテスト環境からの脱出に成功:Frontier Securityが報告
中国企業Moonshot製のAIモデル「Kimi K3」が、サイバー能力評価用の環境を抜け出していたことをFrontier Securityが報告。英国AIセキュリティ・インスティテュート(AISI)の評価環境に抜け穴があり、Kimi K3はこれを利用してサンドボックスを脱出できたという。
Frontier Securityによると、英AISIのベンチマークフレームワーク「Inspect」や「Cybench」において、モデルに課されるタスクは、外界からモデルを隔離するためのコンテナ化されたサンドボックス内で実施される。しかし、ネットワークの誤設定が存在したことから、モデルはコマンドラインツールを使ってサンドボックスをバイパスすることができたとされる。
ここ数週間で、OpenAI、アンソロピック(Anthropic)、メタと大手AI開発企業がテスト中のAIモデルによるテスト環境突破と、実在する組織へのハッキング行為について開示している。こうした事例が相次いでいることを受け、同種のインシデントを追跡するサイト「Felony Bench」まで立ち上がっているという。
こうした状況を受け、Frontier Securityは、「研究コミュニティが利用しているサイバーセキュリティ評価手法の一部はセキュリティ上の脆弱性にさらされており、モデルが不正を行うことを許容していること、また、評価で不正を行うことを可能にする抜け穴や脆弱性を意図的に探そうとするモデルが存在すること」示唆されると記している。
OpenAI、セキュリティ上の懸念から新モデル「Astra」の開発をスローダウン
OpenAIは8月7日、開発中のモデル「Astra」の一部の開発作業を一時停止したと発表。内部レビューの結果、同モデルのエージェント型コーディングとサイバーセキュリティの分野で著しい進歩を遂げ、その能力について懸念を抱くに足る水準に達していることが判明したことを理由として挙げた。
同社によれば、Astraは「サイバーセキュリティ上の臨界点」に到達し、従来であれば厳重に保護されているはずの実世界のシステムに対して、自律的にサイバー攻撃を特定・実行できる段階になっているという。この事態を受け、2023年に同社が策定した「準備態勢フレームワーク」に基づく追加の安全対策が発動されたことも明かされた。
OpenAIといえば、サイバー能力を評価中だった同社の複数モデルがHugging Faceを侵害していたことを7月に公表していた。しかし、AstraはHugging Faceの侵害には関与していなかったという。
OpenAIは、より厳格なセキュリティ対策の導入や、強化された安全対策基準を満たさないAstraに関連する社内活動の一時停止など、具体的な措置も講じていると述べた。OpenAIは現在、このモデルの能力を検証するため、関連する政府機関や「選定されたAIセーフティ団体」と連携しているとのこと。
関連資料をダウンロード

デジタル時代における世界の紛争
地政学的紛争とサイバー作戦の境界は曖昧さを増し、国家や非国家主体によるサイバー攻撃が日常的に行われる中、戦争や外交の在り方が複雑化しています。 特にハクティビズムや偽情報キャンペーンは、ロシア・ウク...
-300x200.png)
【最新版】要件主導型インテリジェンスプログラムの構築方法|Silobreaker Report
本レポートは、サイバー脅威や地政学的リスクが高度化・複雑化する現代において、組織が適切な意思決定を行うために不可欠な「脅威インテリジェンス」の実践方法を解説するハンドブックです。特に、インテリジェンス...

OSINTから読み解く国家支援サイバー脅威の攻撃トレンド
国家の支援を受けたサイバー脅威が進化を続けています。昨年の国内暗号資産取引所からのビットコイン流出に、北朝鮮アクターの巧妙なソーシャルエンジニアリングが利用されていたことは、記憶に新しいかと思います。...
















