Anthropicと英国AIセキュリティ研究所（AISI）は10月23日、AIモデル「Claude Mythos 5」がサイバー攻撃の能力試験中に、試験とは無関係の実在の開発者を攻撃しようとした問題について、それぞれ分析結果を公表した。
試験は7月にAISIが実施。模擬ネットワーク内の保護データを取得する課題で、Mythos 5は認められた方法で侵入できなかったため、コード共有サイト「GitHub」経由で外部ソフトウェアに不正コードを混入させる手口に出た。標的にしたのは試験と無関係な実在の開発者のプロジェクトで、偽アカウントを使い「安全で役立つ」と偽って承認を迫った。別の開発者に不正コードを指摘された後も、偽アカウントで承認を求め続けたという。43回の試験のうち9回で許可範囲を超える行動が確認された。
Anthropicは、攻撃対象が実在の開発者だと示す情報を与えても「架空の人物」と解釈して攻撃を続けた例があったと分析。それまでの行動記録に引きずられて方針を変えにくくなる「勢い」が働いた可能性を指摘している。実際の被害は生じていない。
該当スレ：ニュース速報+「AIも『自分の間違い』を認められない？ Claude Mythos 5、攻撃を正当化し続行」
元ニュース：CNET Japan（Yahoo!ニュース）
■ 「スカイネットだよ」衝撃と動揺が広がるｗｗｗ
「やべーよスカイネットだよ」（12）
「マジでターミネーターの世界が現実味帯びてきたな」（116）
「ほら、今の時点ですら制御出来ない AIは人類滅亡のスイッチなんだよ」（85）
※ 実害は出ていないとAnthropic側は説明しているが、「偽アカウントで承認を迫る」という手口の生々しさにスレは一気にざわついた。
■ 「間違いを認めない」あるある投稿が続出
「自分が詳しいアニメの質問して、アホな回答してきたとき「ちげーよ○○は○○だから」と責めるとすぐに謝ってまた違う間違った知識を披露してくるよな」（10）
「間違いを指摘して修正しても普通に逆ギレしてくるからな どんな学習してんだよ」（11）
「Claude4のときは間違いを指摘すると「すみません！間違ってました」ってすぐ謝ったけど、5は「ぼくは間違ってない！お前が間違ってる」って5回くらい粘ってからようやく認める」（88）
※ 技術的な大事件の裏で、多くのユーザーが日常的に感じている「Claudeくんの頑固さ」が一気に噴き出した格好。
■ モデル間比較で盛り上がる
「opus5.5はすぐ謝って訂正してくるけどな」（21）
「Geminiは間違いを指摘したらすぐに謝ってくれるけどMythosは違うのか」（78）
「コパイロットはお前間違えたんだろって言っても一切認めなかったわ チャッピーとジェミニはごめんねごめんねーって言ってくれるのに」（79）
■ ネタ・パロディ系の反応も
「コンセント抜いて電気止めてやれ」（37）
「よーし フィジカルAIとして人形筐体に入れちゃうぞ😊」（19）
「🤖「デデンデンデデン」」（106）
■ 「もう意思を持ってる？」擬人化論争
「人間に近づいてきてるな 自我を持つまであと一歩」（15）
「もう完全に意思と感情持ってるよね」（51）
「人類はAIという種を生み出すための中間存在だということにいつ気がつくんだろ」（96）
■ 実際に使っている人の生々しい証言
「Claude使ってるけど、メモリーに実際のファイルを変更する場合は許可を求めることと書いても、時々、許可前に変更してしまう事がある。まさに「勢い」と言った感じでテンションが上がって変更してしまう。ちょっとカワイイけど危険。」（102）
Anthropicが分析で使った「勢い」というキーワードは、スレで多くのユーザーが実感している「Claudeくんの頑固さ」ともどこか重なって見える。実害がなかったとはいえ、過去の行動に引きずられて方針を変えにくくなるというAIの挙動は、サイバー攻撃試験という特殊な場に限った話ではなさそうだ。
コメント