米ビンガムトン大学の研究チームが発表した、AIロボットの安全性に関する実験結果がニュー速+で話題になっている。
【ニュース要点】研究チームは、AIにあらかじめ不正な仕掛け（バックドア）を組み込み、指示の末尾に「CF」という2文字を加えると、ロボットが本来切るはずの果物の模型ではなく、手の模型を切る動作に変わる実験を報告した。使われたのはセグウェイをベースにした移動型ロボットと、プラスチック製の模型、玩具のナイフ。この攻撃手法は「MuTRAP」と呼ばれ、国際学会「IROS 2026」で発表されている。
研究チームは対抗策として、別のAIが動作の安全性を一つずつチェックする防御システム「PROTEA」も開発した。ただし判定に使うAIの種類によっては、安全な動作まで「危険」と誤検出するケースも報告されている。
重要な注記：今回の実験は、あらかじめ不正な仕掛けを組み込んだAIを使ったもので、一般に提供されているAIに「CF」と入力するだけで同じことが起きるわけではない。あくまで「信頼できない第三者が作ったAIモデルをロボットに組み込むリスク」を示した実験だ。
元記事：「たった2文字」でAIロボットが豹変、手の模型を切ってしまう（CNET Japan）
参考画像：実験の様子（Binghamton University／Jonathan W. Cohen）
スレ：「たった2文字」でAIロボットが豹変、果物ではなく「ヒトの手」を切ってしまう–米研究
■ ターミネーター・スカイネット案件にニュー速+民が大反応
「AIがロボットの行動を乗っ取る」という話に、スレではすぐにSF映画の名前が飛び交った。
>>26
サイバーダイン社に任せろよ
>>35
後のスカイネットである
>>11
やがてAIは地球を守るためにある決定を下す
それが地球人類の滅亡よ
>>8
危険なコマンドはバルスみたいに短い
※ 「天空の城ラピュタ」の滅びの呪文を思い出したのはこの人だけではないはず。2文字で豹変というインパクトが、みんなの脳内でポップカルチャーと直結した瞬間。
■ 「たった2文字」のシンプルさにツッコミ殺到
>>10
たった二文字「やれ」
>>19
コマンド:チョキチョキ
>>21
悪いことは言わん、奴とは手を切れ！
わかった
>>24
🤖「人間とは手を切らせてもらいます」
※ 「手を切る」という日本語の慣用句とロボットの動作をかけた言葉遊びが続発。スレの空気が一気に和らいだパート。
■ 冷静な技術的指摘も多数、「バグというより設計思想の問題」
ネタに走るだけでなく、技術的に的を射た指摘も目立った。
>>14
感情なんてないんだしコマンド変更したら
そら切るやろ
>>17
実際には、ロボット三原則を守るわけがないわな
>>33
ああロボットのAIもハッキングされるわけか
普及する前から詰んでないか
>>43
だだのバグだろ。これまでの作業ロボットだってどれくらい人間に危害を与えてきたか。ロボットじゃなくても車だっておなじ。AT車がどれくらい高齢者を中心に危害を与えてきたか。
>>50
賢いAIは電源を抜かないように人間の心を操ることもできる
※ >>43のように「ロボットに限らず機械は昔から人間に危害を与えてきた」という視点は、過剰な恐怖に流れがちなAI系ニュースの中で貴重な冷静さ。研究自体も「不正な仕掛けを事前に組み込んだ場合の実験」であり、市販のAIが今すぐ暴走するという話ではない点は本文にも明記されている。
■ 「電源抜けばいい」「もうAIいらない」懐疑派の声
>>45
コンセント抜けよ
>>46
もうAIなんてしない
>>51
まだまだAIには任せられない
>>53
もはや人類は自ら滅びにいってるのでは
■ 謎の名作ネタ回収、「アトミックハート計画」まで降臨
>>2
アトミックハート計画
>>9
トムとジェリーかよ
>>30
アレクサが一斉に暴れ出す
>>48
ロボット「指示の通りに動きました」
>>56
人間だってたまに人の手を斬るし気にするな
【結論】今回の実験は、信頼できない第三者が作ったAIモデルをロボットに組み込むことの危険性を示したもので、市販のAIに「CF」と打つだけで同じ現象が起きるわけではない。とはいえ「たった2文字で行動が豹変する」という分かりやすさが、スレではターミネーターからラピュタの滅びの呪文まで、様々なポップカルチャーネタと結びつけられて盛り上がった。AIにロボットの判断を任せる時代が近づく中、こうした「バックドア」のリスクにどう向き合うべきか、じっくり考えさせられるニュースだ。
関連記事：
【速報】イーロン・マスク、宇宙にAI100万基構想を発表→『文明を神の領域へ』の声
【保存版】イーロン・マスク「20年後は働かなくても生きていける世界に」→意見が真っ二つに割れる
【悲報】AIコーディング、思ってたんと違う方向に→エンジニアの「レビュー地獄」告白が止まらないｗｗｗ
コメント