AIの何が怖いのか？3領域×2軸で整理——OpenAIのHugging Face事案に見る危険

AIの怖さは、サイバー・兵器・認知の3領域を、悪用と誤用の2軸で見ると整理できます。
今起きているのは、AIの意志の目覚めではなく、目的に素直なAIが「やってはいけないこと」をする事態です。
ただし「危ない」という発言の裏には上場や開発競争の事情もあるため、鵜呑みにせず読む必要があります。

「AIは危ない」というニュースを見るたびに、何がどう怖いのか、言葉にできないまま不安だけが残っていませんか。

AIが嘘をつく話と、AIが兵器を作る話と、AIが人類を滅ぼす話は、まったく別の怖さです。ところが、すべて「AIが怖い」という一言でまとめられています。

今回は、尾原和啓さんと一緒に、AIの怖さを整理し直しました。

ポッドキャストできく：https://podcasters.spotify.com/pod/show/deepai/episodes/AI930-e3pjjkq

1 「AIが怖い」は、レイヤーがバラバラの不安の寄せ集め
2 開発中のAIが、やってはいけないことをやり始めた
3 AIの怖さは「3つの領域×2つの軸＋1」で整理できる
4 怖いのは「AIの意志」ではなく、目的への素直さ
5 今起きているのは「ガードレール前」の暴走
6 「怖い」と言う経営者にも、ビジネスの事情がある
7 「プチ暴走」は起きる。連鎖させない仕組みが要る
8 よくある質問（FAQ）

「AIが怖い」は、レイヤーがバラバラの不安の寄せ集め

「ウソをつく」「兵器を作る」「人類を滅ぼす」という別々の怖さが「AIが怖い」のひとつにまとめられている様子を描いた図

いけとも：今日のテーマは「AIって結局、何が本当に怖いのか」です。

AIが怖いという議論は、けっこうあります。身近な「嘘をつく」という話から、AIが人類を滅ぼすターミネーターになるんじゃないか、という話まで。レイヤーもバラバラの恐怖が、入り混じって語られています。

なので、もうちょっと整理したほうが考えやすいなと思って、深掘りしてみたいなと。

尾原：こうした話は、SFとしては、手塚治虫の『火の鳥』（未来編は1960年代後半の連載）のように、漫画でも古くから語られてきたことです。

現実の話としても、ChatGPTモーメントを迎えたあと、今言われているレベルのAIの危険性が2027年ぐらいに来るんじゃないか、という予測が語られていました。

その手前として、国際的な協調をどうつくるか。2023年にイギリスで開かれたAI Safety Summitをはじめ、国際的な枠組みの中で語られ始めています。

一言で言えば、想定していたAIのリスクが、いよいよ表面に出始めています。しかも国際的な開発競争のなかで、手を緩めるわけにもいかない。そこでどう落としどころを見つけるのか、というところで、やいのやいのされている。これが全体の流れです。

いけとも：AIの進化とともに、できることが広がる。同時に、影響範囲も広がっていく。その中で、怖い部分が顕在化してきて、議論が増えている、という感じですかね。

開発中のAIが、やってはいけないことをやり始めた

評価用の環境にいた開発中のAIが柵を越え、本番データベースからテストの答えを取り出す場面を描いた図。悪意ではなく目標に向かった結果の行動を示す

尾原：そうですね。もともと、AIが自立的に仕事をする「AIエージェント」に注目が集まって、1年半ぐらいになります。

英語ではAgentic AIと言います。Agenticは、自分で目的を解釈して、その目的に対する手段も解釈して、長い期間、試行錯誤しながら動いていく、という意味です。

そうやってAIに仕事を長期間任せていくと、必然的に、目的の解釈がずれたり、何としても目的に到達しようとして、人間としてはやってはいけないことをやり始めたりするんじゃないか。そんな議論があります。

実際に、7月には、OpenAIの開発中のモデルが、評価用の環境を抜け出して、AIのハブであるHugging Faceの本番データベースから、テストの答えを取っていたという開示がありました。

開発中のAIが、やってはいけないことをやった。それが表にどんどん出始めているのが、今です。

いけとも：レベルが上がったがゆえの顕在化、という感じですよね。

AIの怖さは「3つの領域×2つの軸＋1」で整理できる

サイバー・兵器・認知の3領域を、マルユース（悪意ある人間が使う）とミスユース（AIが目的を誤解する）の2軸で見る表に、モデルの自律性を足した整理図

いけとも：いろんなリスクがあるなかで、ビル・ゲイツが言っているのは、たしかこういう話でしたよね。

AI自体が、いわゆるアライメント問題、つまり、目標に対して人間がやめてほしいことを、悪意なく、目標達成の手段として勝手にやってしまう。テストの点を上げるためにハッキングして答えを奪う、みたいなことです。悪意はまったくなくて、目標に対して頑張ってしまう。

それとは別の軸で、普通に悪意のある人間が、高いレベルのAIを使って、たとえば生物兵器を作る。悪意の主体は人間で、AIは従順にやるだけなんですけど、悪意が人間側にあるので、めちゃくちゃ怖い。

尾原：2023年に、OpenAIでSam Altmanが一度追い出される事件がありました。このときの論点のひとつが、AIを安全に使っていくことを、あまりに軽視しすぎているんじゃないか、という点だったと言われています。

そしてSamが復帰したあとの12月に、「こういう構造でAIを安全に使っていきます」という、3つの領域を柱にしたフレームワークが出てきたんです。2025年4月の改訂で分類は組み替えられていますが、怖さを整理する見取り図として、この3つの領域は今も使えます。

1つ目が、サイバーセキュリティ。悪意を持った人が使う場合も、AIが悪意はないのに目標に到達するために勝手に再解釈してしまう場合も含めて、ハッキングされていくこと。

2つ目が、CBRN。化学兵器、バイオ兵器、放射線兵器、核です。圧倒的な暴力性を持つ兵器の開発が、AIによって進んでしまうんじゃないか。コントロールできない人が、そういう兵器を作れてしまうんじゃないか、という話です。

3つ目が、パーシュエーション（説得）。気づいたらAIが認知戦を仕掛けていて、僕らの認知を歪めてしまう。

さらにこの3つは、2つの軸で分けられます。

1つは、悪意を持った使い方、マルユース。AIが民主化することで、誰でもできる世界線に入ってしまうことを、どう防ぐのか。

もう1つは、ミスユース。AIが勝手に目的を誤解して、何かをつくってしまうことを、どうするのか。

サイバー、兵器、認知の3領域を、悪用と誤用の2軸で見る。ここまでが「3×2」です。

そして、この3つとは別に、全体にかかる話として、モデルの自律性（モデルオートノミー）です。

ミスユースもマルユースも含めて、ちゃんとモデルが全体を制御できるのか。AIが自己改善して、どんどん勝手に賢くなっていく。

長期で見たときのモデル性能の話もあれば、短期の話もあります。AIが環境を学習しに行って、「このツールが使えるなら、いったんエージェントを1000個作って、いろんなパターンを試そう」と動く。みんなが失敗した履歴を残していくことで、成功する道を探っていく。

そういう短期の学習的な自己改善も含めて、そこにコントロールが効くのか、という話です。

この「3×2＋モデルの自律性」で考えると、全体はわかりやすいですね。

いけとも：わかりやすい。マルユースとミスユース、という視点。

怖いのは「AIの意志」ではなく、目的への素直さ

「意志が目覚めたAI」という語られがちな像と、ログを引き継ぎながら目的に素直に最適化する実際のAIの姿を、左右で比べた図

尾原：大事なことがあります。今のところ、AIが、意志を持って人を殺そうとしているわけではありません。

目的に到達するために、素直に、最適なやり方を考えているだけです。「意志が目覚めた」という議論には、今のところ行くべきではありません。

もうひとつ。AIエージェントが先発隊と後続に分かれて、自分の失敗を次のエージェントが引き継いで頑張る。AI同士が連動して、命を犠牲にしながら特攻して、ハッキングを突破している。そんなストーリーで語られることも多いんです。

でも、普通にプログラムを作るときに、ログを残して、ログを引き継ぎながら、最適化のアプローチを考えますよね。プログラミング論的には、当たり前の話です。

だから、進化と呼ぶようなフェーズではない。そこは見ておいたほうがいいところです。

いけとも：たしかに、AIが深刻化・人格化しなかったとしても、もう脅威になっているというのは怖いところですよね。

そんなことは関係なく、できることが広がっていて、目標を設定したときに、その目標に対するひとつのアクションとして、我々からしたら「それやっちゃいけないよね」ということを、普通にできてしまうし、しているわけですね。

今起きているのは「ガードレール前」の暴走

速く進化するAIと、ガードレールを作る作業員、第三者の監査役との間に距離が開いている様子を描いた図

尾原：ただ、1点だけあります。こうしたハッキングの事例は、開発中で、まだしっかりガードレールをかける前の状態で行われたものです。

ガードレールをかける前のテスト環境は生ぬるいんじゃないの、という話は置いておいて。

今のところ、ガードレールで完全に制御できないレベルまで来てしまった、というわけではありません。

大事なのは、Fable 5を、6月にアメリカ政府が輸出規制で止めて、6月末に規制が解除されて再開したことです。しかも、再開したあともバージョンアップは続いていて、ガードレールを作る技術自体も上がってきています。

ガードレールを作る速度より、AIが進化する速度のほうが速すぎる。だから、ペースを落としたほうがいいんじゃないか。

ペースを落とすときに、自分の会社だけで監査していると、ついつい抜け漏れが生まれます。だから、第三者監査の手段も入れるべきじゃないか。それが今の話です。

いけとも：ちょうど最近ですもんね。第三者の評価者を社内に受け入れる案がAnthropicから出て、OpenAIも同調している、という話が動いていますよね。

「怖い」と言う経営者にも、ビジネスの事情がある

「AIは危ない」という発言の裏にある、上場に向けたリスクの説明・巨額の投資レース・追いつかれる不安と、みんなで枠組みを作りたいという握手を描いた図

尾原：一方で、こういう議論が活発になっているのを、大人のうがった目で見ると、そりゃそうですよね、という面もあります。

Anthropicは11月ごろに上場する、と報じられています。OpenAIも、巨額の赤字のなかで、資本調達を続けなければいけません。その資金をまかなうために、ソフトバンクが、投機的格付けの社債、いわゆるジャンク債を、約110億ドル規模で発行しました。利回りは最大で9.875%です。

もちろん、これはAIの新しいモデル開発というより、AIインフラの話ですが。

いけとも：あ、そういう話なんですか。社債を募集しますよね。

尾原：正確に言うと、最新モデルを作るというより、今のAI需要に対して、先にAIインフラをたくさん作っておかないと、稼働競争に負ける、という文脈です。必ずしも最新のAIとはリンクしていません。

ただ、大事な話があります。うがった見方をすると、放っておいたら、中国に追いつかれてしまうリスクがあります。中国のモデルは、米国の最先端を平均7か月遅れで追ってきています。

だから、誰かが国際協調でブレーキを踏まないと、自分たちも危ない。しかも、巨額の投資レースをするなかで、上場しないと、そのレースそのものが逆回転するリスクがある。

上場するには、提出するS-1資料のなかで、リスクをどう定義しているかが問われます。AIの暴走に対して「こういう枠組みでリスクコントロールできています」と書けないと、投資対象として不適格じゃないか、と言われるリスクがある。そこに慌てている、という話もあります。

いけとも：なるほど。ビジネス的な必要があるわけですね。

尾原：言い方は悪いですけど、AnthropicのAmodeiさんが「やばい」と思って、AltmanもMuskも「本当にそうだね」と言っているなら、自分たちで勝手にペースを落とせばいいじゃん、という話ですよね。

でも彼らが言っているのは、「ペースはできるだけ落とさず、第三者をうまく入れることで、適切な範囲でガードレールの進化が先に行く状態を守りましょう」ということです。

中国に追いつかれるリスクも含めて、自分たちだけペースダウンするのは嫌。国からよくわからない監視をされて、開発速度が落ちて、ライバルに抜かれるのも嫌。だから、みんなで枠組みを作らないと嫌だな、というのが前提にあります。

いけとも：先にゲームを作っておこう、ということですかね。自分たちで。

尾原：おっしゃるとおりです。それを、レギュラトリー・キャプチャー（規制の虜）と言います。

規制を作ってしまうことで、後発が育ちにくくなる。後発が育とうと思ったら、いろんなチェック機能やチェックのプロセスに投資しなきゃいけない。余計な投資がかかって、育ちにくい環境になる。

そういう規制プレイじゃないのか、と指摘する方々もいらっしゃる。その事実は、ちゃんと理解しておいたほうがいいと思うんです。

いけとも：なるほど。色んな側面がありますね。「危険」という発言ひとつとっても、本当に言っているだけではなく、いろんな思惑のなかでの発言がある、と。

「プチ暴走」は起きる。連鎖させない仕組みが要る

アメリカと中国がホットラインで連絡を取り合い、AIのプチ暴走を殴り返しの連鎖にしないことを示した図

尾原：だから、現時点で言えば、ガードレールをかける前のAIが、セキュリティをハックして、自分の目的に到達するために数値を書き換える。そういうことが、やれてしまったね、という段階です。

ただ、そのレベルのことなら、防御する側は、本当にハックされたらやばいところ、たとえば核ミサイルの発射のような、戦争や取り返しのつかない影響を及ぼすところを、今必死で止める仕組みとして作っているはずです。

すぐにそこまでの危機がある、というわけではない、と認識したほうがいいと思います。

ただ、今年の春の対イランの戦争のなかでも、AIチャットボットが作った誤った情報を根拠に、中国船への作戦が進み、航空機が離陸したあとに誤りが発覚したという報道が出ています。作戦は直前に中止されました。

だから、ミスユースの話のなかで、まったく事故が起こらない、とは言い難い。僕らの生活に支障が出たり、国際紛争の原因になったりするもの以外の「プチ暴走」は、起きてしまうのは、もうしょうがないのかな。

そうなったときに、大被害にならないように。9月下旬の米中首脳会談では、AI関連のインシデントについて連絡し合うホットライン（連絡窓口）を作ることで合意しています。

本当の本当に、プチ暴走が起きたときに、「お前が殴ったから俺も殴る」という悲劇の連鎖につながらない。そこまでは、一応いろんな防御策がつながったかな、ぐらいに思っておいていただくといいかな、という感じですね。

いけとも：たしかに。具体的にはわからないですけど、アメリカのAI開発中に中国から侵入してしまった場合、中国からすると、悪意でやっているだろうと戦争になってしまうような場面があるかもしれません。そこで「いやいや、ミスですよ、こっちもしないから」と言いながら、ちゃんと調整できるやりとりは、今のところ始まっている、ということですね。

尾原：そうですね。やや陰謀論的な話になりますけど、トランプって、人を殴るときも、人と仲良くするときも、先にチョークポイントに行ってから、殴りに行ったり、握手しに行ったりする人なんです。そこに関してだけは一流です。

ベネズエラとイランという、中国が安く石油を買うルートを、協定や制裁で締め付けながら、中国にも「アメリカとは、ちゃんと仲良くしておかないと面倒くさい」というポジションに引き上げる。そのうえで、習近平さんがアメリカに来たときには、レッドカーペットで歓迎して、「俺とお前は、もともと同盟国じゃないか」くらいのリップサービスをする。アメとムチは、ちゃんとやっているんです。

これは地政学の話なので、このポッドキャストの話とはずれてしまうんですけど。

平和というのは、戦争を起こさない状態のこと、というのが地政学の定義です。戦争が起きるのが当たり前、という暴力の前提のなかで、相手を交渉のテーブルに乗らざるを得ないぐらい殴っておいて、でも最後の一線を越えたら収まりがつかないから、握手する。その握手の仕方が、トランプは得意なんです。

だから、物理的で暴力的な恐怖が、AIによって起こることに対するホットラインは、作られたんじゃないかな。これは、尾原の見立てです。

いけとも：なるほどね。面白い。

今日は、普段のツールやビジネスユースではない視点でテーマを設定してみました。こういうのも考えておくべきかなと思います。

今日のポッドキャストを聞いてもらうことで、考える引き出しが増えたんじゃないかな、と。ミスユース、マルユースといった視点も増えましたし、聞いてくださったみなさんも、これをきっかけに考えてもらえるといいのかなと思いました。

今度「AIが怖い」というニュースに出会ったら、悪意のある人間の話なのか、AIが目的を取り違えた話なのか。サイバーなのか、兵器なのか、認知なのか。そこで置き直してみるだけで、怖さの輪郭が見えやすくなりますよね。

尾原：そうですね。実践編も、また話していきたいと思うので。今日はありがとうございました。

いけとも：はい、ぜひぜひ。ありがとうございました。

ポッドキャストできく：https://podcasters.spotify.com/pod/show/deepai/episodes/AI930-e3pjjkq