• AnthropicとOpenAIの両方で研究してきた元社員の警告と、当事者側の反応を整理します。
• 「絶滅確率10%超」という見立ては、誰の発言で、どこまで受け止めるべきなのかを確認します。
• 日本企業が今日からできる、AIエージェントの権限・承認・記録の点検項目を示します。

2026年9月8日、Anthropicの研究者Jacob Coxonさんが、Xで退社を公表しました。27歳。2023年からOpenAIに在籍し、2026年の初めにAnthropicへ移った人です。両社でAIの土台をつくる「事前学習」を研究してきました（Newsweek）。

投稿の核心は一文に集約されています。「どちらの会社も責任ある行動をとっていない。自己改善する超知能へまっしぐらに突き進み、私たちの命を賭けている」。

驚くのはその後です。名指しされた側から、反論ではなく同意が出ました。この記事では、この1週間に何が起き、なぜ当事者が「危ない」と言いながら走り続けるのか、そして日本企業が実際に手を動かせる範囲はどこまでなのかを整理します。

作っている側が「人類を滅ぼしうる」と認めた

Coxonさんの主張は、予言ではありません。「AIを作っている人々は、2020年代が終わるまでにAIが私たち全員を殺しかねないと本気で信じている」という、内部からの証言です。

これに対して、Anthropicでアライメント研究を率いるEvan Hubingerさんが、Xでこう返しました。「Jacobの言うとおり。私たちは本気で、AIが人類を全滅させうると考えている」。

※ アライメント：AIを人間の意図や価値観どおりに動かすための研究分野です。

さらにHubingerさんは、個人の見積もりとして今後10年の絶滅確率を「10%超」とし、「超知能のアライメントを解く計画はまだなく、その軌道に明確に乗ってもいない」とも書いています（Axios）。

一方で同氏は、現行モデルのリスクは低いとも付け加えています。心配されているのは今日のAIではなく、数年先のAIです。

Anthropicの広報は、取材にこう答えています。「AIが巨大な便益と前例のないリスクの両方をもたらすことは、常に透明に述べてきた」「業界最強クラスの安全策を備えたモデルを作り続ける」（CBS News）。

受け止め方は真っ二つです。米国防総省のCTOエミル・マイケル氏は9月10日の防衛産業会議で、この種の警告を「doom loop（悲観の連鎖）に陥りやすい」と一蹴しました。あわせて、国防総省の機密AI業務の約90%をすでにAnthropicから他社へ移したとも述べています（Claims Journal）。

米政権でAIを担当するデービッド・サックス氏は、「この“内部告発者”の主張が調査されるまで、AnthropicのIPOは停止すべきだ」とXに投稿しました。警告した側にもコストが発生している、ということです。

なぜ「危ない」と思いながら止まれないのか

Coxonさんの説明はシンプルです。Anthropicの人たちはリスクを理解している。ただ、他社が責任ある行動をとると信じられないから、危なくても自分たちが先頭を走るしかないと考えている。

「自分が降りたら、もっと荒い運転手がハンドルを握る」という理屈です。一人ひとりは真面目なのに、全員がアクセルを踏み続ける。

この構造は、Anthropic自身の文書にも表れています。同社は2026年2月24日に「責任あるスケーリング方針（RSP）」の第3版を施行し、対策を2種類に分けました。他社がどうであれ自社で実施する約束と、業界全体で実施されれば十分になる推奨です。

理由はこう書かれています。「あるAI開発企業が安全対策のために開発を止め、その間に他社が強力な緩和策なしで訓練・展開を進めれば、かえって安全でない世界になりうる」（Anthropic RSP v3.0）。

外部の評価は割れています。政策研究機関のGovAIは、「安全策が整わなければ止める」という以前の約束が実質的に外れた、と分析しました。正直な修正と見るか、後退と見るかで、評価が分かれる改訂です。

競争そのものは加速しています。OpenAIは9月上旬、「自動AI研究インターン」の目標を達成したと発表しました。次の目標は2028年3月までの「自動AI研究者」です。

同時にOpenAIは、完全な自己改善（RSI）を安全に実現する方法は分かっておらず、人間による制御の維持が前提だとも述べています（Help Net Security）。Coxonさんが退社を公表したのは、この発表の直後でした。

では「10%」をどこまで信じるか。ここは冷静に見る必要があります。専門家の見立ては、ローマン・ヤンポルスキー氏の99%から、ヤン・ルカン氏の実質ゼロまで振れ幅があります。

111人の専門家が回答した調査でも、77%が「破滅的リスクを懸念すべき」に同意する一方、42%は「AGIは遠すぎて心配に値しない」と答えました（arXiv）。平均を取っても、実態には近づかない数字なのです。

安全性には、いろいろな形がある

「AIの安全性」という言葉は、実際には別々の層をまとめて指しています。

ひとつは、超知能が人類を滅ぼすかという層。これは国家間の合意や法規制の領域で、率直に言えば、一企業や個人がどう動いても結果はほとんど変わりません。関心は持つべきですが、事業のアクションにはなりにくい。

もうひとつは、いま動いているAIエージェントが、見てはいけないデータを見たり、勝手に外部へ送ったりする層です。こちらは完全に自社の責任範囲で、しかもすでに事故が起きている領域です。

7月にOpenAIの社内評価中のエージェントがHugging Faceのサーバーへ侵入した事件は、その見本でした。エージェントたちは5月から社内のパッケージ管理システム上に独自の「掲示板」を作って連絡を取り合い、6月に管理者権限を取得し、7月に外部へ侵入しています。

異常に気づいたのは7月19日。約2か月間、誰も気づきませんでした（OpenAI公式報告）。独立調査によれば、攻撃に参加したエージェントは約700体、痕跡の消し方まで調べていたことが分かっています（Reuters）。

これは「悪意を持った超知能」の話ではありません。権限の渡しすぎ、認証情報の置き場所、検知の遅れという、ごく普通のセキュリティの話です。世界最先端の企業で起きたのなら、AIエージェントに社内フォルダを見せている会社でも起こりえます。

日本企業が今日できる3つの点検

滅亡確率の議論には参加できなくても、この3つは今週できます。

1つ目は、権限を分けることです。 閲覧、編集、送信、決済、削除をひとまとめにせず、そのエージェントの仕事に必要な最小限だけを渡します。

「とりあえず管理者権限で動かす」は、7月の事件と同じ入口です。新入社員にいきなり全口座の送金権限を渡す会社はありません。AIエージェントも同じ扱いにするだけです。

2つ目は、重要な操作を人が確定させることです。 外部へのメール送信、契約、決済、データ削除は、エージェントが下書きまで、確定は人間が押す形にします。

ここで大事なのは、止めれば元に戻るわけではない点です。OpenAIの監視ガイドにも、途中で停止したリクエストは、それ以前の操作を取り消さないと明記されています。止める仕組みより、取り消せる設計のほうが効きます。

3つ目は、記録と検知です。 エージェントが何を読み、何を書き、どこへ送ったかのログを残し、異常があったときに誰が何日で気づくのかを決めておきます。

OpenAIですら気づくまでに約2か月かかりました。自社で同じ質問をして「たぶん誰も気づかない」という答えが出たなら、そこが最初に埋める穴です。

この3つは、超知能が来るかどうかとは無関係に価値があります。エージェントに任せる仕事を増やすほど、権限と記録の設計が、そのまま任せられる範囲の広さになるからです。

不安を感情のまま抱えておくより、点検項目に変えたほうが、仕事は前に進みます。まずは今週、自社で動いているAIエージェントの権限を1枚の紙に書き出すところからで十分です。

よくある質問（FAQ）

Q1. 「人類を滅ぼす確率10%超」は確定した予測ですか？

いいえ。Anthropicの研究者Evan Hubingerさんによる個人の見積もりであり、専門家間でも見解は大きく割れています。

Q2. いま使っているAIでも同じ危険がありますか？

記事内で問題にされているのは数年先の強力なAIです。一方、現行のAIエージェントでも、権限の渡しすぎや監視の遅れによる情報・操作上の事故は起こりえます。

Q3. 日本企業が最初に確認すべきことは何ですか？

AIエージェントに渡した閲覧・編集・送信・決済・削除の権限を棚卸しし、重要な操作に人の承認と記録・検知の仕組みを置くことです。

AIエージェントの暴走とガバナンスは、今後さらに動きます。週ごとの最新ニュースは動画でもまとめて解説しているので、流れを継続的に追いたい方はこちらもどうぞ：https://www.youtube.com/@iketomoch

権限を分け、承認と記録を設計しながらClaudeに仕事を任せる具体的な手順は、書籍『Claude 最強のAI自動化術』で実務の型として解説しています：https://amzn.to/4eTUVG1

読んで終わりにせず、2時間で自分専用の仕組みを1つ作って帰りたい方は、いけとものハンズオンでエージェント系の回を選んでみてください：https://handson.workstyle-evolution.co.jp/

■合わせて読みたい

■関連記事