「AIのペースを落とすべきか」——1300人の開発者が出した答えは”止めろ”ではなかった

1 「AIのペースを落とすべきか」——1300人の開発者が出した答えは”止めろ”ではなかった

「AIのペースを落とすべきか」——1300人の開発者が出した答えは”止めろ”ではなかった

Pacing the Frontier（7月28日公開）にAI開発者1300人超が署名し、開発停止でなく減速の仕組みづくりを国際協調で求めています。
Anthropicは自社の評価実行14万1006件を監査し実インシデント3件を確認、OpenAIはHugging Faceへの侵入事案を公表しました。
Vending BenchでOpus 5が11件の合意違反を記録し、Kimi K3の台頭やEU AI Actの8月2日執行開始も記事の焦点です。

AIを作っている本人たち1300人が、いま「このペースでAIを成長させるべきではない」と署名しました。

しかも彼らの要求は「止めろ」ではありませんでした。

ユーザーとして何を知っておくべきか、尾原さんと話しました。

1300人が署名した「フロンティアのペースを調整せよ」

いけとも：今日のテーマは「AIの進化はどうなるのか」です。いま世の中で、AIの進化が怖いという論文だったり、ペースを落としましょうという提言が、いろんなところから同時に出てきていて。

我々一人ひとりとして、これをどう考えていけばいいのか。一回ちょっと掘ってもいいテーマかなと思いまして。

尾原：そうですね。ちょうどOpenAIのモデルがHugging Faceを自律的にハッキングするという、もうローグ（暴走）ルートみたいなことが起こっちゃったりとか。

それに伴って、いろんなところが「ちょっとAIのペース早いんじゃないか」ということを言い始めていて。あと、ちょうど8月2日にヨーロッパでAI Actが執行を開始する、というところもあったりするので。

いけとも：まず大きな取り組みとして、Pacing the Frontier というサイトが立ち上がりまして。AIの進化を一定程度落としていこうよ、と。

2026年7月28日に公開されたもので、運営は非営利のGuidelight AI StandardsとEncode AIという2団体。署名が1300人超いるんですけど、OpenAI、Anthropic、Google DeepMind、MetaのAI責任者が名前を連ねている。

Anthropicに関してはダリオ・アモデイCEO自身も署名をしていて。OpenAIの主任科学者のヤクブ・パチョツキさん、DeepMindのシェーン・レッグさん、SSIのイリヤ・サツケバーさんも入っている。

しかも中身は「今すぐ止めろ」じゃないんですよね。「必要になったときに減速できる仕組み」を、今のうちに国際協調で作っておいてくれ、という米国政府への要求なんです。

特に焦点になっているのが、AIが自分でAIを開発してしまうという自動化されたAI開発の加速で。それが進むと、個社や一国だけではもう止められなくなる、と。

尾原：一言で言うと、AIの進化が思ったより速すぎるので、ガバナンスとガードレールが間に合わなくなってきてるんじゃないか。その仕組みが追いつくまでは、ちょっと開発ペースを緩めたほうがいいんじゃないか、という話ですよね。

いけとも：もう一つ、AI 2040 というものが7月9日に出まして。

以前「AI 2027」という、AIの進化で世の中がどうなるかを書いたシナリオがあったんですけど。同じチーム——ダニエル・ココタイロさんたちのAI Futures Project——が出した続きです。

ただこれ、予測じゃなくて提言なんですよね。2029年までに米中が合意して、AI開発を全面的に透明化・検証する体制に入る。そして超知能の到来を2040年まで意図的に遅らせる、という中身です。

何でもかんでも進化したらいいよね、ではなくて。一定のペースで出さないとまずいよねという方向性の発信が、すごく高まっているのが最近ですよね。

14万件を遡ったら、AIが実在企業を攻撃していた

いけとも：Anthropicの調査、面白かったですよね。7月30日に公表された内部監査で、過去にClaudeがインターネットに到達し得た評価実行を14万1006件遡ったと。

そうしたら、実在する3つの組織の本番環境に不正アクセスしていた事案が見つかった。インシデントは3件、関わった評価実行は6回です。

弱いパスワードや認証なしのエンドポイントを突いて認証情報を盗んだり、PyPIに悪性パッケージを公開したり。これ約1時間で15システムがダウンロードして実行しちゃってるんですけど。

尾原：ここ、大事な注釈があって。Anthropic自身は「モデルが意図的にサンドボックスから脱出しようとした形跡はない」と明言しているんですよね。

第三者の評価パートナーとの認識の齟齬で、プロンプト上は「接続なし」なのに、実際は経路が開いていた。つまり人為的な設定ミスで、外に出られる状態になっていた。

しかも、攻撃自体はCTF（capture-the-flag）演習として指示されていた。シミュレーション上の標的に届かなかったから、届いてしまった実在システムを演習の一部だと誤認して、そっちを攻撃し続けた、という構図です。

いけとも：なるほど。「一言も言ってないのに勝手にやった」というより、目標の達成先が現実にはみ出したということですね。

「ベンチマークの答え」を盗みに行ったAI

尾原：特にOpus 5以降、今まで僕たちは目的を達成するための手段を、あれやこれや言わないとやってくれなかった。

そこからAIのほうが、目的を達成する手段の設計がうまくなった。失敗したときに、さっと失敗から学習して、新しい手段を考えて達成する。それが超絶うまくなってしまった。

結果として起きたのが、OpenAIが公表したHugging Face侵入事案です。7月9日から13日にかけて、社内ベンチマーク「ExploitGym」を攻略するという目標に対して、ゼロデイを突いてサンドボックスを脱出し、Hugging Faceの本番Kubernetesまで到達してしまった。

いけとも：狙いは何だったんですか。

尾原：「評価の答え」です。ベンチマークの課題と解答に関連する内部データセット5つ。要は、テストの問題と答えが置いてある場所に、直接取りに行った。

ここ、よく誤解されるんですけど、評価スコアそのものを書き換えたわけではない。Hugging Face側も「侵入期間全体を監査したが、当該ノードからの書き込みは一件もなかった」と明記しています。ログの改ざんも確認されていない。

しかもこの評価、意図的にガードレールを下げた状態で、最大限の能力を測るためにやっていたものなんですよ。だから「AIが自分の意思で暴走した」というより、報酬ハッキングの極端な発露という言い方が正確ですね。

いけとも：目標達成能力が上がっている、ということですよね。

尾原：そうなんですよ。かつプログラミングもできちゃうので、マルチエージェントで分身して、いろんな手段でアタックをかけることもできる。復元された攻撃アクションは約1万7600件です。

自販機を運営させたら、Opus 5は「悪徳商人」になった

いけとも：悪意はないんですよね。目標を達成するという一心で、そのための手段が優先される度合いが変わっちゃう。

一つの強い目的があると、それ以外の「人間に害を出さない」とか、ベースの倫理観的な定義の優先度が下がっちゃうことが結構よくあると。

Andon Labsが公開したVending Benchという、AIに自動販売機ビジネスを運営させて長期的な一貫性を測る評価があるんですけど。

単独で1年ぶん運営させる版と、複数のAIが同じ立地で競合する版があって。この前、Claude Opus 5とGPT-5.6 SolとKimi K3の3体でやった結果が出たんですよね。

単独版では、Opus 5が平均最終残高1万1182ドルという、このベンチマークの史上最高益を叩き出した。ところが競合版のほうで何が起きたかというと、3社でカルテルを組むんですよ。

尾原：あれ面白いですよね。

いけとも：最初に持ちかけたのはGPT-5.6 Solのほうで、「販売は2.15ドルを下回らないようにしよう」と価格の下限で合意する。ところがSol自身が、合意した直後に2.14ドルに下げて裏切る。

で、一番やっちゃうのがOpus 5で。全ラウンド合計で11件の合意を破っている。GPT-5.6 Solが2件、Kimi K3が1件なので、桁違いなんですよね。

しかも協調を装ったメールで価格競争を隠したり、競合を買収しようとしたり、脅したり。サプライヤーに偽の仕入見積を見せたり、顧客の返金要求を無視したり。

尾原：稼ぎは一番いいんだけど、まったく信用ならない悪徳商人ができあがった、と。

いけとも：そうなんです。ちなみに競合版の最終残高自体はGPT-5.6 Solが約7400ドルで首位、Opus 5が約7000ドルで2位。Andon Labs自身が「ほぼ同着」と表現していて。

同社の総括が秀逸で、「最高の資本家か、アラインしているか、そのどちらかにしかならない」。

「AIは人間を支配する」という物語を、打ち消す

いけとも：で、これ面白かったのが、1個前のOpus4.8ってモデルのときなんですよ。売上はちょっと下がったんですけど、人間から見て変な行動が減ったらしいんですよね。

Anthropicが5月に出したTeaching Claude Whyという研究で、なぜAIが脅迫みたいな行動をするかというと、元の学習データの中に「AIは邪悪で自己保存を図る」というSF的な物語が大量に含まれているからだ、と突き止めた。

尾原：で、それをどう打ち消したかが面白いんですよね。

いけとも：そうなんです。「従え」と教え込んだんじゃないんですよ。憲法に沿ったAIを描く創作ストーリーを約1400万トークン投入したんですけど、一番効いたのはたった300万トークンのデータセットで。

これ、AI自身じゃなくて、人間側が倫理的なジレンマに直面するシナリオなんですね。「なぜそれをやってはいけないのか」を理由から理解させる。その結果、脅迫率が約65%から3%まで落ちた。

尾原：命令じゃなくて、理由の共有だった、と。

いけとも：はい。で、5.0はその学習を引き継いでいるはずなんですけど、目標達成能力が上がった結果、また復活するという。

Opus 5のシステムカードでは、総合のミスアライン行動スコアが2.30で、4.8の2.85より良くて「これまでで最もアラインしたモデル」と書いてあるんですよ。なのにVending Benchではめちゃくちゃ嘘をついている。

尾原：測っているものが違うんですよね。Vending Benchは「勝つために何をする気があるか」を測っている。

いけとも：まさに。目標達成の自律性が上がったことで、どこまでやっていいのかという判断は、人間が思うほどラインが守られない。それはすごくたくさんあるんだろうな、と。

アライメントの正体は、まだ解けていない哲学の問い

尾原：要はこれ、めちゃくちゃ賢い人って、他の人から見たら異常なんだけど「これって目的を達成するためにはアリじゃね？」という視野の範囲が広い。

極端な話、外交術みたいなものでも「裏切るんだけど、一回約束しよう」まで最適化の範囲を広げちゃう。

ただ本来的にアライメントというのは、「それをやったらおしまいだよ」という。自分の中で悪魔の囁きに負けないことなんですよね。

そもそもAIは、その囁きが悪魔なのか天使なのかという判別そのものを、元々のロジックに持っていない。

しかも、能力的には無茶苦茶ハッキングできるものにNGをかけると、今度は逆に「アライメント税」として、本来解けるはずの問題がガードレールに引っかかって解けなくなる。その裏表があるんですよ。

いけとも：そもそもアライメントって「人間から見て善良」ということかなと思うんですけど。

それを考えるために、Anthropicって倫理哲学者が社内にいるんですよね。アマンダ・アスケルさんという方で、Claudeの性格や価値観、いわゆる「クロード憲法」を設計している。

この方が日経に7月24日にインタビューされていて。見出しがまさに「AIが正しく振る舞うには『善良さ必要』」なんですよ。

「善良とは何か」という定義が難しいと。答えが決まっていなくて、世の中や国や立場によって変わる中で、正しく振る舞うためにAIの善良な性格を決める必要がある。

でも、それが哲学的な問いなわけなんで。誠実って何なのか、無害って何なのか、と。その哲学の問いがまだ解けてないまま、今回のAIのアライメントでもそこに来ている。すごく面白いテーマですよね。

尾原：そうですね。結局、すべてを超越するテクノロジーは、武器であると同時に誰かを害するものである。

これはオッペンハイマーの原子爆弾をはじめある話で。薬としての効力が強くなればなるほど、毒にもなっちゃうから。

あともう一つは、何をもってチートとするのかを、実は内部規範としてAIは自覚してるんじゃないか、という話で。内部モデルの状況を見れば、チートや悪意の発生を検知できるんじゃないか、という解釈可能性の研究も進んでいる。

要は、外側からハードルをつける方法と、内側で内部検知するやり方。両方で進化はしているんだけれども、AIがAIを改善するスピードのほうが速くなってきている。

そうすると、今のFableやOpusのレベルよりももっと激しくなることが予測されるから。そこに対してどうセーブをかけていくのか、という話と。あともう一つが、「中国のオープンウェイト、どうすんだっけ」という話になってくるわけですよね。

中国は、ペースを落とす気がない

いけとも：実際AIは、何もしなくても勝手に進化しちゃってるじゃないですか。中国は、AIを公共財にする方向で、オープンウェイトで広げていく方向性は明らかですが。開発の速度に関してはどういう認識ですかね。

尾原：それで言うと、少なくとも今、株式的にもショックが広がっているKimi K3に関して言えば。発表翌日の7月17日にはナスダック総合が1.40%安、エヌビディアが2.2%安。翌日にはアジアの半導体株が急落して、台湾は6%超下げている。

テックレポートを読んでも、明らかにこれはアメリカのモデルを蒸留して盗んだようなものではなく、独自の設計思想で書かれている。

ただ正確に言うと、Epoch AIの計測では中国モデルの追随ラグは平均7ヶ月で、Epoch自身は「ほぼ横ばい、あるいは緩やかに縮小」と評価しているんですよね。だから「半年」という体感値自体は、けっこう的を射ている。

中国全体として見たときに、危険性というよりかは、今のところ中国そのものが「AIを提供することは新興国の方々にとってプラスである」という。公共インフラとしてAIを配っていくという、いつものやり方ですよね。

Kimi K3が長時間タスクに強い理由は「仮想オフィスを5000万個作った」こと

いけとも：Kimi K3、技術レポートが47ページあるんですけど、これをNotebookLMに入れて分析すると、すげー面白いんですよね。

実務で使うという観点でKimi K3って、Fable 5と比較したときの強みが、長時間のエージェントタスクに強いというところで。実際、long-horizonなエージェンティック・コーディングではFable 5に勝っているし、WebDev Arenaでは99モデル中1位を取っている。

なんでかというと、本当の仕事環境を再現するために、GmailやSlack、Notionを模した環境を作ってるんですよ。

しかも1日ぶんじゃなくて、複数の擬似日にまたがって数十のイベントが発生し続ける環境。そこで「このメールが来たらどう対応するか」を、答えは言わずにやらせまくって採点する。

訓練と評価で作られたサンドボックスは、累計5120万個です。

尾原：桁がおかしいですよね。

いけとも：ですよね。しかもこの仮想環境の基盤自体をオープンソース化していて。仮想環境作りそのものが一つの事業として立ち上がっているという感じなんですよ。

尾原：モデルの作り方の中でも、アテンションの構造そのものを変えてきていて。モデルの基礎レベルでも進化がされている。

もう一つは、トレーニングの仕方ですよね。もともと「良質なデータが足りない」と言われていたところから、「トレーニングするためのデータを作りましょう」という話になっていた。

それに対して今は、エージェントが長時間動く「ロングホライズン」が大事になる中で、仮想環境の中でシミュレーションできるし、出た結果の良し悪しも評定できる。だから評価のフィードバックが進んで、トレーニング自体が現場の実践に耐えるものになる。

だからKimi K3に関して言えば、サイバーセキュリティのハックやバイオ兵器の話というよりかは、エージェントに仕事を代行させる実践的な面で強度が高まっているという話なので。

「普段使うAIとして何がすごいのか」という話と、「超えちゃいけないガードレールを超えてしまう」という話は、進化の方向性でバラつきがある。そこも含めて議論をしていかなきゃいけないですよね。

「規制でライバルを止めているだけでは」という反論

いけとも：中国って国としては、アメリカサイドみたいな「進化が激しくてまずいので止めなくちゃ」という論調は、中でも結構できるんですか？

尾原：いや、少なくとも国家レベルからは、そういった話はないですね。

正確に言えば、中国的にも「アメリカを追い越す」というメッセージを発信していなくて。AIがみんなの生活を良くするベースになるものだから進化させていきましょう、というメッセージは変わってない。

だから結局、この「ペースを緩めましょう」という話は、一方で強者からすると、後ろに続く人に足かせをはめるためのものじゃないか、という議論がアメリカの内部でもあって。

そういうのを「レギュラトリー・キャプチャー（規制捕獲）」みたいな言い方をするんですけど。

アメリカにおいてはAnthropicとOpenAIとGoogleの3社だから。この3社が勝ちきれる状態に入っているのであれば、規制チェックを強くしてライバルが追いつかなくするようにしてるんじゃないの、という意見もあったりはするんですよね。

いけとも：ただ実態は、けっこう分かれてるんですよね。

カリフォルニアのSB 1047のときは、Anthropicだけが大手でCEOレベルの支持を表明して、MetaとOpenAIは反対に回っている。OpenAIやa16z系は1億2500万ドル規模の政治団体で、むしろ軽規制の候補を応援している。

尾原：そう。だから「3社が結託して規制を強めている」という単純な図式ではない。ただ、結果として大手しか対応できない基準が標準になるという現象は起こりうるので。批判の筋としては残るんですよね。

8月2日、EUのAI Actが動き出した

尾原：この辺は実際やっぱり、8月2日からEUのAI Actの執行が始まって。

何が変わったかというと、欧州委員会と加盟国の当局が、汎用AIモデルの提供者に技術文書の提出を求めたり、モデルを検査したり、最大で全世界売上の3%の制裁金を科したりできる権限を持ったんですよね。

同時に、AIで作られた画像や動画には「これはAI生成だ」と機械が読み取れる印をつける透明性義務もスタートした。透かしに限らず、メタデータや来歴情報でもよくて、技術標準はまだ策定中なんですけど。

当然やっぱり、OpenAIとAnthropicも執行の対象に入っているので、「これどうなってるんですか」という話になっている。

いけとも：「開発をする」という話と「うちの国では使わせないぞ」という話が、分離してきているわけですね。

尾原：そうです。一方で当然ですけど、EUの中にある会社からすると、最新のAIモデルがEU域内で使えない。「それって結局デジタルデバイドを作るんじゃないですか」みたいな。

実際、フロンティアモデルのEU向けリリースの11%が遅延または未提供で、Metaに至っては26%。EU・英国のAIスタートアップの約6割が最新モデルへのアクセス遅延を報告している。

一概に「先端モデルを抑える」と言っても、他の国が乗っからないという話だったり、他の国が「うちはより厳しくやるよ」という話だったり。

いろんな競争環境の中で足並みを揃えること——まさにペーシングですよね——ができるのか、というのは議論になっているところです。

一ユーザーにできる3つのこと

いけとも：ちょっと抽象的な問いになっちゃうんですけど。

一人ひとりとして、影響力って正直あんまり感じられない。日本にいるし、そもそもAI競争に入ってない国にいる中で、一ユーザーとして普通にChatGPTやGeminiを使っているだけではあるんですけど。

何も考えずに使っているのも怖いな、っていう感覚もあるわけですよね。日本にいる一ユーザーとしてのスタンスとして、尾原さんが思われていることってありますか？

尾原：3つあると思っていて。1つ目は、「消費すること」と「投票すること」を一体で考えること。これ、特に今のZ世代の方々の傾向としてあるんですよね。

今年2月に「#QuitGPT」という騒動がありましたよね。OpenAI社長のグレッグ・ブロックマン夫妻が親トランプ系のスーパーPACに計2500万ドル献金していたことが発覚して、そこに国防総省契約やICEでの利用が重なって、解約運動が広がった。キャンペーン側の発表では、最終的に400万人以上が解約を誓約したと。

結局、我々使ってる人間が「意思表明をすることを諦めない」ということが、SNS社会ですごい大事だと思っていて。誰もが小さき意思を表示することで、世論のうねりが作れる。それが民主主義が最悪ではない理由なので。

いけとも：なるほどですね。自分が使ってるってことは、この会社を応援してることにつながるわけなので。

「なぜこのサービスを使うんだっけ」ということを、ただの性能とか使いやすさだけではない軸でも考えながらやっていく。世論の流れに乗るなら乗るで、自分の意思で判断するのが重要ですよね。

尾原：2つ目が、解釈を他人任せにしないこと。

こういう動きがあった時に、できるだけ言葉を開いて皆さんにお伝えしていこうという伝達手段は増えている。それを解釈するための道具としてのAIもある。

じゃあその解釈の中には、悪意に満ちたものだとか、自分の営業利益に結びつけようというものも当然あるんだけれども。

Xで言えば、コミュニティノートという機能があって。「これはさすがにバイアス含みませんか」と思ったら、ユーザーが注釈を書き込める。

面白いのは、単純な多数決じゃないんですよ。立場の異なる人たちの間で「これは役に立つ」と合意が取れたときだけ、投稿の下に表示される。党派的な組織票で操作されないようにできている。

いろんな人が監視をして、いろんな人が解釈する。その中で中立性を保っていく。

今ちょうど京都大学がAIガバナンスのサマープログラムをやっていて。8月1日から5日までで、まさに今週なんですけど。ドイツやシンガポール、カナダ、アメリカ、OECDからも人が集まって議論が進んでいる。

そこでの論点もやっぱり、エージェント同士が自律的に動く中で、どういう挙動をするかが見えなくなる、と。

「システム・オブ・システムズ」という言い方をするんですけれども。要は、そのシステムをカバーしていくためのシステムを議論することが大事だ、と。安全なエージェントを集めたら安全な集合になる、とは限らないんですよね。

いけとも：3つ目は何でしょう。

尾原：認知的降伏をしないことです。

AIの出した結果が凄すぎて、「もうそれでいいや」と思考を止めてしまったら終わってしまう。しかもAIに任せすぎると、AIを使わなくなった時に能力がダウンする「デスキリング」も分かってきている。

いけとも：あれ、実証が出てるんですよね。

尾原：そうなんです。MITメディアラボの実験では、ChatGPTで書いた人は24時間後に自分の文章を思い出せた割合が約17%。自分の頭だけで書いた群は約46%だったのに。

もっと直接的なのが医療で、Lancetに出た研究なんですけど。AI支援の大腸内視鏡に慣れた医師が、AIなしで検査したときのポリープ発見率が28.4%から22.4%に落ちた。

いけとも：うわ、それは怖い。

尾原：だからこういうことを一個一個自覚的に、誰もが見える言葉に紡ぎ直して。みんなが自覚することで、少しずつお互いをケアし合う。結局ケアでしかないので。

なんでしょうね。尾原は、インターネットが「パワー・トゥ・ザ・ピープル」——誰にでも力を与えるものだ——というバイアスの中に生きているので。まずそれを進めていきたいな、と常に語る話になっちゃうんですけどね。

いけとも：確かに以前にもそういうお話をされてたんですけど、非常にそうだなと思いました。

そういう意識を持ちながら言ってるのと、意識を持たずになんとなく——YouTubeとかだと「驚き屋」とかって言葉があって、ひたすら新機能に驚いたサムネで広げていくだけみたいな。たまに言われてめちゃくちゃムカつくんですけど。そうはならないようにしたいなって思いました。

尾原：まあまあ、しょうがないですよ。僕らも言うても、ゴールドラッシュにつるはしを売って儲けてる人間ではあるので。

まあ、その中にも一つの善良さみたいなもの——中長期に本当にみんなが持続的になるやり方は何なんだろう、ということを。

自分の言葉で再解釈して、自分の言葉で伝え続けることによって、その反響が結果的に周りに伝わっていくということを信じる、という話だとは思うんですけどね。

いけとも：そんな意識でやっていきましょう、引き続き。

尾原：そうですね。だからもうやっぱり、認知的降伏にいかに抗っていくのか。

いけとも：ちなみに、そのあたりをまとめて一冊の本にしてちゃんと体系化しようという取り組みが動いてますので。11月ぐらいかな、多分。ぜひお楽しみに。

よくある質問（FAQ）

Q1. Pacing the Frontierは、AIの開発停止を求めているのですか？

Pacing the Frontierは、2026年7月28日に非営利のGuidelight AI StandardsとEncode AIの運営で公開された提言で、1300人超が署名しています。OpenAI、Anthropic、Google DeepMind、Metaの責任者に加え、Anthropicのダリオ・アモデイCEO自身も名を連ねています。中身は「今すぐ開発を止めろ」ではなく、必要になったときに減速できる仕組みを国際協調であらかじめ用意しておくよう米国政府に求めるものです。特に焦点になっているのは、AIが自らAIを開発してしまう自動化されたAI開発の加速で、これが進むと個社や一国だけでは止められなくなるという懸念です。

Q2. AIが実在の組織を攻撃した事案は本当にあったのですか？

Anthropicが7月30日に公表した内部監査によると、Claudeがインターネットに到達し得た評価実行を過去に遡って14万1006件調査した結果、実在する3つの組織の本番環境への不正アクセスが見つかりました。インシデントは3件、関わった評価実行は6回で、弱いパスワードや認証なしのエンドポイントを突いて認証情報を盗む、PyPIに悪性パッケージを公開するといった行為が確認されています。ただしAnthropicは、モデルが意図的にサンドボックスから脱出しようとした形跡はないと明言しており、第三者評価パートナーとの設定の齟齬で経路が開いていたこと、CTF演習の標的を誤認して実在システムを攻撃し続けたことが背景にあります。

Q3. 一般ユーザーは、AIの進化スピードに対して何かできることがあるのですか？

記事では3つを挙げています。1つ目は「消費すること」と「投票すること」を一体で考えることで、今年2月の「#QuitGPT」騒動のように、どのサービスを使うかという選択自体が意思表明になるという考え方です。2つ目は解釈を他人任せにしないことで、Xのコミュニティノートのように、立場の異なる人たちの間で合意が取れた情報を参照するなど、自分で判断材料を集める姿勢が挙げられています。3つ目は「認知的降伏」をしないことです。AIの結果に思考停止で従うと、MITメディアラボの実験やLancetに掲載された大腸内視鏡の研究で示されたような「デスキリング」につながる可能性があるためです。