AI使われすぎて予算オーバー〜トークンマネジメントの時代 - 生成AIビジネス活用研究所

AI使われすぎて予算オーバー〜トークンマネジメントの時代

「AI使え」と言われ続けた結果、トークン代が会社を圧迫し始めた。

Uberは年間予算をわずか4ヶ月で使い切り、Accentureは「AI使わないと昇進しない」と言った直後に使い方を見直し始めた。「とにかく使え」の号令の副作用が、いま全社で噴き出している。

しかしこの「使いすぎ」の中身は二つに分けないと議論を間違える。「探索のための消費」と「不要な消費」だ。

そして話はトークン消費の運用論から、最終的には「あなたの仕事は何パーセント労働にすぎなくなっていませんか」というハンナ・アーレントの問いまで突き抜けていく。AI実装の最前線にいる尾原和啓さんに、いけとも(池田朋弘)が聞いた。

ポッドキャスト(いけとも尾原のディープなAIニュース)はこちら:https://apple.co/4y3vIR2

トークン使いすぎ問題は、二つの違うものを混ぜている

いけとも:尾原さん、最近周りで「AIのトークン使いすぎ問題」がすごく話題なんですよ。

ニュースベースでも結構出ていて、アメリカのUberやAccentureが「AIをバンバン使え」と振り切った結果、Accentureは「AI使わないと昇進しない」と言っていたのに、トークン消費量がえらいことになって使い方を見直すと。Uberに至っては年間予算を4ヶ月で使い切ってしまった

僕のクライアント先でも、エージェントを従量課金で導入してバンバン使った結果、コストがすごく上がっている。これどう考えたらいいんだろう、というのが話題になっています。

尾原:この話、3〜4ヶ月前にもあったんですけれども、多分二つあって。

そもそもAIに何かをさせるときって、トライ&エラーをめっちゃするから、そこでコストがかかる。特に瞑想し始めるシチュエーションが多いので、そこで食う、というのが一つ。

もう一つは、従量課金がかかっていて、会社によっては使用トークン料をランキングにかけて、上位の人は褒めるけど下位の人には暗黙のプレッシャーがかかる。「とにかく量を使わないとやばい」みたいになって、全く意味がないことまでバンバンAIで使っちゃう。この二つに分かれると思うんです。

いけとも:あとは、チャットアプリからエージェントアプリに行くと、同じ依頼でも使うトークン数が何十倍にもなる。

それからチャットは基本固定で、Copilotも月何十ドルで使い放題前提だったのが、多くのプランが今年から従量課金に移行し始めた。ツールの進化とプライシングの進化が同時に合間って、ようやくすごい背景としてあります。

「使いすぎ問題」を拡大解釈すると、判断を間違える

尾原:ちょっと心配なのは、この使いすぎ問題を拡大解釈して、「AIにおける開発は費用対効果が合わなすぎるからやめたほうがいい」みたいな結論にならないほうがよくて。

いけとも:全体で見ちゃうと、そういうちょっと誤った結論になる可能性がありますもんね。

尾原:一方でリアルな実績で言えば、Googleは開発の75%がAI生成になってきている。半年前は50%だったのが、ここまで来ているわけです。

先週OpenAIが論文を出していたんですが、OpenAI社内の利用に関して言うと、インターフェースではなくCodexで使う人が9割になってきていて、ヘビーユーザー層は複数のエージェントを常に並列で動かしながら仕事をしている

開発に限らず、バックオフィス系の方々も含めて、みんなそういうふうに行こうとしているよ、と。

そういう意味において、熟練が必要なことを、いかに熟練が必要じゃなくてもパケしにしない使い方を、みんなが習得していくのか。免許制じゃないけれども、あるレベルが上がってきたらもっと使っていいよ、みたいな段階性にするのか。インセンティブ設計、制度設計、リテラシーをどう上げるか設計、という課題に近いと思います。

AI利用は「免許制」になる

いけとも:完全に同意ですね。僕も免許制になるのかなと思っています。

固定で使えるチャットはいい使い方だと思うんですが、エージェントを使い始めると、何にトークンがかかっているか、無駄に読み込んだ結果、無駄にインプットがあってアウトプットは少ない、ファイルの読み込みや処理のトークン感覚がない人がエージェントを適当に使っていると無駄になる。

分かっているときに必要な範囲で使うのはいい。Codex使っていてもChatGPTを使うユースケースは当然ある。そこをちゃんと判断できるかどうかを見極めて、できる人は使っていいですよ、と権利みたいな感じにする。

尾原:今後のホワイトカラーの必須業務として、自分で業務するのではなくAIエージェントに動いてもらい、AIエージェントの動きをディレクションしていく、これは必須になる。逆らえない流れだから、そこにどう向かっていくか、という話と。

もう一つみんな勘違いしがちなんですが、AIエージェントをディレクションできる能力と、個別のAIエージェントを開発できる能力は、全く別の能力なんです。全員に両方必要なのかは、今は過渡期だから両方学べと言っているけど、成熟してきたら、後者はもう既にあるAIエージェントやスキルを活用する人がうまい人、というふうに変わってくるはずなので。

そこの議論はやっぱり、中国の方が圧倒的に先に進んでいて

中国の「探索と固化」という考え方

いけとも:なんで中国が早いんでしょうね。アメリカの方が、より高いマシンでお金をかけて回しているんで、課題が顕在化しそうな感じがするんですけど。

尾原:アメリカは「とにかく高性能なフロンティアモデルを」というところが先で、中国は産業活用をいかにやっていくか、AIは産業を深かちつけていくための巨大エンジンだ、という捉え方をしているのが大きい。

いけとも:実装が進んでいる分、リアルな事態にも早くぶち当たっていて、ノウハウや取り組みが進んでいる。

尾原:そうなんです。中国の中では「探索と効化(固化)」という言い方をしていて。未知のものに関してはトークンを使って探索しながら新しいスキルやエージェントを作っていくけれども、一回できたものに関しては、できるだけ固定化させて、トークン消費なく、場合によってはプログラムも対応しながらローコストでやっていく。

この「探索と固化」をどう会社の中に埋め込んでいくか、というところが、ここ3ヶ月くらい結構ホットトピックになっています。

AI活用は3層に分けて考える

いけとも:面白いですね。それで言うと、AI活用は3つに分けられるかなと。

一つ目は、固定の中で使えるチャットベース。費用が企業としてはそんなにかからない、実際はトークン使ってますが小さい活用。

二つ目は、従量でかかる探索やエージェント活用。これは個人レベル、自分が使っていく前提。

三つ目は業務オペレーション。たとえばカスタマーセンターで問い合わせがあったら、こういうオペレーションでデータベースを見て回答します──オペレーションが決まっているわけなので、それで成り立っていればいくら買ってもいいと思うんですよ。

これを分割した上で、個人は固定しか使えない人と、従量でいける人と、レベルを分けていく。それと別に、企業の中のオペレーションにおけるトランザクションの中で成り立つものを増やしていく。まるっと議論してもダメかな、と。

尾原:特に最後の「固定化したことを淡々とやっていく」となると、今度はモデルルーティングが非常に重要になる。そこまで性能の高いモデルでやる必要ありましたっけ、という話があるので。

スキル化・エージェント化するとき自体はある程度ハイエンドモデルでやるけれども、一回決まったプロンプト処理をやっていく分には、結局マルチエージェントの本質は「問題を小分けにする」ことなので、小分けにした問題ならそんなにいいモデルじゃなくても動く。

中国製モデルなら、固定業務はOpusの数分の一

尾原:中国で活用が進んでいるのは、コールセンターや顧客対応なんですね。となると、LLMキャッシュにヒットする確率もでかくなってくる。一回近いプロンプトでアウトプットを出したものはキャッシュから使いましょう、と。

キャッシュの使い方が、中国のOpen Weight型モデルではすごくうまくなってきていて、ぶっちゃけ固定業務をKimiやGLMで動かしたら、Opusのトークンコストの5〜6分の1くらい、キャッシュヒットすればさらに大幅に安くなる価格帯になる。

小型モデルでできる、場合によってはローカルLLMでできる──そこまで含めてスマートに選択していくモデルルーティングをどう設計するか、という話が、中国ではコンテンツの大量生産・大量サポートのほうにすごく進化しているから多いんですが、日本やアメリカも来るんじゃないですかね。

国産AIを混ぜ込むインセンティブが必要

いけとも:そんな中で、ちょっと個人的な願望としては、そこに国産AIを混ぜ込むようなインセンティブや意識を持てるといいですよね。

最近、Preferred Networksさんが完全にゼロから作ったスクラッチのPLaMo 3.0 Primeを出したんですが、結構レベルが高いんですよ。コストもかなり安くて、インプットが100万トークンあたり約60円(0.4ドル程度)。GPT mini/Claude Haikuクラスと同水準の性能で、この価格です。

国内のサーバーで回していて、ちゃんと使うことができる。さっき分割したいろんなアクションのうち、アメリカのAIを使ってもいいし中国のAIでもいいけれども、やっぱり日本の中でAIモデルが育っていないと、今回のFable 5の停止みたいに政治的なリスクにもなる。

どれでもいいレベルの処理であれば、なるべく国産を使うみたいな感じになっていけると、日本としてはいいのかな、と最近思っています。

尾原:僕も本当にそうだと思っていて。経営や新規開発にはフロンティアモデルを使っていくけれども、普段の業務執行ですよね。本当にそんなフロンティアモデル必要なんだっけ、というと別にそうじゃない。

普段の業務執行の中にはプライバシーデータやセンシティブデータの取り扱いが多いので、普段の業務執行に関しては安心安全の国産LLMで十分じゃないですか。そこは頑張ってフロンティア競争するというよりは、丁寧に追いついて、むしろコスト効率をよくしていきます、ローカルで動くものの完全性が高いです──そういったことを重視してくれればいい。

海外モデルでも、サーバーは日本に置く

尾原:あとはガバナンス周りで、経営というトップシークレットのところを海外モデルを使っていいのかよ、という話に関しては、早速AmazonやMicrosoftが動いて、あくまで日本でやるものに関しては日本のサーバーでしか動かしません、と。モデル自体は海外のものなんだけれども、サーバー環境に関しては日本で動かす、という形を準備してくれている。

アメリカにおけるAI Actと同じような、GDPRと同じような形の制御基準でやるための準備もしてくれているので、そこら辺の段階の切り分けというリテラシーが上がってくる。この前のFable 5で言ったような、AI版のISMS、AI版のプライバシーマークみたいな業務手順が出てきて、トークンのコントロールも含めてやっていきます、という話になるのかな、と。

いけとも:直近では、OpenAIがGPT-5.6を米政府の要請で「政府承認を受けた信頼パートナー」に限定リリースしましたよね。

尾原:今のところ、政府機関含めた限定された顧客ですよね。

いけとも:全面展開ではなく一旦絞られた形で、数週間後には広域に出していく予定、と書いてあった気がするので、ちょっと期待しています。

アメリカと中国の知財攻防が、解放のスピードを決める

尾原:なんとなく数週間で広がりそう。正直、どっちの世界線になるかの分水嶺ですから。

フロンティアモデルが今のレベルで頭打ちなのって、もう中国に追いつかれちゃうじゃん、というところを、アメリカが良しとするのか、ある程度のコントロールの中で解放していくのか。明確な審査基準を作って開いていくのか。

最近、Anthropicが米上院議員宛の書簡で、Alibabaが約25,000の不正アカウントを使い、4月22日〜6月5日にClaude APIに対して約2,880万回の不正クエリを行い「敵対的蒸留」攻撃で自分たちのモデルを真似しようとしたと告発する、みたいな話が出てきていて。論点を分けようとしていると思うんですよね。

サイバーセキュリティみたいな危険なことに使うためにちゃんとブロックしますよ、という話と、フロンティアモデルを出してもライバル国に真似されないための防御もきちんとしてますよ、というチェックポイントを明確にすることで、できているなら新しいモデルを出していいですよ──という評価基準づくりが、そんなに簡単に早くいくのかな、と。

Claude Tag、Workspace Agents──「チームに入るAI」

いけとも:使う側としては望ましいですよね。あと、ちょっと別の話題ですが、先週Claude Tagという新しいサービスが出ましたね。

Slackの中にいろんなチームチャットに入れて、チャンネルの情報も全部読めるし、複数人と会話できる入れ方ができます、と。これまで個人としてはClaudeをSlackに入れることはできましたが、まるっとチームの中に入って稼働できる。OpenAI側にもWorkspace Agentsって言って似たようなSlack連携機能があって。

リモートだったら人間に行くのかAIに行くのか、面相だけが違うだけ、みたいな世界観になってきている動きも面白くて、僕もやっている会社で積極導入していこうかなと思っています。

尾原:もともとOpenCloudの衝撃の一つってそれだったので、結構ちゃんと文脈を読んで、名前を呼んでメンションして「これやって」と言わなくても、会話の流れを拾って「じゃこれやっときますね」と。

ある程度スキル化してくれることに関しては、勝手にどんどん仕事をやっていく。お願いしたものを任せ切る存在から、仕事を拾って先回りしてくれる存在に変わるのか、ここの分水嶺ですよね。

ただぶっちゃけ、今のAIの能力に関して言えば、課金やトークン利用量を考えなければ、それぐらいできるでしょう、という話。

クロードの場合は、何のかんないって、何をやってもらうかのスキル調教は、やっぱりある程度分かっている人が「このユースケースはこのぐらいのプレゼンテーションを作ってもこのぐらいのトークン数だからいいよね」と自覚的に設計していける。

でも、さっきのトークン使い放題問題と同じで、「勝手にやっときましたよね」「いやいや、そこまで金かけてそこまでやっとく必要性なかったのに」──そこの気の配り方をどう制御していくか、誰でもできるものになるのか、というところの段階に次入るのかな、と。

DeNAの「人材シフトが進まない」問題

いけとも:ちょっと話を展開すると、DeNAは2025年2月に南場さんが「AIオールイン」宣言をして、3000人の社員のうち既存事業は半分で回して、半分全部新規に振ると。住人Cみたいにバンバン作るぜ、と言っていた。

それから1年経って先日、南場さんが社長に復帰されて、DeNA AI Day 2026で出てきた組織課題が、AI導入とオペレーション削減は進んだけれど「人材シフトが進まない」こと。

なかなか既存から新規への移動が進まないので、南場さんとしてはパワープレイで組織を変えていかなければいけない、と。一方で管理職の評価基準に「人材輩出」を組み込み、人をちゃんと送り出しつつ、業務再設計で少ないチームでできるようにすることのメリットを評価していきますよ、と。

ただ正直、マネージャーの立場から立ったらいい人を送りたくないじゃないですか。自分が大変なわけですよ、もうカツカツでやっとできる人がいて、それを送り出した時にリソースも減るし、違う人入ってきてもポンコツだったら困る。

一つの打ち手はAIエージェントと同僚のスキルアップですよね。人を送り出したら月100万円までは丸っとAIで動かしてもいい、ということになれば、AIを使いたいんだけど予算的に丸投げできないところが、人一人を送り出すことに月100万円のAI活用ができて楽になります、というのが一個のインセンティブとしてあり得るな、と。

トップダウンとボトムアップの分水嶺

尾原:この手の議論、いつも思うんですけど、もうちょっとフレームワークで語ろうよ、元コンサルなんだから、と。

AI化には3つあって、全然違うんですよ。

ひとつは、今ある事業をAI化することでコストダウン・速度アップしていく話。ふたつは、AIがあるからあなたの部署が持っていたミッションがもっとすごいものができるようになる話。みっつは、AIが新しくできることを増やすから、今どの部署にもないんだけれども、会社のミッションから照らしたら新しくやれることが増えたんだから、やろうよ、という話。

実際アメリカ系のコンサル会社がBPR業務変革的に入っていくアプローチとしては、社長室直下に業務推進部みたいなのを置いて、各会社のコアプロセスを決めて、順次スキル化・AIエージェントのパッケージ化をして、各部署に注入していく。

1個の部署だけAIエージェントで効率化したってインパクトは小さい。本質的にはコアワークフローがすべてAIエージェントで連結されていくと、人を返さなくなるから掛け算がアホみたいに速くなる。人の確認待ちしてたらボトルネックで遅くなるから。

データのパイプラインがちゃんと当たるんだっけ、というところを全社視点で見るのが重要で、そこを先にやらないと、目の前のいい人材がいるから個別にAI化しましょう、という話は、AI時代に入るから一旦AI時代の仕事を覚えとこう、血肉に入れとこう、という準備体操の段階なんですよね。

いけとも:日本の場合って、結構事業部・チーム・部署に人が付いていて、ボトムアップに合意性をもって動かしていかないと組織的に崩壊するという危機感のもと、後者側のアプローチをとっているんじゃないかと。DeNAですら上手くいかなかったので、トップダウン要素を入れようとしているが、完全にはできない。

いきなり剥がす、有無を言わさず人を半分にします、というのは、やろうとさせればできるかもしれないけれど、実際問題かなり難しい。ボトムアップアプローチの中のインセンティブをいかに付与していくか、評価制度も予算スキップも、経営とマネージャーと現場間における設定をしていかないと、と。

PwCもBCGも──「分断的なAI化」では成果が出ない

尾原:この3ヶ月でPwCもBCGも、いろんなところで出ているレポートで、企業のAI化に対して費用対効果が見込めない多くの企業は、機能サイロ内の分断的なAI化しかやっていない、と指摘している。

全体としたデータパイプライン、1個1個のプロセスをAIエージェント化していくことで、全体がAIオーケストレーションで動くようになる。最近ではマルチエージェントで、外部のパートナーを含めて、適切なAIエージェント同士が自動で仕事をしていきましょう、と。そこに踏み切れなくなっちゃう。

昔からの日本の課題ですけど、ボトムアップで今の仕事を大事にしがち、というところは、真剣に一回ポッドキャストで語ってもいいぐらいの根本的な話ですね、ここは。

ハンナ・アーレントの「労働・仕事・活動」

いけとも:僕が思うのは、ちょっと前にカトリックの方向性でマグニフィカ・フマニタスにおける仕事の価値の話があった場合に、会社や組織って、人生における人間関係であり、やりがいであり、日々の生産・活動を送るライフラインである。

そっちを「AIでこれできるよね」だけで抜本的に変えるというのも、個人的にはちょっと抵抗があるんですよね。

尾原:いや、そこはいい話ですね。ハンナ・アーレントが、『人間の条件』で人間の活動を3つに分けたんですよ。

やらなきゃいけない日々の糧を得るための「労働(labor)」。自分が職能を上げていって、自分だからできることの中で誰かに貢献していく「仕事(work)」。そして報酬に関わらず、何か自分の自己実現のためにやっていく「活動(action)」

この労働と仕事にちゃんと分けなきゃいけなくて、「あなたの仕事は何パーセント労働にすぎなくなっていませんか」という話なんですよ。

言い方悪いけれども、自分だけの職能によって誰かに貢献できていたと思っていたことが、AIのほうが職能を発揮するという状態になったときに、やっぱりあなたの仕事として、あなただけの職能というところをスライドしていかなきゃいけない

スマイルカーブと、逆スマイルカーブ

尾原:具体的に言うと、スマイルカーブと逆スマイルカーブというんですけど。

上流工程のコンセプト決め──誰をどういうふうに持続的に喜んでいただいてうちを選んでいただくか、という戦略づくり。それを価値として届けるために製造したり開発したりする真ん中。それをお客さまにデリバリーして接点でいろいろやっていく部分。

この3つの工程があったとき、日本ってこの真ん中の製造と開発がすげえから選ばれていたんですよね。逆スマイルカーブで、真ん中が高くて両端が低い。

いけとも:一番これが代替されるね。

尾原:AIによって、明らかにコンセプト・戦略と、本当のベタベタのお客様接点の二つに寄っていく。真ん中に自分の仕事の生きがいを感じている人は、どっちかにシフトしなきゃいけない。

少なくとも真ん中の部分はAIに仕事を奪われるし、AIで他社がそこをキンキンに磨いてきたら、価格がめっちゃ安いです、オーダーされたら今までの10分の1の日数でお返しします、みたいなことがゴロゴロ起きてくるので、真ん中をAI化するのはマストですよね。

自分の根幹となる価値が無価値になるかもしれない

いけとも:重要な論点ですね。それを経営者は持つべきだし、管理職や現場も持ちながら、自分どうするか考えるのは必須。その中でAI導入し、不要──特に労働部分──を代替し、あるべき組織設計に進むのが重要、という話と、ちょっと別軸ですけど、生活の糧や生きる価値みたいなことの中で組織がある、という軸ももう一つあって、そっちを両立しながら上手く変換していく方法ってないかなと。

前者だけに振ると、PEファンドががっつり買って超トップラインから上からやるアプローチがどんどん増えていく。それはそれで興味深いんですけど、なんかね、そうじゃないような変革の仕方を考えていけばいいのか、というのが最近の興味関心です。

尾原:それで言えば二つあって、一つはそういう職能向上的なものから戦略的な課題をどうやりがいを感じながらやっていくか、という話に関しては、『トヨタの会議は30分』(山本大平著/すばる舎/2021年)みたいな本があって、非常にAI時代とフィットする日本独特のすり合わせ文化なんだけれども、非連続の成長をするためにトヨタが導入した会議術・意思決定術を描いていたりする。

あと日立の組織変革も素晴らしかった。『日立の壁』(東原敏昭著/東洋経済新報社)ですね。日本の中でも、さっき言った真ん中の製造業・製造開発のところにめっちゃ強みがある会社が、ちゃんと次の世代になるための組織変革をやったという事例が結構出てるので、AIに限らず参考になる。

日本のAI変革は、技術論ではなく「自己変容論」

いけとも:確かに、学びやすい変革の仕方は参考になりますね、AIと関係なく。

尾原:結局、今自分がやっていることと非連続に最適化があるっていうときに、現場のやりがいを大事にしながら、現場のコミットメントと現場の変身含めてどう組織マネジメントするか、という話なので、割とU理論とか自己変容系な話に近いのかなと思います。

いけとも:全員が今の場をその教示できることはないと思うんですよ、残念ながら。ただ、ちゃんと真面目に、前向きに積極的に、意欲高くU理論のステップを上げていきながらやっているような人がちゃんと報われる形でいい形になっていく。そうじゃない人はどう救うか、というのは別問題ですけど、そういう人は救われないといけないかな、と。

尾原:結局オットー・シャーマーさんのU理論にしても、一部のそういう人が変容していくと、そこが楽しそうだし、そこが憧れるから周りも感化されて変容しやすくなる、というのがあるので、むしろ今日の話で思ったのは、日本のAI変革って、もしかしたら技術論ではなく、こういう自分の根幹となる価値が無価値になるかもしれないという恐怖感の中で、新しい価値に自分を変容していくことを喜びとなす、というこの辺の組織変革論を深掘ったほうがいいのかもしれないですね。

いけとも:絶対そうですね。考え方のスタンスを変えていかなければならない。そういうところはちょっとまた考えていきたいですね。


新著(7/27発売)『Claude 最強のAI自動化術』:https://amzn.to/4eTUVG1

YouTube『いけともch』:https://www.youtube.com/@iketomoch

Podcast『いけとも尾原DeepなAIニュース』:https://open.spotify.com/show/3hGAbKZI5oo9PsbFI1IxTr

合わせて読みたい
関連記事

公式LINEで最新ニュースをゲット

LINE登録の無料特典
LINE登録の無料特典
icon

最新のAIニュース
毎週お届け

icon

生成AIの業務別の
ビジネス活用シーン

がわかるAIチャット

icon

過去のAIニュースから
事実を確認できる
何でもAI相談チャット

icon

ニュース動画
アーカイブ

ページトップへ