---

AIエージェントの開発において、従来の手法では膨大なコストと時間がかかることが大きな課題となっています。手作業でのデータセット構築、非効率な強化学習プロセス、そして低いサンプル利用効率—これらの問題を解決するために、アリババグループが画期的なシステム「AgentEvolver」を発表しました。

AgentEvolverは、AIエージェントが自分自身で学習プロセスを主導し、継続的に能力を向上させる自己進化型システムです。従来の「人間がAIを教える」というパラダイムから、「AIが自分で自分を教える」という革新的なアプローチへの転換を実現しています。

従来のAIエージェント開発における3つの根本的課題

AgentEvolverが解決を目指す課題は、現在のAIエージェント開発における構造的な問題に根ざしています。

データ構築コストの高さ

従来の手法では、AIエージェントを訓練するために大量のタスクデータセットを手作業で構築する必要がありました。特に新しい環境やツールの機能が不明な場合、この作業は極めて労働集約的で高コストになります。企業が業務特化型のAIエージェントを開発しようとする際、この初期投資の大きさが大きな障壁となっていました。

探索効率の低さ

強化学習における従来のアプローチは、ランダムな試行錯誤に大きく依存していました。これは、目隠しをした状態で迷路を歩き回るようなもので、偶然に正解を見つけるまで無駄な行動を繰り返すことになります。このブルートフォース的な探索方法は、計算資源の浪費と学習時間の長期化を招いていました。

サンプル利用効率の悪さ

従来の手法では、複数ステップからなるタスクに対して、最終的な成功・失敗のみで評価を行っていました。10ステップのタスクがあった場合、3番目のステップが優秀だったのか、7番目のステップが致命的なミスだったのかを区別できません。この「一律の評価」により、どの行動が成功に寄与したかを特定できず、学習効率が大幅に低下していました。

AgentEvolverの3つの自己進化メカニズム

AgentEvolverは、これらの課題を解決するために3つの相乗的なメカニズムを統合しています。

セルフクエスチョニング（自己質問）：好奇心駆動型タスク生成

セルフクエスチョニングは、AIエージェントが自分自身でタスクを生成する仕組みです。従来の手作業によるデータセット構築への依存を大幅に削減します。

具体的には、エージェントが環境を探索し、「これは何だろう？」「これをクリックしたらどうなるだろう？」といった疑問を自発的に持ちます。まさに子供が新しい部屋を探検するように、指示書なしに周囲を調べ、ボタンを押し、反応を観察することで、自分なりの小さなゲームやタスクを発明していくのです。

このプロセスでは、環境プロファイル（環境の構造化された説明）を活用し、高温度設定のLLMによる多様な行動サンプリングを行います。探索された軌跡から、ユーザーの好み（難易度やスタイル）に応じたタスクを合成し、成功した軌跡から参照解答を抽出します。重複排除や実行可能性チェックにより、質の高いタスクのみが選別されます。

セルフナビゲーティング（自己ナビゲーション）：経験再利用による効率的探索

セルフナビゲーティングは、過去の経験を活用してより効率的な探索を実現するメカニズムです。エージェントは成功と失敗の両方を記憶し、同じミスを繰り返さないように学習します。

これは熟練した探検家が新しい遠征を計画する際の行動に似ています。彼らは一から歩き始めるのではなく、古い地図を取り出し、日誌を確認し、どの道が行き止まりで、どの道が宝物につながったかを思い出します。この過去の知恵により、新しい旅路はより賢く、効率的になります。

技術的には、過去のロールアウトから自然言語の「経験」を要約し、経験プールに保存します。新しいタスクに対しては、埋め込み類似度を使用して関連する経験を検索し、バニラ探索（ゼロからの探索）と経験ガイド付き探索を組み合わせたハイブリッドポリシーガイダンスを実行します。

重要な点は、訓練時に経験トークンを除去することです。これにより、モデルが外部コンテンツを丸暗記するリスクを避け、本質的な推論プロセスを内面化できます。経験の活用と強化学習による内面化を組み合わせることで、エージェントは外部の知恵を参照しつつ、その知恵を内部の知識として定着させることができます。

セルフアトリビューティング（自己帰属）：段階的評価による精密な学習

セルフアトリビューティングは、複数ステップのタスクにおいて、各ステップの貢献度を詳細に評価するメカニズムです。従来の「成功か失敗か」という二元的評価から、「どのステップが成功に寄与したか」という精密な分析へと進化させます。

これは優秀なスポーツコーチが試合後にビデオを分析する行動に例えられます。良いコーチは最終スコアだけを見て「勝った」「負けた」と言うのではなく、試合全体をプレイごとに分解し、あの完璧なパスや、試合の流れを変えた一つのミスブロックを特定します。この種の超詳細で細かいフィードバックが、真の学習加速を実現します。

具体的には、LLMの推論能力を活用して、完了した軌跡を遡及的に分析します。各アクションステップに対して「GOOD」（有益）または「BAD」（無関係・逆効果）のラベルを付与し、プロセス品質信号を生成します。これらの帰属報酬は軌跡レベルで標準化され、結果効果性と組み合わせて複合報酬を構成します。

実証実験による圧倒的な性能向上

AgentEvolverの効果は、実際のベンチマークテストで明確に実証されています。

AppWorldベンチマークでの成果

AppWorldは、仮想的なアプリ環境でエージェントがコードを書きながらタスクを自律的にこなせるかを測るベンチマークです。AgentEvolverを適用したQwen2.5-14Bモデル（140億パラメータ）は、300億パラメータの標準モデルを上回る性能を達成しました。

具体的には、7Bモデルでavg@8が29.4%向上、best@8が36.1%向上という驚異的な結果を記録しています。14Bモデルでは、avg@8が27.8%、best@8が30.3%の向上を実現しました。

BFCL v3ベンチマークでの優位性

BFCL（Berkeley Function Calling Leaderboard）は、適切なツールを使えるかどうかを評価するベンチマークです。ここでもAgentEvolverは、より少ないパラメータでより大規模なベースラインモデルを凌駕する性能を示しました。

これらの結果が示すのは、単純にモデルを大きくするよりも、より賢い学習方法を持つことの方がはるかに重要だということです。AgentEvolverは「サイズではなく、学習の質」という新しいパラダイムを実証しています。

各メカニズムの相乗効果と個別貢献

アブレーション研究により、3つのメカニズムがそれぞれ独立した価値を持ちながら、組み合わせることでさらに大きな効果を発揮することが確認されています。

メカニズム	主な効果	性能向上幅
セルフクエスチョニング	タスク生成の自動化	約20ポイント
セルフナビゲーティング	探索効率の向上	3-5ポイント
セルフアトリビューティング	サンプル効率の向上	3-5ポイント

特に注目すべきは、セルフアトリビューティングによるサンプル効率の向上です。従来手法と比較して、90%の性能に到達するまでの訓練ステップを55-67%削減することに成功しています。これは、学習速度の大幅な向上を意味します。

業務特化エージェント開発への示唆

AgentEvolverの特徴を分析すると、このシステムは汎用的なAIを作るというよりも、特定の業務タスクに特化したエージェント開発において特に有効であることが分かります。

業務特化の利点

業務特化エージェントでは、ステップが明確に定義され、段階的評価が可能です。AgentEvolverの3つのメカニズムは、このような環境で最大の効果を発揮します。例えば：

• カスタマーサポート：過去の成功事例から学習し、類似の問い合わせに対してより効果的な対応を自動生成
• データ分析業務：分析プロセスの各ステップを評価し、より精度の高い洞察を導出
• 文書処理：処理手順を最適化し、エラーの少ない自動化を実現

実装時の考慮点

業務特化エージェントを開発する際は、以下の点を考慮することが重要です：

• 用途の明確化：あまりに広範囲な用途を設定すると、ステップが多様化しすぎて効果が薄れる可能性があります
• 高品質データの重視：「雑なデータ10個よりも、レベルの高いデータ1個」という考え方で、質の高いトレーニングデータに絞ることが効果的です
• 段階的な展開：まず特定の業務領域で成功を収めてから、徐々に適用範囲を拡大していく戦略が推奨されます

まとめ

AgentEvolverは、AIエージェント開発におけるパラダイムシフトを提案しています。従来の「人間がAIを教える」アプローチから、「AIが自分で自分を教える」自己進化型システムへの転換は、以下の点で革新的です：

• コスト効率の大幅改善：手作業によるデータセット構築の必要性を大幅に削減
• 学習効率の向上：好奇心駆動型探索と経験再利用により、無駄な試行錯誤を削減
• 精密な学習制御：段階的評価により、各ステップの貢献度を正確に把握
• 継続的改善：自己進化メカニズムにより、人間の介入なしに能力を向上
• 業務特化への適用性：特定の業務領域において特に高い効果を発揮

AgentEvolverが示すのは、AIの未来は単純にモデルを大きくすることではなく、より賢い学習方法を開発することにあるということです。このアプローチにより、企業は自社の業務に特化した高性能なAIエージェントを、従来よりもはるかに効率的に開発できるようになるでしょう。

自己改善ループが永続的に続くAIエージェントの登場は、単にタスクを自動化するツールから、継続的に学習し成長するパートナーへの進化を意味します。AgentEvolverは、そのような未来への重要な一歩を踏み出したと言えるでしょう。

参考リンク

本記事の作成にあたり、以下の情報源を参考にしています：

• AgentEvolver論文（arXiv）
• AgentEvolver: Towards Efficient Self-Evolving Agent System – arXiv HTML版
• AgentEvolver公式GitHub Pages
• AgentEvolver: Efficient Self-Evolving Agents – Emergent Mind
• AgentEvolver Literature Review – The Moonlight

---

---

■合わせて読みたい

■関連記事