なぜメルカリは40億件の出品データで「独自AI」を作るのか——Semantic IDと生成検索の設計

• メルカリが40億件超の出品・行動データで検索専用AIを開発中です
• 公開モデルを自社データで鍛え直し、独自性を出す設計だと見られます
• モデル規模や実測の速度・コストは、まだ公表されていません

メルカリが作ろうとしているのは、何でも答えるChatGPTではなく、「欲しい商品を探す」ことに特化したAIです。公開モデルをメルカリのデータで鍛え直し、小さく速く動かす構成ではないか——私はそう見ています。

狙っているのは、曖昧なキーワードから「その人が本当に欲しい商品」を見つける検索専用AIです。ポイントは、商品の「意味」を数字で表し、過去に何を検索し、クリックし、買ったかを学ばせることです。

メルカリが作るのは「検索専用AI」

メルカリは、これまで出品された40億品以上のデータを使い、「言葉が少し違っても欲しい商品を見つけられるAI」を開発しています。検索履歴やクリック、購入などの記録も学習に使います。メルカリR4Dの公式発表では、GENIAC（経済産業省が進める取組）の採択事業として、リユース市場向けの生成検索技術を開発すると説明しています。

日本経済新聞の山田進太郎社長への取材によれば、一部の実用化を目指すのは2027年6月期です。既存のオープンなモデルを活用しながら、自社で制御できる範囲を増やし、検索品質だけでなく利用コストや特定モデルへの依存も抑えようとしています。

ここでいう「独自AI」は、家を土地から自作する話ではありません。既製の優れたモデルを土台に、メルカリ向けに内装を作り替えるイメージです。オープンモデルを土台に、メルカリ固有のデータと検索課題で特化する。この理解が最も自然ですが、モデルの種類、パラメーター数、学習方法はまだ公表されていません。

約8割の商品が既存カタログに載らない

一般的な通販サイトなら、本のISBNのような共通番号を使って「同じ商品」をまとめられます。ところがメルカリの商品は、中古品や一点物が中心です。約8割は、既存の商品台帳にそのまま登録できません。

同じスニーカーでも、色、サイズ、傷、付属品、使用回数が異なります。出品者の言葉遣いもばらばらです。

「フェスで疲れにくい靴」と検索した人に、商品名へ「フェス」と書かれていなくても適切な候補を出す必要があります。キーワードの一致だけでは捉えにくい、このロングテールに対応する技術がGenerative Retrieval（生成検索）です。

検索語から商品IDを直接生成する

従来のベクトル検索では、商品と検索語をそれぞれエンベディングし、ベクトル空間で近い商品を探します。エンベディングとは、言葉や商品の意味を「地図上の座標」に変える技術です。意味が近い商品ほど、地図上でも近くに置かれます。

Semantic IDは、その細かな座標を短い「意味の住所」に置き換えたものです。エンベディングが緯度・経度なら、Semantic IDは郵便番号に近い存在です。代表的な生成検索では、商品の細かな座標を、短い番号の組み合わせへ圧縮します。その短い番号がSemantic IDです。

たとえば、長い浮動小数点ベクトルを「12-47-03」のようなコードへ変えるイメージです。ただし、数字の差そのものが距離を示すわけではありません。

従来のベクトル検索は、巨大な売り場を歩いて「近そうな商品」を探します。生成検索は、要望を聞いた店員が「この棚の、この商品です」と商品番号を直接答えるイメージです。

つまり、候補探索の中心を、ベクトル空間の検索から商品コードの生成へ移す設計です。

メルカリも、事前学習済みのマルチモーダルエンコーダーで画像とテキストの特徴を抽出し、Semantic IDを作る構想を公表しています。ただし、どんな方法で番号を作るのかは未公表です。この番号はAIが使うもので、人間が見て意味の分かる商品分類とは限りません。

40億件を丸暗記させるわけではない

「40億件で学習する」と聞くと、全商品の説明をLLMへ丸暗記させるように感じます。しかし、公開資料から見える設計はもっと構造的です。

使うのは、いわば「過去の売り場帳簿」「正確な商品辞書」「利用シーンの口コミ」の3つです。

1. 累計40億品以上の出品データと取引・検索・行動ログ。商品名、説明文、カテゴリ、画像の特徴などを含みます。
2. 駿河屋が持つ約3000万件の正確な商品辞書。「プレステ」「PS」「PlayStation」のような呼び方の違いを整理する助けになります。
3. LLMで合成する約300万件の感性データ。「フェス向き」「雨の日も安心」のような主観的な検索意図を学ばせます。

商品の意味、正確な商品知識、人の曖昧な好みを異なるデータで補強するわけです。40億品は累計の学習データ規模であり、現在販売中の40億商品をモデルがすべて保持するという意味ではありません。

エンベディングは「正解の位置」ではなく関係を学ぶ

LLMのファインチューニングでは、入力文と望ましい出力文の組を用意します。一方、エンベディングモデルでは、検索語と商品の相対的な位置関係を学習させます。

基本的な1レコードは、次のような組です。

• 検索語：夏フェスで疲れにくい黒い靴
• 正解例：実際に選ばれた、軽くて疲れにくい黒いスニーカー
• 紛らわしい不正解：見た目は近いが、重い、用途が違う、サイズがない商品

学習では、QueryとPositiveのベクトルを近づけ、QueryとNegativeを遠ざけます。商品を置く座標を人間が直接指定するのではなく、「この検索ならAをBより上位にしたい」という順序関係を大量に与えるのです。

Sentence Transformersの学習ドキュメントでも、anchor-positiveのペア、anchor-positive-negativeのトリプレット、関連度スコア付きペアなどが代表的な形式として示されています。正例のペアだけを用意し、同じバッチ内の別の正例を負例として使う学習も可能です。

メルカリなら、購入、カート追加、クリック、滞在時間などからPositiveを作れます。

ただし、クリックされたから本当に最適とは限りません。検索結果の上に出たからクリックされただけかもしれません。スーパーで目線の高さの商品が売れやすいのと同じで、「よく選ばれた＝本当に最適」とは限らないのです。

大切なのは「紛らわしい不正解」です。試験でも、明らかに違う選択肢より、正解に似た選択肢から見分ける方が力が付きます。AIも同じです。「現在の検索では上位に出るが、実際には選ばれない商品」を負例にすると、モデルは微妙な違いを学びやすくなります。

公開モデルでも「独自AI」は作れる

こうした検索AIは、ゼロから作る必要はありません。誰でも土台として使え、自社データで鍛え直せるエンベディングモデルがすでに公開されています。

公開資料から確実に言えるのは、事前学習済みのマルチモーダルエンコーダーで商品特徴を抽出することまでで、そのエンコーダー自体を追加学習するかも未公表です。

それでも、公開モデル＋自社の検索・購買データなら、ゼロから巨大モデルを事前学習するより現実的に独自性を出せます。すべてを作り直さなくても、必要な部分だけを追加学習するなど、費用を抑えた鍛え方があります。

高速・低コストは「狙い」であり、実測値はない

Semantic IDは、商品の意味を短い番号にまとめます。さらに検索だけを担当する小型AIにできれば、速さと費用を両立できる可能性があります。

この点で、「小さいモデルで高速に出し、速度とコストを両立するのではないか」という見立ては有力な設計仮説です。

ただし、メルカリはモデルサイズ、IDの長さ、レイテンシー、1検索当たりの費用を公表していません。

つまり、Semantic IDだから必ず速いとは言えません。実際の速度と総コストは、モデル規模、IDの長さ、候補探索の幅、ハードウェアで決まります。

実際には、キーワード検索、意味で探す検索、生成検索を組み合わせる可能性があります。複数の店員が候補を持ち寄り、最後に在庫や価格を確認して並べ直すイメージです。これは検索システムとして合理的な推測ですが、メルカリの本番構成は未公表です。

企業のAI資産は「行動のつながり」にある

この取り組みで最も重要なのは、40億件の文章や画像を持っていることだけではありません。

「どんな言葉で探したか」「何が表示されたか」「どれをクリックしたか」「最後に何を買ったか」という検索語・商品・行動の関係性データを持っていることです。公開モデルは他社も利用できますが、このつながりは同じサービスを長く運営しなければ得られません。

これは、以前書いたなぜGoogleは破産した企業の社内データを15億円で買ったのかにも通じます。公開ウェブにはない「判断と行動の軌跡」が、企業固有のAIを作る材料になります。

自社検索を改善したい企業は、いきなり独自LLMを作る必要はありません。まず、次の3点を確認すべきです。

1. 検索語と「正解の商品・文書」の組を作れるか。
2. 「似ているけれど不正解」の例を集められるか。
3. 検索成功を購入、問い合わせ解決、作業完了などで測れるか。

このデータがあれば、公開エンベディングモデルの追加学習から始められます。商品数が極めて多く、索引の保存・更新コストや外部モデル依存が経営課題になる段階で、Semantic IDや生成検索を検討すればよいでしょう。

メルカリが作ろうとしているのは、何でも答える万能AIではありません。自社にしかない関係性データを使い、検索という一つの仕事を深く学んだAIです。企業のAI競争は、モデルの大きさではなく、自社の行動データをどれだけ学習可能な形へ変えられるかで決まっていきそうです。

よくある質問（FAQ）

Q1. メルカリの「独自AI」とはどんな技術ですか？

ゼロから作る巨大言語モデルではありません。既存の公開エンベディングモデルを土台に、メルカリ自身の出品・検索・購買データで追加学習し、「欲しい商品を探す」ことに特化させる検索専用AIです。モデルの種類やパラメーター数は未公表です。

Q2. Semantic IDとは何ですか？

商品の意味をベクトル（座標）ではなく、短いコードの組み合わせに圧縮したものです。検索語から直接その商品コードを生成できるため、従来のベクトル検索よりも候補探索が速く済む可能性があります。ただし実測の速度・コストはメルカリから公表されていません。

Q3. 公開モデルだけで独自AIを作れますか？

自社データが十分にあれば可能です。検索語と正解商品の組、似ているが不正解な商品の例、検索成功を測る指標（購入・問い合わせ解決など）の3点があれば、公開エンベディングモデルの追加学習から始められます。

新著（7/27発売）『Claude 最強のAI自動化術』：https://amzn.to/4eTUVG1

YouTube『いけともch』：https://www.youtube.com/@iketomoch

Podcast『いけとも尾原DeepなAIニュース』：https://open.spotify.com/show/3hGAbKZI5oo9PsbFI1IxTr

■合わせて読みたい

■関連記事