RAG とは:LLM だけでは足りないとき
RAG とは何か、なぜ必要か、そして実際に作るときの問題:チャンク戦略、埋め込みのドリフト、モデル交換、レイテンシ。チュートリアルではなく経験談です。
LLM はたくさんのことを知っています。でも、あなたのコードベースは知りません。社内ドキュメントも知りません。先月の本番障害についての Slack スレッドも知りません。
ファインチューニングはお金も時間もかかり、データが変わるたびに学習し直しです。全部をコンテキストウィンドウに詰め込むこともできますが、100K トークンのリクエストに 1K トークンあたり $0.03 では続きません。
RAG は別のやり方です。
RAG とは
Retrieval-Augmented Generation(検索拡張生成):すべてのコンテキストをプロンプトに詰め込む代わりに、関係する部分だけを取り出してから LLM に質問します。
基本の流れ:
- インデックス時: ドキュメントをチャンクに分割 → ベクトルに埋め込み → ベクトル DB に保存
- クエリ時: 質問を埋め込み → 類似度検索 → 上位 k 個のチャンクを取得 → プロンプトに入れる → LLM を呼ぶ
LLM はもうすべてを「覚えて」おく必要はありません。正しい資料を読んで、それに基づいて答えるだけです。
簡単そうに聞こえます。作ってみて初めて、細部に悪魔が潜んでいることが分かります。
実際の難しさ
1. チャンク戦略
どうチャンクに分けるかが最初の、そして最も重要な問いです。
固定サイズのチャンク: 512 トークンごとに分割し、50 トークン重ねる。シンプルで実装も簡単。でも文や段落の途中で切れ、意味のつながりが失われます。
意味的なチャンク: 段落やセクションで分ける、または文の埋め込みで話題の境界を検出する。結果は良くなりますが、複雑になります。しかもコードのような構造化データには、また別の戦略が必要です。
階層的なチャンク: ドキュメント → セクション → 段落の 3 階層をすべて保存し、クエリでは小さなチャンクを親のコンテキストと一緒に返します。良い方法ですが、ストレージは 3 倍、レイテンシも増えます。
万能の方法はありません。私は markdown ドキュメントには固定サイズ、文章には意味的なチャンク、コードには関数単位を使ってきました。種類ごとに別々のパイプラインです。
2. 埋め込みの品質
埋め込みモデルが検索の品質を決めます。モデルが悪い → 間違ったチャンクが見つかる → コンテキストがあっても LLM がハルシネーションを起こす。
問題は、このエラーにすぐには気づけないことです。LLM はそれでも自信たっぷりに答えますが、無関係なチャンクからです。サイレントな失敗:AI システムで最も危険なものです。
評価パイプラインが必要です。(question, expected_chunk_ids) のゴールデンデータセットを作り、recall@k と MRR を測ります。数字がなければ、自分がどこにいるのか分かりません。
3. リランキング
ベクトル検索の上位 k 個が、いつも最良の上位 k 個とは限りません。ベクトルの類似度 ≠ 意味的な関連性、というケースがあります。
クロスエンコーダーのリランカー: 上位 20 チャンクを取ったあと、小さめのモデルで (question, chunk) の組ごとにスコアを付けて並べ直します。結果ははっきり良くなります。コストはレイテンシが約 100〜300ms 増えることです。
本番システムでは、検討すべきトレードオフです。
4. コンテキストの組み立て
関係するチャンクが 5 つあります。どの順番でプロンプトに入れますか?一番重要なチャンクは最初か、最後か?
LLM には lost-in-the-middle 問題があります。コンテキストウィンドウの真ん中にある情報は、最初や最後の情報より「忘れられ」やすいのです。一番重要なチャンクは真ん中ではなく、プロンプトの最初か最後に置きましょう。
そして忘れないでください。コンテキストウィンドウには上限があります。チャンクの合計が予算を超えたら削るしかありません。下手に削ると情報が失われます。
核心の問題:モデルは変わる
あまり語られませんが、運用で一番痛い問題です。
埋め込みのドリフト
10 万件のドキュメントを text-embedding-ada-002 でインデックスしたとします。半年後、OpenAI がより良く安い text-embedding-3-large を出しました。
インデックスはそのままで、クエリ側のモデルだけ変えることはできません。異なる 2 つのモデルの埋め込みには互換性がありません。ベクトル空間がまったく違うからです。類似度検索はゴミを返します。
解決策は全件の再インデックスです。10 万件なら、次のことを意味します:
- 小さくない埋め込み API の費用
- ダウンタイム、または 2 つのインデックスを並行稼働させる複雑さ
- リスク:再インデックスが途中で失敗したら?
対処法:
各ドキュメントのメタデータに embedding_model を記録します。モデルを交換するときは、段階的な移行ジョブを走らせます。バッチごとに処理して migrated: true を付け、移行が 100% 終わるまで古いインデックスを残します。それからポインタを切り替えます。
documents/
- id: doc_123
content: "..."
embedding_model: "text-embedding-ada-002"
migrated: false
chunks: [...]
ダウンタイムゼロが必要なら、移行期間中は二重書き込みします。ストレージは 2 倍ですが安全です。
LLM のバージョン変更
gpt-4-turbo → gpt-4o:挙動が変わります。古いモデルに最適だったプロンプト形式が、新しいモデルにも最適とは限りません。Claude 2 で効いたプロンプトのテクニックが、Claude 3 では不要になったものもあります。
LLM を交換するたびに、評価セット全体で回帰テストを行いましょう。テストしなければ、品質がどう変わったか分かりません。
バージョンの固定: 設定ではモデルのバージョンを固定し、"latest" にはしません。アップグレードは自動ではなく、意図して行います。アップグレードで一度痛い思いをするほうが、原因不明で本番の品質が落ちるよりましです。
llm:
model: "claude-3-5-sonnet-20241022" # 固定。"claude-3-5-sonnet-latest" ではない
embedding:
model: "text-embedding-3-small"
version: "2024-01-01"
コンテキスト長の変化
新しいモデルはたいてい、より大きなコンテキストウィンドウを持っています。チャンクを増やしたり大きくしたりできますが、すると突然、応答の品質が変わります。長いコンテキストでのモデルの挙動が違うからです。
コンテキストの予算を変えるときも、モデルを変えるときと同じように再テストが必要です。
その他の落とし穴
古くなったインデックス: ドキュメントが更新されたのに再埋め込みを忘れる。変更検知が必要です。内容のハッシュを取り、取り込みのたびに比較して、内容が変わったときだけ再埋め込みします。
クエリ拡張: ユーザーの短い質問は、長いチャンクとうまくマッチしないことが多いです。埋め込む前に、LLM でクエリを検索向きの形に書き換えましょう。LLM の呼び出しが 1 回増えますが、検索の品質ははっきり上がります。
メタデータでの絞り込み: ドキュメントがどのカテゴリに属するか分かっているなら、インデックス全体を検索しないこと。先に絞り込み、あとで検索。速くて正確です。
まとめ
RAG はプラグアンドプレイではありません。インデックス作成パイプライン、埋め込みモデル、ベクトル DB、リランカー、プロンプトエンジニアリング、評価と、多くの部品からなるシステムです。
部品ごとに固有の失敗パターンがあります。中でもサイレントな失敗が最も危険です。LLM はいつも、正しそうに聞こえる何かを返すからです。
最初から評価パイプラインに投資しましょう。初日から埋め込みモデルのバージョンを記録しましょう。すべてを固定しましょう。アップグレードの前にテストしましょう。
そしてチャンク戦略は、たくさん試し、しっかり測り、直感を信じないこと。
関連記事
オフィスワークでの AI の使い方:コード不要、今日からできる 7 つのこと
ChatGPT、Gemini、Claude、Copilot をオフィスで使う方法。メール、資料の要約、Excel の数式、議事録。コピーできるプロンプト付き。
2026-09-29Jev:文章を書かず、判断だけをする AI
TypeSafe AI が Jev を発表。テキストを生成せず、型付きの判断と確率だけを返すモデルです。その仕組みと、オープンソースの代替を紹介します。