RAG（検索拡張生成）の設計と構築

RAG（検索拡張生成）の設計と構築

はじめに

RAG（Retrieval-Augmented Generation）は、外部の知識ベースから関連情報を検索し、その情報を元にLLMが回答を生成する仕組みです。LLM単体ではカバーできない最新情報や社内固有の知識を活用でき、ハルシネーション（嘘の回答）を大幅に削減できます。

RAGの基本アーキテクチャ

RAGシステムは大きく3つのフェーズで構成されます。

• ◆インデックス作成: ドキュメントを読み込み、チャンク分割し、ベクトル化してDBに格納する
• ◆検索（Retrieval）: ユーザーの質問をベクトル化し、類似度の高いチャンクをDBから検索する
• ◆生成（Generation）: 検索結果をコンテキストとしてLLMに渡し、回答を生成する

ドキュメントの前処理とチャンキング

RAGの品質を左右する最も重要な工程がチャンキング（文書分割）です。

• ◆固定長チャンキング: 一定の文字数やトークン数で機械的に分割。実装が簡単だが文脈が切れやすい
• ◆セマンティックチャンキング: 意味のまとまりで分割。見出し、段落、セクション単位で区切る
• ◆オーバーラップ: チャンク間に重複部分を持たせ、文脈の断絶を防ぐ。一般的に10〜20%のオーバーラップが推奨
• ◆チャンクサイズ: 小さすぎると文脈が失われ、大きすぎるとノイズが増える。500〜1000トークンが一般的な目安

ベクトルデータベースの選定

ベクトル検索を行うためのデータベースは複数の選択肢があります。

• ◆Pinecone: フルマネージドで導入が容易。スケーラビリティに優れる
• ◆Weaviate: オープンソース。ハイブリッド検索（ベクトル＋キーワード）が強み
• ◆Qdrant: 高速でメモリ効率が良い。フィルタリング機能が充実
• ◆Chroma: 軽量でローカル開発に最適。Pythonとの親和性が高い
• ◆Supabase pgvector: PostgreSQL拡張。既存のSupabase環境に統合しやすい

エンベディングモデルの選択

テキストをベクトル（数値配列）に変換するモデルの選択も重要です。

• ◆OpenAI text-embedding-3-small: コスト効率が良く、多くのユースケースに対応
• ◆OpenAI text-embedding-3-large: 高精度だがコストが高い。精度重視の場合に選択
• ◆Cohere embed-v3: 多言語対応が優秀。日本語の検索精度が高い
• ◆オープンソース（multilingual-e5-large等）: 自前サーバーで運用可能。データを外部に出せない場合に

検索精度の改善テクニック

基本的なRAGの精度を向上させるための実践的な手法を学びます。

• ◆ハイブリッド検索: ベクトル検索とキーワード検索（BM25）を組み合わせて精度を向上
• ◆リランキング: 検索結果を別のモデルで再スコアリングし、より関連性の高い結果を上位に
• ◆クエリ拡張: ユーザーの質問をLLMで言い換え・拡張し、多角的に検索する
• ◆メタデータフィルタリング: カテゴリ、日付、部門などのメタデータで検索範囲を絞る

🏋️実践ワーク

以下の課題に取り組みましょう。

• ◆自社のFAQドキュメント（10ページ程度）をチャンク分割してみましょう
• ◆ChromaまたはPineconeにベクトルを格納し、質問に対する検索結果を確認してみましょう
• ◆検索結果をChatGPT APIに渡して回答を生成する簡単なRAGパイプラインを構築してみましょう

📝まとめ

RAGは、LLMに外部知識を供給する最も実用的なアプローチです。チャンキング戦略、ベクトルDB選定、エンベディングモデル選択、検索精度改善の各要素を適切に設計することで、高品質なAIアシスタントを構築できます。次の章では、複数のAIを協調動作させるマルチエージェントシステムについて学びます。