チャンキングとは？RAGの検索精度を左右する分割手法と設計のポイントを解説

RAG構築とデータ設計に携わってきたエンジニアの知見をもとに執筆しています。チャンキング設計で迷っている方の判断材料として、お役に立てれば幸いです。

チャンキングとは何か｜RAGにおける文書分割の役割

チャンキングの定義

チャンキングとは、情報を意味のあるまとまり（チャンク）に分割し整理するプロセスです。心理学者のジョージ・ミラーが提唱した「マジカルナンバー7±2」に由来する概念で、人間が短期記憶で保持できる情報量には限界があるため、情報をグループ化して認知負荷を下げるという考え方です。この考え方はAIにおけるデータ処理にも応用されています。

なぜチャンキングがRAGの精度を左右するのか

RAGではAIが外部データベースから関連情報を探し出して回答を生成しますが、元のドキュメントが長すぎるとAIはどの部分が重要か判断しにくくなります。情報を適切なサイズのチャンクに分割することで的確な検索が可能になり、ノイズを減らして回答の正確性を高めます。

チャンクサイズと検索精度の関係

チャンクサイズは検索結果の質に直接影響を与える重要な要素です。サイズが大きすぎると一つのチャンクに複数の話題が混在し検索精度が落ちます。逆に小さすぎると文脈が失われAIが意味を正しく理解できなくなります。

目的やデータの性質に合わせて最適なサイズを見極めることが、チャンキング設計の核心です。

チャンキングの種類｜分割手法を目的別に整理

固定長チャンキング（文字数・トークン数ベース）

指定した文字数やトークン数でテキストを機械的に分割する手法です。実装がシンプルで処理速度が速い反面、文の途中で区切られるリスクがあり意味が通じなくなることがあります。構造が単純なテキストやスピードを最優先する場合に適しています。

構造ベースチャンキング（段落・見出し・文単位）

HTMLのタグやMarkdownの見出しなど、文書の構造を利用して分割する手法です。段落や文単位で区切るため論理的なまとまりを維持しやすく、マニュアルや規程集など見出し構成が明確なドキュメントに非常に適しています。

意味的チャンキング（セマンティックチャンキング）

テキストの意味的な類似性を計算し、話題が変わる箇所で分割する高度な手法です。各チャンクが一貫した内容になるため検索の精度が飛躍的に向上しますが、分割位置を判断するための計算コストが高くなる点には注意が必要です。Q&Aデータや専門的な技術文書など、高い回答精度が求められる場面で活躍します。

階層型チャンキング（親子チャンク）

情報を大まかなまとまり（親）と詳細なまとまり（子）の階層構造で管理する手法です。検索時は「子チャンク」でピンポイントに一致する情報を探し、AI回答生成時には文脈が豊富な「親チャンク」を渡します。これにより正確な検索と文脈を捉えた自然な回答の両立が可能になります。

チャンキング設計のポイント｜精度を高める4つの基準

扱う文書の種類・長さに合わせて手法を選ぶ

すべての文書に通用する「完璧なチャンキング手法」は存在しません。FAQのように短いデータと長大なマニュアルでは最適なアプローチが異なります。元の文書が持つ構造や情報の密度を分析した上で手法を選択してください。

チャンクサイズとオーバーラップの最適な設定

メタデータと組み合わせて検索精度を高める

分割したテキスト情報だけでなく、作成日やカテゴリなどのメタデータを付与することで検索精度が大きく向上します。メタデータで検索範囲を絞り込むことで、無関係なチャンクがヒットするのを防げます。同じような用語が複数の文脈で使われる社内ドキュメントでは特に必須の設計です。

埋め込みモデルのトークン制限を考慮する

チャンキングの失敗パターンと対策

チャンクが大きすぎる場合の問題

チャンクが大きすぎると一つの塊に複数のトピックが混ざってしまいます。検索時に「部分的には一致するが全体としては無関係」な情報がヒットしやすくなり、AIも複数のトピックから適切な情報を抽出できず的外れな回答を生成しがちです。

チャンクが小さすぎる場合の問題

文脈が途切れる分割によるハルシネーションリスク

固定長で機械的に分割すると重要な説明の途中でチャンクが切れることがあります。情報が不完全な状態でAIに渡されると、AIは不足部分を推測して補おうとします。これが事実に基づかない情報を生成する「ハルシネーション」の原因のひとつです。オーバーラップを設けるか、構造ベースの分割手法を採用することで対策できます。

チャンキングの評価と改善方法

検索結果のゼロヒット分析

ユーザーの質問に対して適切なチャンクが一つもヒットしなかったケースを分析します。専門用語の揺れやチャンクサイズが合っていないことが主な原因です。検索クエリとチャンクの内容を見比べ、分割の粒度やメタデータの不足を修正します。

回答品質からチャンク設計を見直す方法

AIが生成した回答の品質を人間が評価し、チャンク設計にフィードバックします。「回答が長すぎる」「的外れである」といった課題はチャンクに起因することが多いため、理想的な回答を出力するために必要な情報が過不足なくチャンクに含まれているか確認してください。

継続的なチューニングのサイクル

よくある質問｜チャンキングの設計・運用について

まとめ｜チャンキング設計のチェックリスト

RAG構築・チャンキング設計支援なら株式会社glorious futureへ

記事の監修

代表取締役村越 聖人

代表取締役村越 聖人

2006年からエンジニアにてデジタル業界でのキャリアをスタート。
大小様々なWebシステム開発およびシステム運用保守を経験。

フルスタックエンジニアとして上流から下流工程まで一連の業務を担当するとともに、サーバー設計、構築、運用設計などのサーバー管理者業務も兼任。

近年は、顧客折衝を含む提案型営業からDMP絡みのデータ分析業務をはじめ、プロジェクトの全体統括・SEなど業務要件に合わせたポジショニングで顧客ニーズの最大化を図るサービス提案を実施。

新規事業で立ち上げた自社サービスにて、発明者として特許取得。

2019年5月 株式会社glorious future 設立。