チャンク分割

📖 もうちょい詳しく

何が新しいの？

チャンク分割は、長い文書をそのまま扱うのではなく、意味のまとまりごとに小さな塊（チャンク）へ切り分けてからAIに渡す考え方です。AIに自社のマニュアルやFAQを参照させる仕組みが広まったことで、この「事前に切っておく」工程が大事になってきました。

どうやって動いてるの？

長い文章を、段落や文の区切り、決まった文字数などを目安にして区切っていきます。区切った一つひとつのチャンクは、あとで意味を数値に変える処理（埋め込み）にかけて、検索しやすい形で保存することが多いです。区切り方には、前後のチャンクを少し重ねて文脈が切れないようにする工夫もよく使われます。

何ができるの？

ぶつ切りにしておくと、質問に関係する部分だけをすばやく取り出せます。たとえば100ページのマニュアルから、聞かれた内容に近い数チャンクだけをAIに渡せるので、回答の精度が上がりやすくなります。

🌱 身近なたとえ

分厚い参考書で例えると、チャンク分割は本を章や節ごとに付箋で区切っておく作業に近いです。全部を一気に読み返すのではなく、知りたいところの付箋だけをめくれば、必要な情報にすぐたどり着けます。区切り方が雑だと、付箋が話の途中で貼られてしまい、肝心の部分が見つけにくくなります。

✅ まず覚えるポイント

• 長い文書を小さな塊（チャンク）に切り分ける前処理です。
• 主にRAG（外部知識を参照する仕組み）で使われます。
• 区切った塊は埋め込みにかけて検索しやすく保存することが多いです。
• 大きすぎると余計な情報が混ざり、小さすぎると文脈が切れます。
• 前後を少し重ねて区切ると、意味のつながりが保たれやすくなります。
• 切り方しだいで検索や回答の精度が変わります。

🧭 よくある勘違い

チャンクは小さいほどいいの？

小さくしすぎると、文の途中で切れて意味が分からなくなることがあります。逆に大きすぎると、質問と関係ない部分まで一緒に取り出してしまいます。扱う文書の種類に合わせて、ほどよい大きさにするのが基本です。

文字数でただ機械的に切れば十分？

決まった文字数で切る方法は手軽ですが、文章の意味の区切りを無視してしまう場合があります。段落や見出しといった意味のまとまりを意識して区切ると、検索の精度が上がりやすいです。

🧩 関連して覚えると楽な言葉

• RAG: 外部の文書を検索してAIに参照させ、回答させる仕組みです。
• 埋め込み（エンベディング）: 文章の意味を数値の並びに変換する技術です。
• ベクトルデータベース: 文書を意味を表す数字に変えてためておき、意味が近いものを探せるデータベースです。
• LLM: 大量の文章を学習した、文章を生成するAIの本体です。

🏁 ひとことでまとめ

チャンク分割は、長い文章を後で取り出しやすいサイズに切りそろえておく下ごしらえの工程です。