AIに「知らないことを聞かれた時、どう答えさせるか」。この問いの答えが、RAG（検索拡張生成）とベクトルという技術に集約されている。この二つは、AIの『脳』の中に地図と司書を同時に置くようなものだと考えると、本質が見えてくる。全体の流れは、4つのステップに分解すると分かりやすい。
01. チャンク：地図を街区に切り分ける
長い文書をそのまま扱おうとすると、意味がぼやけてしまう。だから最初にやるのは、文書を意味のまとまり単位（段落や数百文字程度）に分割する作業だ。これが「チャンク分割」。大きな大陸をそのまま描くのではなく、街や区画ごとに区切って地図を作るイメージ。
02. ベクトル：区画に座標を与える
分割されたチャンクひとつひとつを、意味の近さに応じた座標（ベクトル）に変換する。「猫」と「子猫」は地図上で近くに置かれ、「猫」と「株価」は遠く離れた場所に置かれる。これで、曖昧な言葉の意味がAIの計算できる『距離』に変換され、地図上に配置される。
03. 検索（RAG）：司書が近い区画を探し出す
ユーザーの質問が来たら、その質問文もベクトルに変換し、地図上で『意味的に近い』区画＝チャンクを検索して引っ張ってくる。LLM自身は学習した時点の記憶しか持たないから、この検索によって外部の最新知識や社内資料を後から手渡してもらう。優秀な司書が、必要な資料だけを的確に持ってくる作業だ。
04. トークン：渡せる資料には限りがある
司書が持ってきた資料をLLMに渡す時、LLMは文章をそのまま読むのではなく、「トークン」という単位（単語の断片くらいのサイズ）に区切って処理する。そして一度に扱えるトークン数には上限（コンテキストウィンドウ）がある。だからチャンクを大きく切りすぎると、渡せる資料の数そのものが減ってしまうというトレードオフが生まれる。
地図を切り分け、座標を与え、司書に探させ、渡せる量の限界と向き合う。この4つの歯車が噛み合った時、AIは自分の記憶にない事実さえも、まるで知っていたかのように正確に語り始める。
