RAGや社内AIチャットを導入したあと、「思ったより答えが合わない」「資料は入れたのに古い回答が出る」「根拠が曖昧で信用できない」と感じることがあります。
この状態になると、すぐに「もっと高性能なAIモデルに変えるべきか」「一から作り直すべきか」と考えがちです。
しかし、RAGの回答精度が低い原因は、AIモデルだけとは限りません。実際には、資料の状態、検索方法、分割の仕方、プロンプト、権限、更新ルール、質問の想定がずれていることも多くあります。
この記事では、小規模事業者や少人数チームがRAG・社内AIチャットの精度に不満を感じた時、作り直す前に確認したい原因切り分けの手順を整理します。
RAGの精度問題は「AIが賢くない」だけではない
RAGは、社内資料やFAQ、マニュアル、過去対応履歴などを検索し、その検索結果をもとにAIが回答する仕組みです。
そのため、回答が外れる時は、大きく分けて次のどこかで問題が起きています。
- そもそも必要な資料が入っていない
- 古い資料や重複資料が混ざっている
- 検索で正しい資料が拾えていない
- 拾った資料をAIがうまく使えていない
- 質問の形式と資料の書き方が合っていない
- 回答後の確認・修正ルールがない
つまり、AIモデルだけを変えても、資料や検索の問題が残っていれば改善しない場合があります。
まずは、回答が悪い原因を「資料」「検索」「生成」「運用」に分けて見ます。
原因1: 必要な資料が検索対象に入っていない
最初に確認したいのは、AIが参照できる資料の範囲です。
人間が知っている情報でも、RAGの検索対象に入っていなければAIは答えられません。たとえば、最新の料金表は担当者のPCにあり、RAGには古いPDFだけが入っている、という状態では正しい回答は出ません。
次のような状態がないか確認します。
- 最新版の資料が対象フォルダに入っていない
- 口頭やチャットだけで共有されているルールがある
- よく聞かれる質問に対応する資料が存在しない
- 営業資料、FAQ、マニュアルが別々に管理されている
- 過去の対応履歴をAIが参照できない
回答精度を上げる前に、「この質問に答えるための資料は本当に入っているか」を確認する必要があります。
原因2: 古い資料と新しい資料が混ざっている
RAGでよく起きる問題が、古い資料と新しい資料の混在です。
たとえば、料金改定前のPDF、旧サービス説明、過去のキャンペーン資料、古いマニュアルが残っていると、AIが古い内容を根拠に回答することがあります。
特に危ないのは、ファイル名だけでは新旧が分からない状態です。
- 資料_final.pdf
- 資料_最新版.pdf
- サービス説明_修正版.pdf
- マニュアル_新.pdf
このような名前が並んでいると、人間でも判断が難しくなります。
改善するには、資料ごとに更新日、対象サービス、利用可否を分かる形にします。古い資料を削除できない場合でも、「参照禁止」「過去資料」「2025年以前」などの扱いを決めておくと、誤回答を減らしやすくなります。
原因3: 資料の分割単位が大きすぎる、または細かすぎる
RAGでは、資料を一定の単位に分けて検索することがあります。この分け方が合っていないと、必要な情報が拾えなかったり、文脈が途切れたりします。
分割が大きすぎる場合、検索結果に余計な情報が多く入り、AIがどこを使えばよいか迷います。
逆に分割が細かすぎる場合、重要な前後関係が失われます。たとえば、料金表の注意書きだけが切り離されると、「どのプランに関する注意か」が分からなくなります。
確認したいポイントは次の通りです。
- 1つの検索結果に複数テーマが混ざっていないか
- 表の見出しと中身が切り離されていないか
- 手順の前後関係が崩れていないか
- FAQの質問と回答が別々に分かれていないか
- 短すぎる断片だけが大量に検索されていないか
社内AIチャットでよく使う資料は、検索しやすい形に整えるだけで回答が改善することがあります。
原因4: 質問文と資料内の言葉がずれている
社員やスタッフが使う言葉と、資料に書かれている言葉が違う場合も、検索が外れやすくなります。
たとえば、社内では「キャンセル対応」と呼んでいるのに、マニュアルでは「解約手続き」と書かれている。現場では「請求ミス」と言うのに、資料では「請求額差異」と書かれている。このような言葉のずれがあると、検索で正しい資料が見つかりにくくなります。
改善するには、よく使われる言い換えを整理します。
- 社内で使う略語
- お客様が問い合わせで使う表現
- 正式名称と通称
- 旧サービス名と新サービス名
- よくある誤記や表記ゆれ
RAGの精度改善では、AI側だけでなく、資料側に検索されやすい見出しや言い換えを足すことも有効です。
原因5: プロンプトで回答ルールが弱い
検索で正しい資料が拾えていても、AIがその資料をどう使うかのルールが弱いと、回答が曖昧になります。
たとえば、次のような問題です。
- 根拠がない時でも推測で答えてしまう
- 複数資料が矛盾している時に古い情報を選んでしまう
- 回答に参照元を出さない
- 分からない場合に確認先を示さない
- 社外向け・社内向けの言い方が混ざる
この場合は、「必ず資料に基づいて答える」「根拠が見つからない場合は分からないと返す」「日付が新しい資料を優先する」「参照元を表示する」など、回答ルールを明確にします。
ただし、プロンプトだけで全てを解決しようとしないことも重要です。古い資料が残っている、権限が曖昧、検索対象が広すぎるといった問題は、運用や設計側で直す必要があります。
原因6: 正解例と失敗例を残していない
RAGの改善では、「なんとなく精度が悪い」という感想だけでは原因を特定しにくくなります。
改善しやすくするには、実際の質問と回答を残します。
- ユーザーが入力した質問
- AIの回答
- 本来期待していた回答
- 参照すべきだった資料
- 問題の種類
問題の種類は、たとえば「資料不足」「古い資料を参照」「検索失敗」「回答ルール不足」「質問が曖昧」などに分けます。
この記録があると、AIモデルを変えるべきなのか、資料を直すべきなのか、検索設定を見直すべきなのか判断しやすくなります。
まず試したい診断チェックリスト
RAGや社内AIチャットの回答精度が低い時は、次の順番で確認します。
- よく外れる質問を5件集める
- それぞれに正解資料が存在するか確認する
- 正解資料が検索対象に入っているか確認する
- 古い資料や重複資料が混ざっていないか確認する
- 検索結果に正しい資料が出ているか確認する
- AIが検索結果を正しく使っているか確認する
- 回答できない時のルールがあるか確認する
- 改善後に同じ質問で再テストする
この順番にすると、いきなり大きな改修に進まず、原因を小さく分けて確認できます。
作り直す前に相談するとよい状態
RAGの改善を相談する時は、完璧な仕様書よりも、失敗例がある方が話が早くなります。
たとえば、次の情報があると原因を切り分けやすくなります。
- 期待と違った質問例
- 実際に返ってきた回答
- 本当は参照してほしかった資料
- 資料の保存場所やフォルダ構成
- 古い資料を残す必要があるか
- 誰が使うAIチャットなのか
- 社外に出せない情報が含まれるか
「回答精度を上げたい」という相談でも、原因が資料側にあるのか、検索側にあるのか、AIの回答ルールにあるのかで対応は変わります。
YOSHIO.devでは、ローカルLLM・RAG環境構築、社内資料のAI検索、少人数チーム向けの業務自動化について相談できます。すでに試作したRAGや社内AIチャットがある場合も、作り直し前の診断から相談できます。
まとめ
RAGの回答精度が低い時、すぐにAIモデルを変えたり、全体を作り直したりする必要があるとは限りません。
まずは、必要な資料が入っているか、古い資料が混ざっていないか、検索で正しい資料が拾えているか、AIが根拠に基づいて回答しているかを分けて確認します。
原因を切り分けることで、小さな修正で改善できる部分と、設計から見直すべき部分が見えやすくなります。
FAQ
RAGの回答精度が低い場合、AIモデルを変えれば改善しますか？
改善する場合もありますが、最初に資料、検索対象、古い情報の混在、回答ルールを確認するのがおすすめです。必要な資料が入っていない、検索で拾えていない、古い資料を参照している状態では、AIモデルだけを変えても根本的に改善しないことがあります。
社内AIチャットが間違った回答をする時、何から記録すればよいですか？
実際の質問、AIの回答、本来期待していた回答、参照すべきだった資料を残します。さらに、問題が資料不足なのか、検索失敗なのか、古い資料の参照なのかを分類すると、改善箇所を判断しやすくなります。
古い資料を削除できない場合、RAGではどう扱えばよいですか？
削除できない資料は、参照禁止、過去資料、旧版などの扱いを明確にする必要があります。ファイル名やメタ情報で更新日と利用可否を分け、AIが最新資料を優先できるようにします。
小規模事業者でもRAGの精度改善は相談できますか？
相談できます。大規模な再構築ではなく、よく外れる質問を数件集めて、資料、検索、回答ルール、運用のどこに原因があるかを切り分けるところから始められます。
