RAGの回答精度が低い時に見るべき原因｜社内AIチャットを作り直す前の診断チェック

RAGや社内AIチャットを導入したあと、「思ったより答えが合わない」「資料は入れたのに古い回答が出る」「根拠が曖昧で信用できない」と感じることがあります。

この状態になると、すぐに「もっと高性能なAIモデルに変えるべきか」「一から作り直すべきか」と考えがちです。

しかし、RAGの回答精度が低い原因は、AIモデルだけとは限りません。実際には、資料の状態、検索方法、分割の仕方、プロンプト、権限、更新ルール、質問の想定がずれていることも多くあります。

この記事では、小規模事業者や少人数チームがRAG・社内AIチャットの精度に不満を感じた時、作り直す前に確認したい原因切り分けの手順を整理します。

RAGの精度問題は「AIが賢くない」だけではない

RAGは、社内資料やFAQ、マニュアル、過去対応履歴などを検索し、その検索結果をもとにAIが回答する仕組みです。

そのため、回答が外れる時は、大きく分けて次のどこかで問題が起きています。

• そもそも必要な資料が入っていない
• 古い資料や重複資料が混ざっている
• 検索で正しい資料が拾えていない
• 拾った資料をAIがうまく使えていない
• 質問の形式と資料の書き方が合っていない
• 回答後の確認・修正ルールがない

つまり、AIモデルだけを変えても、資料や検索の問題が残っていれば改善しない場合があります。

まずは、回答が悪い原因を「資料」「検索」「生成」「運用」に分けて見ます。

原因1: 必要な資料が検索対象に入っていない

最初に確認したいのは、AIが参照できる資料の範囲です。

人間が知っている情報でも、RAGの検索対象に入っていなければAIは答えられません。たとえば、最新の料金表は担当者のPCにあり、RAGには古いPDFだけが入っている、という状態では正しい回答は出ません。

次のような状態がないか確認します。

• 最新版の資料が対象フォルダに入っていない
• 口頭やチャットだけで共有されているルールがある
• よく聞かれる質問に対応する資料が存在しない
• 営業資料、FAQ、マニュアルが別々に管理されている
• 過去の対応履歴をAIが参照できない

回答精度を上げる前に、「この質問に答えるための資料は本当に入っているか」を確認する必要があります。

原因2: 古い資料と新しい資料が混ざっている

RAGでよく起きる問題が、古い資料と新しい資料の混在です。

たとえば、料金改定前のPDF、旧サービス説明、過去のキャンペーン資料、古いマニュアルが残っていると、AIが古い内容を根拠に回答することがあります。

特に危ないのは、ファイル名だけでは新旧が分からない状態です。

• 資料_final.pdf
• 資料_最新版.pdf
• サービス説明_修正版.pdf
• マニュアル_新.pdf

このような名前が並んでいると、人間でも判断が難しくなります。

改善するには、資料ごとに更新日、対象サービス、利用可否を分かる形にします。古い資料を削除できない場合でも、「参照禁止」「過去資料」「2025年以前」などの扱いを決めておくと、誤回答を減らしやすくなります。

原因3: 資料の分割単位が大きすぎる、または細かすぎる

RAGでは、資料を一定の単位に分けて検索することがあります。この分け方が合っていないと、必要な情報が拾えなかったり、文脈が途切れたりします。

分割が大きすぎる場合、検索結果に余計な情報が多く入り、AIがどこを使えばよいか迷います。

逆に分割が細かすぎる場合、重要な前後関係が失われます。たとえば、料金表の注意書きだけが切り離されると、「どのプランに関する注意か」が分からなくなります。

確認したいポイントは次の通りです。

• 1つの検索結果に複数テーマが混ざっていないか
• 表の見出しと中身が切り離されていないか
• 手順の前後関係が崩れていないか
• FAQの質問と回答が別々に分かれていないか
• 短すぎる断片だけが大量に検索されていないか

社内AIチャットでよく使う資料は、検索しやすい形に整えるだけで回答が改善することがあります。

原因4: 質問文と資料内の言葉がずれている

社員やスタッフが使う言葉と、資料に書かれている言葉が違う場合も、検索が外れやすくなります。

たとえば、社内では「キャンセル対応」と呼んでいるのに、マニュアルでは「解約手続き」と書かれている。現場では「請求ミス」と言うのに、資料では「請求額差異」と書かれている。このような言葉のずれがあると、検索で正しい資料が見つかりにくくなります。

改善するには、よく使われる言い換えを整理します。

• 社内で使う略語
• お客様が問い合わせで使う表現
• 正式名称と通称
• 旧サービス名と新サービス名
• よくある誤記や表記ゆれ

RAGの精度改善では、AI側だけでなく、資料側に検索されやすい見出しや言い換えを足すことも有効です。

原因5: プロンプトで回答ルールが弱い

検索で正しい資料が拾えていても、AIがその資料をどう使うかのルールが弱いと、回答が曖昧になります。

たとえば、次のような問題です。

• 根拠がない時でも推測で答えてしまう
• 複数資料が矛盾している時に古い情報を選んでしまう
• 回答に参照元を出さない
• 分からない場合に確認先を示さない
• 社外向け・社内向けの言い方が混ざる

この場合は、「必ず資料に基づいて答える」「根拠が見つからない場合は分からないと返す」「日付が新しい資料を優先する」「参照元を表示する」など、回答ルールを明確にします。

ただし、プロンプトだけで全てを解決しようとしないことも重要です。古い資料が残っている、権限が曖昧、検索対象が広すぎるといった問題は、運用や設計側で直す必要があります。

原因6: 正解例と失敗例を残していない

RAGの改善では、「なんとなく精度が悪い」という感想だけでは原因を特定しにくくなります。

改善しやすくするには、実際の質問と回答を残します。

• ユーザーが入力した質問
• AIの回答
• 本来期待していた回答
• 参照すべきだった資料
• 問題の種類

問題の種類は、たとえば「資料不足」「古い資料を参照」「検索失敗」「回答ルール不足」「質問が曖昧」などに分けます。

この記録があると、AIモデルを変えるべきなのか、資料を直すべきなのか、検索設定を見直すべきなのか判断しやすくなります。

まず試したい診断チェックリスト

RAGや社内AIチャットの回答精度が低い時は、次の順番で確認します。

1. よく外れる質問を5件集める
2. それぞれに正解資料が存在するか確認する
3. 正解資料が検索対象に入っているか確認する
4. 古い資料や重複資料が混ざっていないか確認する
5. 検索結果に正しい資料が出ているか確認する
6. AIが検索結果を正しく使っているか確認する
7. 回答できない時のルールがあるか確認する
8. 改善後に同じ質問で再テストする

この順番にすると、いきなり大きな改修に進まず、原因を小さく分けて確認できます。

作り直す前に相談するとよい状態

RAGの改善を相談する時は、完璧な仕様書よりも、失敗例がある方が話が早くなります。

たとえば、次の情報があると原因を切り分けやすくなります。

• 期待と違った質問例
• 実際に返ってきた回答
• 本当は参照してほしかった資料
• 資料の保存場所やフォルダ構成
• 古い資料を残す必要があるか
• 誰が使うAIチャットなのか
• 社外に出せない情報が含まれるか

「回答精度を上げたい」という相談でも、原因が資料側にあるのか、検索側にあるのか、AIの回答ルールにあるのかで対応は変わります。

YOSHIO.devでは、ローカルLLM・RAG環境構築、社内資料のAI検索、少人数チーム向けの業務自動化について相談できます。すでに試作したRAGや社内AIチャットがある場合も、作り直し前の診断から相談できます。

まとめ

RAGの回答精度が低い時、すぐにAIモデルを変えたり、全体を作り直したりする必要があるとは限りません。

まずは、必要な資料が入っているか、古い資料が混ざっていないか、検索で正しい資料が拾えているか、AIが根拠に基づいて回答しているかを分けて確認します。

原因を切り分けることで、小さな修正で改善できる部分と、設計から見直すべき部分が見えやすくなります。

FAQ