社内AIチャットのログ設計｜RAGを改善できる質問・回答履歴の残し方

社内AIチャットやRAGを導入すると、最初は「質問に答えられるか」に注目しがちです。しかし運用を始めると、別の問題が出てきます。

「どんな質問が多いのか分からない」「間違った回答を後から確認できない」「どの資料を根拠に答えたのか追えない」「改善したつもりでも効果が分からない」といった状態です。

この原因のひとつが、ログ設計の不足です。AIチャットのログは、単なる会話履歴ではありません。RAGを改善し、社内で安心して使うための点検記録になります。

この記事では、小規模事業者や少人数チームが社内AIチャット・RAGを作るときに、最初から考えておきたいログ設計を整理します。

社内AIチャットは「作って終わり」では精度が育たない

RAGや社内AIチャットは、最初の構築だけで完成するものではありません。

実際に使われ始めると、次のようなことが分かってきます。

• 社員が想定と違う聞き方をしている
• よく聞かれる質問に対応する資料がない
• 古い資料を根拠に回答している
• 検索結果は合っているのに回答文が弱い
• 部署ごとに使いたい情報が違う
• 本当はAIに聞かず、別の画面で確認した方がよい質問がある

これらは、実際の質問と回答を見ないと分かりません。ログが残っていないと、「なんとなく使いにくい」「精度が悪い気がする」という感想だけが残り、改善箇所を特定できなくなります。

ログを残す目的を先に決める

ログ設計では、何でも保存すればよいわけではありません。まず、何のためにログを使うかを決めます。

目的は大きく分けて次の4つです。

• 回答精度を改善する
• よくある質問を見つける
• 間違った回答を確認する
• 個人情報や機密情報の扱いを点検する

たとえば、回答精度を改善したいなら、質問、回答、参照元、期待した回答を残す必要があります。よくある質問を見つけたいなら、質問カテゴリや利用部署が重要になります。

目的が決まっていないままログを増やすと、後から見返しても使いにくい履歴になります。

最低限残したいログ項目

小さく始めるなら、最初から複雑な管理画面は不要です。まずは次の項目を残せる状態にします。

• 質問日時
• 質問文
• AIの回答
• 参照した資料名やURL
• 回答できたか、できなかったか
• 利用者または部署の区分
• 人間が修正した内容
• 改善メモ

この程度でも、あとから「どの質問で失敗しているか」「どの資料がよく使われているか」「どの回答を直すべきか」が見えやすくなります。

最初はスプレッドシートや簡単な管理画面でも構いません。重要なのは、改善に使える形で同じ項目を残し続けることです。

質問文だけでは改善に使いにくい

ログというと、質問文だけを保存すればよいと思われがちです。しかし、質問文だけではRAGの改善には不十分です。

たとえば、次のような質問が残っていたとします。

「解約時の対応を教えて」

この質問だけでは、AIが正しく答えたのか、どの資料を参照したのか、社内ルールと合っていたのかが分かりません。

改善に使うには、少なくとも次の情報が必要です。

• AIが返した回答
• 検索で拾った資料
• 本来参照すべきだった資料
• 回答に不足していた情報
• その質問が社内向けか顧客対応向けか

RAGの改善では、「質問されたこと」よりも、「その質問にどう答え、どの根拠を使ったか」が重要です。

参照元の記録は信頼性に直結する

社内AIチャットで特に残したいのが、参照元の記録です。

AIが正しそうな文章を返していても、根拠が分からなければ業務では使いにくくなります。逆に、回答が少し不完全でも、参照元が分かれば人間が確認できます。

参照元ログでは、次のような情報を残します。

• 参照したファイル名
• 資料の更新日
• 該当ページや見出し
• 検索スコアや取得順位
• 古い資料を参照していないか

特に料金、契約、手順、顧客対応に関わる回答では、どの資料を根拠にしたかを追えることが重要です。

個人情報と機密情報は保存範囲を絞る

ログを残すときに注意したいのが、個人情報や機密情報です。

社内AIチャットでは、利用者が顧客名、メールアドレス、案件名、契約内容、社内メモなどを入力することがあります。そのまま長期間保存すると、ログ自体が管理対象になります。

最初に決めたいのは次の点です。

• 個人名やメールアドレスを保存する必要があるか
• 保存前に一部を伏せ字にするか
• ログを誰が閲覧できるか
• 保存期間を何日、何か月にするか
• 削除依頼があった場合に対応できるか
• クラウドに保存するか、ローカル環境に残すか

小規模な運用でも、ログの扱いを決めておかないと、あとから「便利だが見せられない履歴」が増えてしまいます。

ログから改善タスクを作る

ログは保存するだけでは意味がありません。定期的に見返して、改善タスクに変える必要があります。

たとえば、週に1回だけでも次のように確認します。

• 回答できなかった質問を3件見る
• 古い資料を参照した回答を確認する
• よく出る質問をFAQ候補にする
• 資料不足のテーマを洗い出す
• プロンプトや回答ルールの修正点をメモする
• 検索対象から外す資料を決める

この作業を続けると、社内AIチャットは単なる検索窓ではなく、社内ナレッジの弱い場所を見つける仕組みになります。

小さく始めるログ設計チェックリスト

最初から大きな監査システムを作る必要はありません。まずは次の項目を決めるだけでも、改善しやすくなります。

• ログを何のために使うか
• 質問と回答をどこまで保存するか
• 参照元を記録できるか
• 個人情報を伏せるルールがあるか
• ログを見られる人を決めているか
• 保存期間を決めているか
• 回答の良し悪しを評価する欄があるか
• 改善メモを残す欄があるか
• 定期的に見返す担当者やタイミングがあるか

このチェックリストをもとに、まずはスプレッドシート、簡易データベース、小さな管理画面のどれで始めるかを決めると現実的です。

YOSHIO.devで相談できること

YOSHIO.devでは、ローカルLLM・RAG環境構築、社内AIチャットの試作、参照元表示、ログ設計、少人数チーム向けの改善フロー作りについて相談できます。

また、ログをスプレッドシートや小さな管理画面に残す仕組みは、業務自動化や小型ツール開発とも相性があります。

「社内AIチャットを作ったが改善方法が分からない」「RAGの回答を後から確認できるようにしたい」「クラウドに出したくない情報がある」といった段階でも、小さな範囲から相談できます。

FAQ