ログと現場の声をもとにAIエージェントを育てよう

この記事で学べること

AIエージェントの社内リリース後に行うべきことは、利用状況と利用者の声を確認し、改善につなげることです。

リリース直後のAIエージェントは、完成形ではありません。
実際の業務で使われることで、事前の検証では分からなかった課題が見えてきます。

この記事では、次のことを学びます。

• 利用者からフィードバックを集める重要性
• Agent Analyticsを使ってAIエージェントの稼働状況や利用傾向を確認する方法
• Agent Optimizationを使って、うまく対応できなかった会話を深掘りする方法
• フィードバックシートに記録すべき内容

社内リリース後は「使われているか」と「役に立っているか」を確認する

AIエージェントを社内リリースしてからしばらく経ったタイミングで、必ず以下の2点を確認しましょう。

• 現場で実際に使われているか
• 業務の役に立っているか

当然ですが、そもそもユーザーに使われていなければ、効果は出ません。
一方で、利用されていても、期待した回答が得られない、業務の流れに合わない、使い方が分かりにくいといった課題が残る場合があります。

上記を振り返るために、次の2種類の情報を組み合わせて確認しましょう。

• 利用者の声（定性情報）：良かった点、期待外れだった点、困った場面
• 利用データ（定量情報）：利用状況、会話ログ、未解決のやり取り、品質の傾向

定性的な利用者の声だけでは、強い意見ばかりが目立ち、全体傾向を把握しきれません。
同様に、ログによる定量情報だけでは、利用者がなぜ不満を感じたのか、本質的な原因を見落とす可能性があります。

両方を確認することで、改善すべきポイントを具体的に把握しやすくなります。

まず、利用者の声を集める

定性情報については、利用者アンケート等でフィードバックを集めましょう。

良かった点だけではなく、期待外れだった点や、使いにくかった場面に関する情報が重要です。たとえば、次のような観点です。

• 情報を探す時間が短くなった
• 回答案があることで対応しやすくなった
• 要約が役に立った
• 思った回答が返ってこなかった
• 回答は合っていたが、表現が現場向きではなかった
• どの場面で使えばよいか分からなかった
• 人が確認すべき範囲が分かりにくかった

「使えなかった」という声が出た場合は、そのまま受け止めるだけでなく、具体的な利用場面を確認し、改善につながる情報として利用しましょう。

下記で紹介するAgent Optimization機能も活用すると、より具体的な会話の内容まで確認することができます。

Agent Analyticsで利用状況を確認する

Agent Analyticsは、AIエージェントの利用状況やパフォーマンスを分析する機能です。
利用頻度が少ないAIエージェントを特定し改善の施策に繋げたり、エスカレーションが多い AI エージェントはチューニングを検討する等、改善のインサイトを得ることができます。
具体的に確認できる指標は、Agent Analytics ダッシュボードを使用したインサイトの取得 ページをご参照ください。

Agent Analyticsは、「全体を見て、どこに課題がありそうか」を見つけるために使います。

たとえば、利用者数が少ない場合は、そもそも使い方が伝わっていない可能性があります。
エスカレーションが多い場合は、AIエージェントだけでは対応できない問い合わせが多い可能性があります。
特定の領域だけ評価が低い場合は、その領域のナレッジや設定に課題があるかもしれません。

まずはAgent Analyticsで全体を眺めて、深掘りすべき箇所を見つけましょう。

Agent Optimizationで会話を深掘りする

全体傾向を確認したら、Agent Optimizationを使って、具体的な会話を深掘りします。

Agent Optimizationは、未解決のやり取り、ナレッジギャップ、会話の品質、ユーザー意図とのずれなどを確認するための機能です。先に紹介したAgent Analyticsが全体傾向を掴むための分析機能であったのに対し、Agent Optimizationでは具体的な会話内容を振り返って品質スコアを確認できるため、スコアの低い箇所を優先的に深掘りすることで、効率よく改善ポイントを見つけることができます。改善ポイントを探すことができます。
具体的に確認できる指標は、エージェント最適化を使用したデータの分析 を参照してください。

Agent Analyticsが「どこを見るべきか」を示すものだとすると、Agent Optimizationは「なぜそうなったのか」を確認するためのものです。

たとえば、Agent Analyticsを見て、ある特定のエージェントや業務領域で品質評価が低い場合、Agent Optimizationで実際の会話ログを確認します。
その結果を見て、ナレッジが不足しているのか、質問意図を誤って解釈しているのか、回答文の表現が分かりにくいのかを切り分けます。

「使えない」の原因を分類する

利用者から「使えない」という声が出た場合、その原因を分解して考えます。

同じ「使えない」でも、原因はさまざまです。

原因を分類することで、改善策を考えやすくなります。

たとえば、ナレッジ不足であれば、参照情報を追加・更新します。
質問意図の誤解であれば、設定や指示、サブエージェントの分け方を見直します。
使い方が分からないのであれば、利用ガイドや質問例を整備します。

重要なのは、すべてを「AIの精度が低い」と雑にまとめないことです。
課題を分解することで、現実的な改善につながります。

プロジェクトリーダーが行うアクション

このステップで、プロジェクトリーダーが行うことは3つです。

1. フィードバックシートを回収する

まず、利用者からの声を集めます。

良かった点だけでなく、期待外れだった点も確認します。
特に、期待どおりに使えなかった場面については、業務シーン、質問内容、期待していた結果を具体的に記録します。

2. Agent Analyticsで全体傾向を確認する

次に、Agent Analyticsで利用状況やパフォーマンスの傾向を確認します。

利用されているか、評価が低い領域はどこか、エスカレーションや途中終了が多い箇所はどこかを確認します。

ここでは、深掘りすべき対象を見つけることが目的です。

3. Agent Optimizationで原因を深掘りする

最後に、Agent Optimizationで具体的な会話を確認します。

利用者の意図、AIエージェントの解釈、参照した情報、回答内容、人への引き継ぎ状況を確認し、改善の原因を特定します。

フィードバックとログを組み合わせて、次に対応すべき改善項目を整理しましょう。

学習ツール

公開後の監視と改善を進める前に、以下のコンテンツを確認しておきましょう。

• Agent Analytics
• Agent Optimization (エージェントの最適化)
• Einstein 監査およびフィードバックデータ

まとめ

AIエージェントは、リリースした瞬間に完成するものではありません。実業務で使いながら、良かった点と改善点を見つけ、継続的に調整していくことが重要です。

利用者の声だけでは、全体傾向を把握しきれず、一方でログデータだけでは、利用者が感じた違和感や期待外れの理由を十分に理解できない場合があります。

そのため、フィードバックとログデータを組み合わせて確認し、改善に繋げていきましょう。