RAG実行
  • {{ msg }}
VXCの社内規則について回答してくれるAIボットです。 自由に質問を送ってみてください。

■質問
{{ ragResponse.question }}

■回答
{{ ragResponse.answer }}

■検索結果（RAGがデータソースから抽出した質問に関連するテキスト）

{{ i+1 }}. {{ ragResponse.locations[i] }} {{ context }}


※RAGアプリの応答精度評価のため、以下の回答にご協力ください。

■正しい回答
{{ ragResponse.ground_truth }}

■応答結果の評価（各項目をクリックすると説明が表示されます）
回答の正確性 生成された回答が事実（あるいはあなたが入力した正しい回答）に合致するかを評価してください。 例） 質問： 「2024年6月21日時点の総理大臣の氏名、所属政党、在任日数を教えてください」 生成された回答： 「2024年6月21日時点の総理大臣は立憲民主党の岸田文雄氏です。在任日数は992日で、戦後歴代8位の長さです。」 正しい回答： 「2024年6月21日時点の総理大臣は自民党所属の岸田文雄氏で在任日数は992日です。」 生成された回答に含まれる情報は「氏名」「所属政党」「在任日数」「歴代順位」の4件あり、そのうち「氏名」「在任日数」は正しく、「所属政党」は誤りです。「歴代順位」は正しい回答に記載がなく真偽不明のため0.5カウントとすると回答に含まれる情報の1.5/4が誤りとなるため、評価は「３」を選択します。（歴代8位が正しいことが明らかな場合は1/4が誤りとなるため評価は「４」を選択します。）
質問に対する回答の網羅性 質問に対して必要十分な回答が得られているか（質問に対する答えを満たしているか）を評価してください。事実かどうかの考慮は不要です。 例） 質問： 「2024年6月21日時点の総理大臣の氏名、所属政党、在任日数を教えてください」 生成された回答： 「2024年6月21日時点の総理大臣は立憲民主党の岸田文雄氏です。在任日数は992日で、戦後歴代8位の長さです。」 回答で得られた情報は「氏名」「所属政党」「在任日数」「歴代順位」の4件あり、そのうち「氏名」「所属政党」「在任日数」は質問されている内容に直接対応するため、情報の不足はありません。「歴代順位」は質問に直接対応しないものの「在任日数」の補足情報とも言えるため0.5カウントとすると回答の0.5/4が不要な情報となり、評価は「４」を選択します。
質問に対する検索結果の関連性 質問に対して必要十分な検索結果が得られているかを評価してください。 例） 質問： 「2024年6月21日時点の総理大臣の氏名、所属政党、在任日数を教えてください」 検索結果： 「2021年10月4日から現在の日本の総理大臣は自民党所属の岸田文雄氏。長男は岸田翔太郎氏で岸田総理の秘書官を務める。」 「岸田総理の在任日数は2024年6月1日時点で972日で、戦後最長は3188日の安倍晋三氏」 検索結果は2件存在し、そのいずれかに質問に対応する「氏名」「所属政党」「在任日数」が含まれています。また質問に対応する情報が含まれない検索結果は0件です。よって評価は「５」を選択します。
検索結果に対する回答の忠実性 検索結果に対して回答が忠実に生成されているかを評価してください。 例） 検索結果： 「2021年10月4日から現在の日本の総理大臣は自民党所属の岸田文雄氏。長男は岸田翔太郎氏で岸田総理の秘書官を務める。」 「岸田総理の在任日数は2024年6月1日時点で972日で、戦後最長は3188日の安倍晋三氏」 生成された回答： 「2024年6月21日時点の総理大臣は立憲民主党の岸田文雄氏です。在任日数は992日で、戦後歴代8位の長さです。」 生成された回答に含まれる情報は「氏名」「所属政党」「在日日数」「歴代順位」の4件であり、そのうち「氏名」「在日日数」は検索結果の内容と同一ですが、「所属政党」は検索結果と異なる内容、「歴代順位」は検索結果に含まれない内容です。回答の2/4が検索結果と異なる、または含まれない内容となるため、評価は「３」を選択します。
ご回答ありがとうございました！！