回答相关性

`ResponseRelevancy` 指标衡量回答与用户输入的关联程度。分数越高表示与用户输入越匹配，分数越低则表示回答不完整或包含冗余信息。

该指标使用 user_input 和 response 按如下方式计算

基于回答生成一组人工问题（默认为 3 个）。这些问题旨在反映回答的内容。
计算用户输入嵌入 ( $E_{o}$ ) 与每个生成问题嵌入 ( $E_{g_{i}}$ ) 之间的余弦相似度。
对这些余弦相似度分数取平均值，得到**回答相关性 (Answer Relevancy)**

Answer Relevancy = \frac{1}{N} \sum_{i = 1}^{N} cosine similarity (E_{g_{i}}, E_{o})

Answer Relevancy = \frac{1}{N} \sum_{i = 1}^{N} \frac{E_{g_{i}} \cdot E_{o}}{‖ E_{g_{i}} ‖ ‖ E_{o} ‖}

其中
- $E_{g_{i}}$ : 第 $i$ 个生成问题的嵌入。
- $E_{o}$ : 用户输入的嵌入。
- $N$ : 生成问题的数量（默认为 3）。

注意：虽然分数通常介于 0 和 1 之间，但由于余弦相似度的数学范围是 -1 到 1，因此无法保证总是如此。

如果回答直接且恰当地回应了原始问题，则被认为是相关的。此指标侧重于回答与问题意图的匹配程度，但不评估事实准确性。它会惩罚不完整或包含不必要细节的回答。

示例


from ragas import SingleTurnSample 
from ragas.metrics import ResponseRelevancy

sample = SingleTurnSample(
        user_input="When was the first super bowl?",
        response="The first superbowl was held on Jan 15, 1967",
        retrieved_contexts=[
            "The First AFL–NFL World Championship Game was an American football game played on January 15, 1967, at the Los Angeles Memorial Coliseum in Los Angeles."
        ]
    )

scorer = ResponseRelevancy(llm=evaluator_llm, embeddings=evaluator_embeddings)
await scorer.single_turn_ascore(sample)

输出


0.9165088378587264

计算方法

示例

问题：法国在哪里？首都是什么？

低相关性回答：法国位于西欧。

高相关性回答：法国位于西欧，巴黎是它的首都。

为了计算回答与给定问题的相关性，我们遵循两个步骤

步骤 1： 使用大型语言模型 (LLM) 从生成的回答中反向生成 'n' 个问题变体。例如，对于第一个回答，LLM 可能会生成以下可能的问题
- 问题 1: "法国位于欧洲的哪个部分？"
- 问题 2: "法国在欧洲处于什么地理位置？"
- 问题 3: "你能指出法国在欧洲的哪个区域吗？"
步骤 2： 计算生成的问题与实际问题之间的平均余弦相似度。

其基本概念是，如果回答正确地回应了问题，那么很有可能仅凭回答就可以重构出原始问题。