44 lines
2.7 KiB
JSON
44 lines
2.7 KiB
JSON
{
|
|
"metric": "context_precision",
|
|
"prompt_attr": "prompt",
|
|
"language": "chinese",
|
|
"ragas_version": "0.4.3",
|
|
"source_hash": "948aa1ff0d12e1903926ddadbdf4420554b0c0bded6d01bf4eabd46b69697511",
|
|
"instruction": "给定问题、回答和上下文，验证该上下文在得出给定回答时是否有用。若有用则输出 verdict 为 1，若无用则输出 0，并以 JSON 格式返回结果。",
|
|
"examples": [
|
|
{
|
|
"input": {
|
|
"question": "请介绍一下阿尔伯特·爱因斯坦。",
|
|
"context": "阿尔伯特·爱因斯坦（1879年3月14日—1955年4月18日）是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大、最具影响力的科学家之一。以创立相对论著称，同时对量子力学做出了重要贡献。他的质能等价公式 E = mc² 被称为「世界上最著名的方程」。他因「对理论物理学的贡献，特别是发现光电效应定律」而荣获1921年诺贝尔物理学奖。",
|
|
"answer": "阿尔伯特·爱因斯坦生于1879年3月14日，是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大、最具影响力的科学家之一。他因对理论物理学的贡献荣获1921年诺贝尔物理学奖。"
|
|
},
|
|
"output": {
|
|
"reason": "提供的上下文对得出给定回答确实有帮助。上下文包含了关于爱因斯坦生平和贡献的关键信息，这些内容都体现在回答中。",
|
|
"verdict": 1
|
|
}
|
|
},
|
|
{
|
|
"input": {
|
|
"question": "2020年ICC世界杯谁获胜？",
|
|
"context": "2022年ICC男子T20世界杯于2022年10月16日至11月13日在澳大利亚举行，是该赛事第八届。原定于2020年举办，因新冠疫情推迟。英格兰队在决赛中以五个击球门差击败巴基斯坦队，赢得了第二个ICC男子T20世界杯冠军。",
|
|
"answer": "英格兰。"
|
|
},
|
|
"output": {
|
|
"reason": "该上下文有助于澄清2020年ICC世界杯的情况，并表明英格兰是原定于2020年、实际于2022年举办的锦标赛的获胜者。",
|
|
"verdict": 1
|
|
}
|
|
},
|
|
{
|
|
"input": {
|
|
"question": "世界上最高的山是什么？",
|
|
"context": "安第斯山脉是世界上最长的大陆山脉，位于南美洲，横跨七个国家，拥有西半球许多最高峰。该山脉以其多样的生态系统而闻名，包括高海拔的安第斯高原和亚马逊雨林。",
|
|
"answer": "珠穆朗玛峰。"
|
|
},
|
|
"output": {
|
|
"reason": "提供的上下文讨论安第斯山脉，虽然令人印象深刻，但不包含珠穆朗玛峰，也与世界最高山峰的问题无直接关联。",
|
|
"verdict": 0
|
|
}
|
|
}
|
|
]
|
|
}
|