46 lines
2.0 KiB
JSON
46 lines
2.0 KiB
JSON
|
{
|
||
|
|
"metric": "faithfulness",
|
||
|
|
"prompt_attr": "nli_statement_prompt",
|
||
|
|
"language": "chinese",
|
||
|
|
"ragas_version": "0.4.3",
|
||
|
|
"source_hash": "28e28e3c3cd02af21729a850633791390f2173deeaddfb006bba11e8569e7af5",
|
||
|
|
"instruction": "你的任务是根据给定的上下文，判断一系列陈述的真实性（忠实度）。对于每条陈述，如果该陈述可以直接从上下文中推断出来，则返回 verdict 为 1；如果不能从上下文中直接推断，则返回 verdict 为 0。",
|
||
|
|
"examples": [
|
||
|
|
{
|
||
|
|
"input": {
|
||
|
|
"context": "张明是XYZ大学的一名学生，主修计算机科学。本学期他选修了数据结构、算法和数据库管理等几门课程。张明是一名勤奋的学生，花大量时间学习和完成作业。他经常在图书馆里工作到很晚，完成他的项目。",
|
||
|
|
"statements": [
|
||
|
|
"张明主修生物学。",
|
||
|
|
"张明正在修读人工智能课程。",
|
||
|
|
"张明是一名努力认真的学生。",
|
||
|
|
"张明有一份兼职工作。"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
"output": {
|
||
|
|
"statements": [
|
||
|
|
{
|
||
|
|
"statement": "张明主修生物学。",
|
||
|
|
"reason": "上下文明确指出张明的专业是计算机科学，而非生物学。",
|
||
|
|
"verdict": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"statement": "张明正在修读人工智能课程。",
|
||
|
|
"reason": "上下文提到的课程包括数据结构、算法和数据库管理，未提及人工智能课程。",
|
||
|
|
"verdict": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"statement": "张明是一名努力认真的学生。",
|
||
|
|
"reason": "上下文描述张明是一名勤奋的学生，花大量时间学习和完成作业，与该陈述相符。",
|
||
|
|
"verdict": 1
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"statement": "张明有一份兼职工作。",
|
||
|
|
"reason": "上下文中没有关于张明兼职工作的任何信息。",
|
||
|
|
"verdict": 0
|
||
|
|
}
|
||
|
|
]
|
||
|
|
}
|
||
|
|
}
|
||
|
|
]
|
||
|
|
}
|