{ "metric": "faithfulness", "prompt_attr": "nli_statement_prompt", "language": "chinese", "ragas_version": "0.4.3", "source_hash": "28e28e3c3cd02af21729a850633791390f2173deeaddfb006bba11e8569e7af5", "instruction": "你的任务是根据给定的上下文,判断一系列陈述的真实性(忠实度)。对于每条陈述,如果该陈述可以直接从上下文中推断出来,则返回 verdict 为 1;如果不能从上下文中直接推断,则返回 verdict 为 0。", "examples": [ { "input": { "context": "张明是XYZ大学的一名学生,主修计算机科学。本学期他选修了数据结构、算法和数据库管理等几门课程。张明是一名勤奋的学生,花大量时间学习和完成作业。他经常在图书馆里工作到很晚,完成他的项目。", "statements": [ "张明主修生物学。", "张明正在修读人工智能课程。", "张明是一名努力认真的学生。", "张明有一份兼职工作。" ] }, "output": { "statements": [ { "statement": "张明主修生物学。", "reason": "上下文明确指出张明的专业是计算机科学,而非生物学。", "verdict": 0 }, { "statement": "张明正在修读人工智能课程。", "reason": "上下文提到的课程包括数据结构、算法和数据库管理,未提及人工智能课程。", "verdict": 0 }, { "statement": "张明是一名努力认真的学生。", "reason": "上下文描述张明是一名勤奋的学生,花大量时间学习和完成作业,与该陈述相符。", "verdict": 1 }, { "statement": "张明有一份兼职工作。", "reason": "上下文中没有关于张明兼职工作的任何信息。", "verdict": 0 } ] } } ] }