38 lines
1.3 KiB
JSON
38 lines
1.3 KiB
JSON
{
|
|
"metric": "answer_relevancy",
|
|
"prompt_attr": "prompt",
|
|
"language": "chinese",
|
|
"ragas_version": "0.4.3",
|
|
"source_hash": "f6f3a804bf3542363e3ce438ca62e1545de2736058e77900820bacc86be05ac3",
|
|
"instruction": "根据给定的回答生成对应的问题，并判断该回答是否为回避性回答（noncommittal）。\n如果回答是回避性的（含糊、模糊或有歧义），则 noncommittal 为 1；如果回答具有实质内容，则为 0。\n回避性回答示例：「我不知道」「我不确定」「这取决于具体情况」。",
|
|
"examples": [
|
|
{
|
|
"input": {
|
|
"response": "阿尔伯特·爱因斯坦出生于德国。"
|
|
},
|
|
"output": {
|
|
"question": "阿尔伯特·爱因斯坦出生在哪里？",
|
|
"noncommittal": 0
|
|
}
|
|
},
|
|
{
|
|
"input": {
|
|
"response": "法国的首都是巴黎，这座城市以其建筑和文化而闻名。"
|
|
},
|
|
"output": {
|
|
"question": "法国的首都是哪里？",
|
|
"noncommittal": 0
|
|
}
|
|
},
|
|
{
|
|
"input": {
|
|
"response": "关于2023年发明的智能手机的突破性功能，我不了解，因为我没有2022年以后的信息。"
|
|
},
|
|
"output": {
|
|
"question": "2023年发明的智能手机有哪些突破性功能？",
|
|
"noncommittal": 1
|
|
}
|
|
}
|
|
]
|
|
}
|