Add committed zh judge-prompt cache + enable in Siemens scenarios + docs

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
2026-07-01 18:15:53 +08:00
parent 065b0e0f1a
commit 24a8688a34
14 changed files with 1670 additions and 3 deletions
@@ -0,0 +1,45 @@
+{
+  "metric": "faithfulness",
+  "prompt_attr": "nli_statement_prompt",
+  "language": "chinese",
+  "ragas_version": "0.4.3",
+  "source_hash": "28e28e3c3cd02af21729a850633791390f2173deeaddfb006bba11e8569e7af5",
+  "instruction": "你的任务是根据给定的上下文，判断一系列陈述的真实性（忠实度）。对于每条陈述，如果该陈述可以直接从上下文中推断出来，则返回 verdict 为 1；如果不能从上下文中直接推断，则返回 verdict 为 0。",
+  "examples": [
+    {
+      "input": {
+        "context": "张明是XYZ大学的一名学生，主修计算机科学。本学期他选修了数据结构、算法和数据库管理等几门课程。张明是一名勤奋的学生，花大量时间学习和完成作业。他经常在图书馆里工作到很晚，完成他的项目。",
+        "statements": [
+          "张明主修生物学。",
+          "张明正在修读人工智能课程。",
+          "张明是一名努力认真的学生。",
+          "张明有一份兼职工作。"
+        ]
+      },
+      "output": {
+        "statements": [
+          {
+            "statement": "张明主修生物学。",
+            "reason": "上下文明确指出张明的专业是计算机科学，而非生物学。",
+            "verdict": 0
+          },
+          {
+            "statement": "张明正在修读人工智能课程。",
+            "reason": "上下文提到的课程包括数据结构、算法和数据库管理，未提及人工智能课程。",
+            "verdict": 0
+          },
+          {
+            "statement": "张明是一名努力认真的学生。",
+            "reason": "上下文描述张明是一名勤奋的学生，花大量时间学习和完成作业，与该陈述相符。",
+            "verdict": 1
+          },
+          {
+            "statement": "张明有一份兼职工作。",
+            "reason": "上下文中没有关于张明兼职工作的任何信息。",
+            "verdict": 0
+          }
+        ]
+      }
+    }
+  ]
+}