优化顾问在什么情况下运行？

这决定了模块与现有评测流程的集成方式

A

每次评测自动运行

run_scenario() 结束后自动调用，无需任何额外配置。

优点

  • 零感知，开箱即用
  • 每次跑完都有建议报告

缺点

  • 每次都多一次 LLM 调用，不管是否需要
  • 无法关闭
B

YAML 场景中显式开启（推荐）

在 scenario YAML 里加一行 optimization_advisor: true，默认关闭。

siemens-pdf-question-bank-online.yaml
metrics:
  - faithfulness
  - noise_sensitivity
  ...
optimization_advisor: true # 新增

优点

  • 显式可见，按需开启
  • 与现有 YAML 驱动风格一致
  • 可为不同场景独立配置

缺点

  • 需要手动在 YAML 里加一行
C

阈值触发（任一指标低于警戒线时自动激活）

规则引擎先算，若发现有指标低于阈值则自动启动 LLM 分析；一切正常则跳过。

优点

  • "有问题才报警"，符合直觉
  • 高分场景无额外成本

缺点

  • 阈值需要维护，不同场景可能不同
  • 正常分数时无建议，但用户可能仍想看优化空间