skill-evaluator
离线评估调用方提供的 Skill 执行记录,检查输出结构定义、期望子集、重复输出确定性、错误和耗时预算并执行最低得分门禁,适用于技能发布前回归验收。
Files6
View on GitHubSKILL.mdskills/skill-evaluator/SKILL.md
GitHub技能质量评测
- 只评估调用方传入的执行记录和内联输出结构定义,不导入、加载或执行任意待测代码。
- 每个用例必须检查输出结构、期望子集、重复输出确定性和耗时预算;记录错误时增加执行失败项。
- 期望对象按递归子集匹配,期望数组中的每个元素必须能在实际数组中找到匹配项。
- 用例得分按检查项等权计算,全部用例通过且平均分达到门槛时整体门禁才通过。
- 评测数据必须来自可重复执行或录制响应,不调用真实模型,也不把自然语言逐字一致作为质量标准。