技能评测指标与评分解读
原名:evaluation-methodology
读懂 PluginEval 的静态检查、模型评分和采样指标,整理可复核的评测记录。
中文 Skills 技能说明
准备审查一份技能或插件时,可以用包内评分规则解释结构、触发描述、引用完整性和作用范围。已有 PluginEval 报告时,把评测层、输入样本、测量范围与改进建议一起记录。模型评分和重复采样属于实验性信号,触发预测和输出长度各自只能说明其测量项。实际运行需另配相应版本的 CLI,模型评分可能产生调用费用并发送评测材料,需先确认账号、数据权限及预算。对外结论以实际任务测试和人工复核为依据。
上游能力依据
上游原始适用说明:PluginEval quality methodology, covering dimensions, rubrics, and scoring formulas. Use this skill when understanding how plugin quality is measured, when interpreting a low score on a specific dimension, when deciding how to improve a skill's triggering accuracy or orchestration fitness, when setting score thresholds for your marketplace, or when explaining quality badges to external partners like Neon.
上游 SKILL.md 主要章节(保留原文标题):
- Evaluation depths
- Static layer (lint)
- LLM judge layer (experimental)
- Monte Carlo layer (experimental)
- Composite score
- Badges and grades
- Usage
- Examples
- Troubleshooting
- Related
使用边界
先读取项目约定、依赖版本和现有测试,再提出最小改动。写文件、运行脚本、提交代码或发布前应检查差异并保留回退路径。
作者、翻译与许可证
- 原作者
- Seth Hobson 与贡献者
- 中文翻译
- CEOFans翻译
- 许可证
- MIT
- 上游来源
- https://github.com/wshobson/agents/tree/9c61ab243def98f72da12abd41cfcf5bcd91af9d/plugins/plugin-eval/skills/evaluation-methodology
适用范围
平台:linux、macos、windows;标签:技能评测、静态检查、评分解读
安全提示
基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件,请在最小权限环境中使用,高风险操作必须人工确认。
如发现侵权、许可证或安全问题,可在本页前台提交投诉,管理员复核后可立即下架。