模型微调前评估基线

原名：eval-harness-first

先建立独立测试集和评分规则，再判断训练是否改善目标任务。

中文 Skills 技能说明

公司想训练行业模型，却没有客观验收指标时，可让Ai模型测试工程师使用。提供任务规范、获准脱敏样例、失败记录和人工评分，技能整理金标准、分类评分、基线及漂移检查，交付评估目录与校准计划。评估样本要与训练数据隔离，合成数据注明来源，不能用模型自评替代所有人工判断。桌面端需评估环境和所用模型权限，调用成本先限制；客户数据外发、训练启动和模型上线必须人审，没运行就不报告分数。

上游能力依据

上游原始适用说明：Build the evaluation harness that gates every fine-tuning run — golden sets, per-failure-mode graders, judge calibration, and base-model baselines. Use when starting a fine-tuning effort, when converting traces into an eval set, or when calibrating a judge against human labels.

上游 SKILL.md 主要章节（保留原文标题）：

• The Gate
• Building Goldens
• Graders
• Judge Calibration Is a Prerequisite
• The Baseline
• Directory Contract
• Phase 0 Exit Checklist
• Related Skills
• References

使用边界

先读取项目约定、依赖版本和现有测试，再提出最小改动。写文件、运行脚本、提交代码或发布前应检查差异并保留回退路径。

作者、翻译与许可证

原作者

Seth Hobson（wshobson）与 agents contributors

中文翻译

CEOFans翻译

许可证

MIT

上游来源

https://github.com/wshobson/agents/tree/46891e7e60da0e52baf1050b7b6391b64e84c6d9/plugins/llm-finetuning/skills/eval-harness-first

适用范围

平台：linux、macos、windows；标签：AI 工程、模型微调前评估基线、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。