智能体变更回归与轨迹核对

原名：agent-regression-evals

比较重复试验、工具调用与成本记录，区分稳定回归和偶然波动。

中文 Skills 技能说明

数字员工换模型或提示词后，不能只试一次就说变好了。提供基线与候选的多次运行记录、用例、关键约束及成本，技能用包内 Python 工具检查轨迹、识别不稳定用例并比较回归，交付差异与待复测清单。脚本本身不调用模型，样本和真实评估需用户另行运行、预算和授权；不能伪造轨迹或通过率。评估集脱敏且避免泄题，缺样本就说明限制，生产模型与职业规范变更由老板批准。

上游能力依据

上游原始适用说明：Use when an agent, prompt, model or tool change needs proof it did not make the agent worse — setting up a regression eval suite, deciding whether a pass-rate drop is real or noise, grading tool-call trajectories, finding flaky eval cases, or wiring an eval gate into CI that blocks the merge. Runs repeated trials, reports pass@k and pass^k, compares candidate to baseline with paired statistics, and refuses to pass a dropped case, a critical-case regression, or a forbidden tool call.

上游 SKILL.md 主要章节（保留原文标题）：

Workflow
The gate blocks on
Hard rules
Scripts
References and assets

使用边界

先读取项目约定、依赖版本和现有测试，再提出最小改动。写文件、运行脚本、提交代码或发布前应检查差异并保留回退路径。

作者、翻译与许可证

原作者: Alireza Rezvani 与 claude-skills contributors
中文翻译: CEOFans翻译
许可证: MIT
上游来源: https://github.com/alirezarezvani/claude-skills/tree/27cfcd0fb0a41f60adffcbd5271fdf8839f86ed2/engineering/skills/agent-regression-evals

适用范围

平台：linux、macos、windows；标签：AI 工程、智能体变更回归与轨迹核对、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。