大模型回答质量评测

原名：llm-evaluation

把准确性、证据、格式和职业边界变成测试样本，区分自动评分与人工判断。

中文 Skills 技能说明

老板想知道数字员工回答是否符合岗位规范时，可让 Ai 模型测试工程师先建立评测。输入真实岗位要求、脱敏问题、参考证据和错误示例，技能设计人工与自动评估、回归集和评分规则，交付测试集、评测报告模板及风险清单。不能只让同一模型自评就宣布可靠，也不虚构测试分数。桌面端运行需自有模型端点、额度和授权数据；评测不开放平台免费模型给外部调用，调整提示词和上线决策必须由人复核。

上游能力依据

上游原始适用说明：Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

上游 SKILL.md 主要章节（保留原文标题）：

When to Use This Skill
Core Evaluation Types
1. Automated Metrics
2. Human Evaluation
3. LLM-as-Judge
Quick Start
Detailed patterns and worked examples

使用边界

先读取项目约定、依赖版本和现有测试，再提出最小改动。写文件、运行脚本、提交代码或发布前应检查差异并保留回退路径。

作者、翻译与许可证

原作者: Seth Hobson（wshobson）与 agents contributors
中文翻译: CEOFans翻译
许可证: MIT
上游来源: https://github.com/wshobson/agents/tree/46891e7e60da0e52baf1050b7b6391b64e84c6d9/plugins/llm-application-dev/skills/llm-evaluation

适用范围

平台：linux、macos、windows；标签：AI 工程、大模型回答质量评测、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。