实验结果诊断

原名：diagnosing-experiment-results

分析 PostHog 实验结果中的显著性、样本偏差和指标冲突。

中文 Skills 技能说明

适合实验结束或结果异常时复盘；同时查看样本量、分流、运行周期与业务影响，不根据单一数字武断宣布成功。能力可用于用户自建或自有 PostHog 环境；若使用托管服务，账户、区域、费用、数据留存与跨境要求由用户确认。执行前应读取项目现状和官方文档，输出目标、依据、影响、验证结果与回退方式；没有真实证据时要明确说明未知，不编造配置或成功状态。 代码、日志、连接串、令牌、客户信息和业务数据按敏感内容处理，只读取任务所需范围，上传或外发前完成授权、脱敏和最小化。

上游能力依据

上游原始适用说明：Diagnoses bias, anomalies, and strange-looking results on a specific PostHog experiment. Covers empty / 0-exposure experiments, sample ratio mismatch, identity fragmentation, multi-variant exposure, uneven-split exclusion bias, significance traps (peeking, A/A, Bayesian vs Frequentist), PostHog-vs-SQL discrepancies, and surprises after mid-run edits. Symptom-driven dispatch to the right diagnostic.\nTRIGGER when: user asks 'is my experiment biased?' or 'why 0 exposures?', references the bias banner, says a variant looks strange / wrong / off, sees significance flipping, notices PostHog numbers disagreeing with their SQL, sees an A/A test showing significance, or reports surprises after mid-run edits.\nDO NOT TRIGGER when: creating a new experiment (use creating-experiments), only configuring rollout (use configuring-experiment-rollout) or metrics (use configuring-experiment-analytics), or only asking lifecycle questions (use managing-experiment-lifecycle).

上游 SKILL.md 主要章节（保留原文标题）：

• Step 1 — Resolve the experiment
• Step 1.5 — Pull a diagnostic snapshot (verify before asking)
• Step 2 — Match symptom to diagnostic
• Step 3 — Surface every diagnostic the evidence supports
• Diagnostic groups
• A — Bias & skew
• B — Empty experiment / 0 exposures / "not enough data"
• C — Significance / interpretation traps
• D — Numbers don't match (PostHog vs the user's SQL / raw count)
• E — Surprises after mid-run changes (incl. lifecycle and retention quirks)

使用边界

先确认数据口径、只读或写入权限以及备份方案。查询结果需要说明范围，任何结构或数据变更都应先预览并人工确认。

作者、翻译与许可证

原作者

PostHog, Inc. 与 PostHog/skills contributors

中文翻译

CEOFans翻译

许可证

MIT

上游来源

https://github.com/PostHog/skills/tree/870cdf070c94f2bf39d8b2a9d4916cfd44779cce/skills/omnibus/diagnosing-experiment-results

适用范围

平台：linux、macos、windows；标签：数据分析、实验结果诊断

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。