你岗位的 AI 智能体

A/B 实验怎么判显著性

实验做完、两组差异不知可不可信时,AI 能先核对分流是否均匀,再算核心指标差异与显著性,并给分层比较的多重比较校正。样本量或功效不足、分流不均时它只说明还缺什么、不给明确结论;结论仍需人工复核。

你需要准备

  • 你的数据平台 / 数仓(Hive / ClickHouse / 自建)与实验分组表来源
  • 实验目的与分流规则(按用户 / 设备、分流比例)
  • 两组(对照 / 实验)的样本量与核心指标数据:比率类给分子(转化数)与分母(样本量),连续类(人均时长 / 客单价)给均值与标准差(或分位数)(缺先标【待补】)
  • 按关键维度(渠道 / 端 / 新老用户)拆分的两组分层数据(用于检验辛普森悖论;缺则标【待补】)
  • 显著性判定标准:显著性水平 α(如 0.05)、单 / 双侧检验、检验方法、最小可检测效应 MDE、实验时长、是否中途改动过分流,以及分层比较的多重比较校正方式(如 Bonferroni / FDR,或先声明主检验维度)

怎么做

  1. 先声明数据平台 / 数仓、分流规则、指标口径、显著性判定标准与分层比较的多重比较校正方式
  2. 涉及用户标识的分组数据先脱敏或只取聚合字段(按分组聚合后再贴)
  3. 贴两组样本量、指标数据与按维度拆分的分层数据,粘贴提示词,核对分流与显著性
  4. 人工复核样本量、功效、显著性结论与分层比较校正结果,确认后再定结论
一句话提示词

这是我们 A/B 实验的两组数据(实验目的、分流规则和样本量我先声明,显著性水平 α 取【如 0.05】、单 / 双侧检验与检验方法为【如卡方 / t 检验】、最小可检测效应 MDE 为【…】,数据来自【Hive / ClickHouse / 自建】数仓),涉用户标识的分组数据我已按分组聚合或脱敏后再贴、不贴原始明细,指标分比率类(给分子转化数与分母样本量)与连续类(给均值与标准差或分位数),并已按【渠道 / 端 / 新老用户】拆分出两组分层数据,帮我判断结果是否可信:先核对两组样本量和分流是否均匀,再计算核心指标的差异和显著性,分层按渠道 / 端 / 新老用户逐组比较时须做多重比较校正(如 Bonferroni / FDR,或先声明主检验维度)、未校正前不得据单一渠道差异下结论,并指出有没有被辛普森悖论或样本污染影响——无分层数据则标【待补】、不得对辛普森悖论下结论;若样本量或实验功效不足、或分流不均,不得给出明确结论,应说明需延长观察 / 加大样本并给出所需样本量估算;数据缺失处标【待补】、口径不明处标【需确认】,不要编造数据。

它会交付什么

  • 两组样本量与分流是否均匀的核对(计数需人工复核)
  • 核心指标差异与显著性计算结果(计算需人工复核,属 AI 推测,需人工判断)
  • 按渠道 / 端 / 新老用户分层比较时须做多重比较校正(给出 Bonferroni / FDR 建议或先声明主检验维度),未校正前不得据单一渠道差异下结论(属 AI 建议,需人工判断)
  • 是否受辛普森悖论 / 样本污染影响的判断(无分层数据时标【待补】;属 AI 推测,需人工判断)

效果示例

输入两组分流与付费率数据、按渠道拆分的分层数据 → 得出整体差异不显著、某渠道名义上有差异但多重比较校正后不显著,建议延长观察;「是否中途改过分流」未给,标【待补】。(示例为示意,显著性与结论属 AI 推测,需人工判断)

常见问题

A/B 实验两组样本量不一致,结果还能信吗?

先核对分流是否均匀;不均或实验功效不足时不得下明确结论,应延长观察 / 加大样本,AI 会给出所需样本量估算,结论需人工复核。

分层看每个渠道都有差异,能直接下结论吗?

不能。分层多组反复检验会抬高假阳性,须先做多重比较校正(Bonferroni / FDR)或声明主检验维度,未校正前不得据单一渠道差异下结论。

样本数据没给全,显著性是硬算的吗?

不会。样本量、分子分母与标准差以你给的为准,缺的标【待补】、口径不明标【需确认】;显著性是计算与推测、需人工判断。

分流数据含用户标识安全吗?

涉及用户标识先脱敏或按分组聚合后再贴,别贴原始明细,这是前置步骤。

一次能分析几组实验数据?

一次 1 组实验(对照 / 实验两组)比较稳,多组实验请分批,避免分流口径串味。

同岗位其他场景

一句话提示词 · 复制发给你的 AI 智能体
已复制,去发给你的 AI 智能体