PostHog:新功能先给谁用,之后要看什么
PostHog把产品分析、会话回放、实验与功能开关放在一起。团队可以先向一部分用户开放新功能,再结合使用事件、回放和异常判断是否继续扩大。
先给出你的方案与理由,再展开思路,检查是否遗漏了重要的取舍与验证。这些问题没有唯一答案。
01
产品思考中阶
扩大开放前,确认面板应该说明什么?
练习场景
为自己的预约网站设计“扩大新表单范围”确认面板。当前新表单只向符合条件的已登录用户开放。运营希望从10%提高到30%,但“比例提高”并不自动代表效果已经变好。本题为自拟设计,不要求复刻PostHog。
已知条件
- 固定目标人群为1,000个有效用户ID,根据用户编号固定分组,再决定各组看到哪个版本。当前实际命中92人,30%配置预览命中284人;两次预览使用同一身份、规则版本与目标人群。真实人数不要求恰好等于名义百分比。
- 当前92人中只有40人开始填写,32人提交成功。其余52人没有开始,不得计入填写失败。旧表单同期结果来自不同人群,不能仅凭原始成功率宣称因果胜出。
- 最新回放中有一次明确的日期校验错误,另外两次异常尚未查清。可以扩大、保持或暂停新路径,但每个决定都应说明依据和后续观察责任。
- 预览生成后规则又被同事修改。页面必须要求重新确认,不能继续提交旧预览;题目只要求设计可见状态与操作,不实现发布后端。
交付与推演
画出确认面板和预览失效状态,解释92、284、192、40与32分别表示什么。给出支持“暂不扩大”的一条理由,以及在补齐什么证据后重新讨论;不预设唯一发布答案。设计两项观察任务,检查用户能否识别实际影响范围与样本边界,不虚构测试结果。
查看思路
- 先解释影响范围。 同一固定人群与分桶下,新增284−92=192人,原92人继续命中。把配置比例、实际命中和新增人数分开,避免把30%写成恰好300人。
- 把使用漏斗拆开。 92人命中,40人开始,32人完成;填写中的完成比为32/40,不能把未开始的52人直接算作失败。不同人群的原始比率不证明新表单造成改善。
- 让待解决问题可见。 展示日期错误、两次待核实异常及对应证据。是否扩大应与风险、观察时间和关键任务有关,而不是只看一个绿色比率。
- 把确认绑定到预览版本。 目标人群或规则变化后明确标过期,重新预览并再次确认。旧预览可用于解释前次判断,不能继续授权新配置。
- 检查理解而非点击速度。 让用户说出新增多少人及32/40的分母;再给出过期预览,观察是否会重新核对。根据误解调整信息层次。