如何利用大数据分析A/B测试优化产品功能?无论您是从事产品,设计还是发展,您都可能遇到以下问题:
1)我们如何提高转化率?
2)我们如何改善AARRR渠道?
3)此功能启动的成功程度如何?
4)这些通知是否增加了保留率?
您可以通过正确设计,运行和解释A / B测试来获得这些问题的答案。
您开始测试之旅所需要做的就是:
1)基本统计知识
2)准确且足够(每月唯一用户数量> 1000)的产品数据
采取的方法严格且鼓励最佳做法,但:
1)它不会证明常识假设检验背后的数学原理。
2)它不会涵盖更高级的方面,例如贝叶斯上下文中的A / B,多元测试或Bonferroni校正。
准备?让我们开始吧!
一、了解拆分测试是改进产品的定量方法,并且很容易弄错
从本质上讲,A / B测试是一种比较用户流程中流的两个版本,以确定哪个版本表现最佳的方法。
为了能够从测试中获得洞察力,您将需要每个组(分别称为对照组和实验组)中足够的人员,以及足够的转化差异。正如您将在第3点中看到的那样,应该在运行测试之前定义两个值。
二、从产品渠道中选择一个重要的转化步骤
从技术上讲,您可以进行任何测试,例如在条款和条件页面上更改字体。但是,您始终希望选择对业务成果影响最大的步骤。此外,请记住数据量的重要性-流量越高,得出结论的速度越快-以及数据质量 -垃圾进出。
错误的数据,错误的结论。数据少,结论慢。
让我们开始实践,我们将在大数据分析A/B测试优化产品功能中使用该示例。
Trana是微博产品总监,可为用户提供额外的运行洞察力。为此,它连接到他们的Strava帐户。因此,关键时刻就是要求用户链接其帐户。在本能的基础之上,让我们分析一下完整的入职渠道。设计跟踪计划后,可以在诸如Mixpanel之类的工具中完成此操作。
我们可以看到,从绝对入职和相对而言,从“ 入职开始”到Strava Connected进行帐户关联都是最有影响力的操作。有自己重要的一步吗?让我们继续!
三、分析从此步骤到所需操作的当前点击率
点击率(CTP)是给定用户单击以进入下一步的概率。
它的值总是因此它是0和1之间不一样的点击率(CTR),这是#点击/#印象。
CTP需要从选择的步骤到关键的行动,而不必到下一步,因为否则您可能会达到局部最大值。这是一个简单的示例,可以理解这一点:假设您现在自动将用户从主页重定向到产品的定价/溢价页面。定价转换的家将成为屋顶,但您可能想评估人们是否反过来更有可能成为高级用户。
简而言之:牢记最终,而不是下一步。
从完整的渠道中我们可以看到,CTP为80%。在这种情况下,连接他们的Strava帐户显然是一个重要的里程碑,因此我们可以将这种转化概率用作目标指标。
四、建立假设以启动实验
AB测试不过是从方法上评估一种变体(称为实验)是否比当前状况(称为对照)要好。
实验从构建假设开始。它可能源于直觉,客户反馈或团队讨论。
假设如下:通过了解微博产品如何帮助他们更智能地运行,用户将不太愿意连接其产品
五、确定样本量
这是A / B测试的核心,也是大数据分析A/B测试优化产品功能中最繁琐的部分。我很乐意回答您在微博上可能提出的任何问题。
运行A / B测试涉及创建对照和实验样本。通过将用户分为两组来进行抽样(将每个用户分配给一个变体)。
一个用户应该始终看到相同的变化,这意味着采样是确定性的,而不仅仅是50%的概率。
我们通常根据奇/偶ID进行采样,许多工具可以为您解决这些问题。
一个常见的错误是忽略采样,直接更改产品,并将新的转换概率与旧的转换概率进行比较。
这导致团队得出错误的结论,因为使用您产品的人员在不断变化。例如,您不能说新的流量(由来自广告的人使用)比旧的流量(由您的朋友和家人使用)最糟糕,因为看到它的可能性较小,无法承受您的产品首先。
您的样本数量将取决于:
1)您的基准转化率
2)您选择的绝对最小可检测效果(MDE / d min)。这是您将能够检测到的对照转化率与实验转化率之间的最小差。如果您每周的流量很多(相对于最终样本量),则选择您认为值得的最小差异。如果您不这样做,请选择一个差异,该差异会导致较小的样本量,但仍然可以实现。
3)Alpha(α):默认保持为95%
4)Beta(β):默认情况下,keep为20%,这为1-β提供了80%的值
测试将一直进行到两个样品至少观察到1030次。根据历史流量,您可以估算出要行驶多长时间。尝试使实验运行少于一个月。它们运行得越快,产品改进的速度就越快。
计算样本大小,写下来,然后开始测试。一旦有了足够的数据,您就可以分析结果。
六、从结果中获得有效的见解
6.1收集数据。
等待直到两个变体都有足够的样本量,然后进行数据收集。
实验转换效果更好。这是第一个好兆头,但我们不能止步于此。因此,让我们进行一些检查。
6.2确保抽样工作按预期进行。
首先,检查抽样是否偏向其中一个小组。这是我们示例的计算:
6.3检查实验效果是否明显好转。
评估实验是否胜过对照可能会很麻烦。因此,我构建了一个小工具来执行此操作,将您的图形插入其中以执行这三个检查。以下是计算的详细信息。d min是可检测到的最小效果,N是样本量,X是转换计数,即采取所需行动的人数。
其中d̂±m是置信区间。
以下是解释结果的方法:
1)d̂ – m> d
填写下面表单即可预约申请免费试听!怕钱不够?可先就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可推荐就业!
©2007-2022/ www.aaa-cg.com.cn 北京漫动者数字科技有限公司 备案号: 京ICP备12034770号 监督电话:010-53672995 邮箱:bjaaa@aaaedu.cc