用户获取分析案例 之 A/B Testing

所谓 A/B 测试，简单来说，就是用对比试验的方法找到做一件事情的最佳方案。网站和产品设计中，我们可以用A/B测试从多个版本中选择最佳方案。

A/B 测试的大致过程是这样的：首先，选定一个需要提升的指标，比如用户转换率，然后制定两个方案(比如一个网页的两个版本)，用随机分组的方式，让一部分用户使用方案A，另一部分用户使用方案B ，通过收集和分析这两组用户的行为数据，我们会发现一个方案给用户的互动或者引导更好，并且直接反映在那个目标指标上。这样，我们就可以选出指标表现最好的方案了。

做实验的原则就是明确目标、设定前提、采样随机、而采样的数据和其他方面要有足够的统计显著性。

举一个例子：

公司H的免费用户在考虑升级成专业版用户之前，往往会跑到对比产品套餐的网页了解免费版，专业版的功能区别。

为了让更多的免费用户在比较套餐后升级为专业版用户，营销部门设计了几个不同版本的产品套餐网页。

这些版本之间只是小改动，区别仅仅是免费版一栏的按钮和描述。如果凭借营销经理的业务经营，可能也很难确定到底哪个版本的效果最好，表现差异有多大。

那么，哪个方案对于公司H提升免费版用户转化为付费版用户的数量最有效果?(可以给自己几秒思考一下)。我们接下来用A/B testing的科学方法的选出最佳版本。

通过AB对比实验，我们发现方案二的转换效率是最好的，而且效果比原有方案提高了20%。

数据只能告诉我们结果，无法告诉我们原因，这个时候就需要营销主管用业务经验去核实这个结果是否合理有逻辑性。

为什么呢?方案二适当的突出了专业版，但也没有过分的弱化免费版，没有给用户一种强行推销专业版的感觉，却潜移默化地引导了用户的选择。因此在各方案中胜出。

你觉得呢？

用户初体验分析案例之Aha Moment

什么是Aha Moment呢?Aha moment是用户感受到产品真正价值所必须要做的事，譬如说在Facebook发展的故事里，7天内加上10个好友就令用户感受到Facebook真正的价值。确定Aha moment可能是件复杂的事情，但最后表现出来的是全公司都能理解和执行的时间。所用它有两个特征：简单易懂，和短期见效。

刚才的Aha Moment的定义还是非常模糊，怎么可以定义成一个通过数据分析确定事件呢?如下图所示，Aha moment是同时在留下的用户和使用功能(经历过某个moment)的用户都占大比例的事件。这个定义是从体会产品价值的必要性和充分性出发的。必要性是指留下用户中经历这个moment的比例大(蓝色部分)是它的必要条件。而充分性是指经历这个moment的用户最终留下来的比例大(红色部分)才充分说明这个moment的意义。两个都要做到才是Aha Moment。

为了进一步说明Aha Moment的必要性和充分性。我们接着用对于聊天软件发信息的数量分别说明两种情况(必要不充分和充分不必要)。第一个是必要但不充分。譬如说微信里留下的用户都发过一条微信，这是必要的，但是不充分说明这是Aha Moment，因为他们有可能留下，也有可能发完一条就离开譬如下图

第二个是充分不必要。譬如发八条微信的人都留下了，充分说发八条的作用，但这不一定是必要的，因为有很多人少发于八条的也留下了。

那么根据Aha Moment定义，如何分析数据找到Aha Moment呢?我们继续以Hootsuite为例子。现在我们要确定添加多少社交账号(譬如Twitter，Facebook等等)对于用户的留下是个Aha Moment。根据下图发现，既不是只添加一个账号，因为只添加一个的很大一部分没留下，也不是添加四个以上账号，虽然他们留下了，但留下的人大部分不是添加四个账号。其实就和刚才说的必要性和充分性的例子一样。

根据类似方法，可以确定三个可能的Aha Moments(如下图所示呢)。为什么说可能?因为相关性不代表因果性。简单地说，这些Aha Moments是从历史数据得到的结果，不足以说明在将来的情况也适用。所以我们需要试行它们，然后得到反馈，进而调整。实际试行中，我们可以通过A/B Testing来测试对比来检验那些moments的效果。

用户留存之定位高流失用户

先给大家介绍一下Hootsuite年制会员促销活动。这个活动与用户留存有什么关系呢?

从上图看出，对于付费用户，有两种模式，月费制和年费制。与彼此相比，这两种制度各有优缺点，其中年费制会员的用户周期比月费制会员的长，但是同期收益，譬如一年的收入，月制会员的比较多。那么怎么最大化会费总收入呢?这里的关键点是，月费用户虽然同期收益多，但往往有可能使用Hootsuite时间不长导致最后他们带来的总收益并没有那么多。

所以，我们要提高有高流失率的月费用户的用户周期。其中一个方法就是把这部分月费用户在快要流失掉的时候转化为年费用户。这就是Hootsuite年制会员促销活动开展的原因。

那么问题来了，如何定位高流失率的月度付费用户?通过图表分析，我们确定三个特征。第一个是新加入的用户容易流失。这对于大部分公司都说一样的。

第二个特征是活跃度低的用户容易流失。在以下图片有个有意思的点是，反而零活跃的用户不太容易流失。其中有可能的一个原因是，这些是专业的营销用户，可是因为太忙了而忘记取消Hootsuite。这里又来值得思考的有意思问题，需不需要向他们促销呢?有可能促销令他们意识到Hootsuite的存在进而取消使用。

第三个特征是未使用增值功能的用户容易流失。

最后可以定位这三个特征。每个特征的单独存在不足以说明该用户群是高流失率的，但是同时的存在就很有可能了。

结语

用数据事实说话，提供科学客观的支持。数据是手段，而不是目的。行动、反馈、成长，在这个闭环中不断成长，达成目标。

作者：郑晖 内容来源出自：大数据分析和人工智能

微会动平台——活动场景数字信息化服务全景图

【搜狐号-新社汇and微会动袁帅】运营者：袁帅，会展业信息化、数字化领域专家，PMP项目管理师，网络营销，搜索引擎营销运营出身，数据分析师，中国电子商务职业经理人，CEAC国家信息化计算机教育认证：网络营销师，SEM搜索引擎营销师，SEO工程师 。现任北京新荟友科技有限公司联合创始人、执行董事，新社汇平台联合创始人、微会动平台创始人兼首席营销顾问，静花缘精品系列民宿互联网线上运营，北京宏宇互动科技有限公司事业合伙人，TAS区块链溯源项目营销合伙人，牛票项目相关技术负责人。O2O2O活动场景双线闭环数字化运营综合服务解决方案与活动场景数字信息化运营综合解决执行方案提出者，微会动服务共同体发起人。