A/B测试方法,这才是产品的话语权!

“从现在开始的十年内,当我们回顾大数据时代是如何发展时,我们会震惊于在以往做出决策时信息的匮乏。” -Billy Bosworth (DataStax CEO)

“从现在开始的十年内,当我们回顾大数据时代是如何发展时,我们会震惊于在以往做出决策时信息的匮乏。” -Billy Bosworth (DataStax CEO)

A/B测试方法,最早运用在医疗行业,作为早期测试,判断新药药效的方法,通过分组对照,科学的判断新药物会带来的影响。

而这种测试方法,也被带入到了互联网产品的迭代过程中,在发现了产品新的机会后,通过A/B测试来验证最有效的产品策略。

1468894676-5346-bppg9x3LQAIN1AsicuAeiacDwAcg

为什么使用A/B测试?

环境的不可预见因素,对用户行为理解的偏差,以及对多种方案实际效果的验证,都是进行A/B测试的原因,有效的A/B测试能够给团队带来显著的增效。

1468894677-5307-y1IBia2g7jQTDCqf5iaeYtQFj2eg

在进行A/B测试的时候,需保证单盲测试原则,注意对照组和实验组的目标用户需保持一致性,通过测试后统计的数据情况,例如用户的具体操作行为和体验反馈等,目标操作的点击或任务的完成度是不是提高,来评判测试用例是否起到了作用。

我们可以来看AppAdhoc的一个案例:

1468894681-3869-VHtaTQvxkluCq6yqy7JzkNnRXhAg

1468894680-7634-vWk1LCuvLcLkpVq1shwA0LibicQQ

1468894684-2656-MJBQP1B7xiaUZaJNkl7vM8iaZWUQ

1468894681-2544-YuiaBibvlLIYfTgAm2zkSX5iciaQ

文案的力量也会影响很大,例如:

1468894685-5691-rnrCUQvWzDr91gQcYMPr4R7ykfCg

1468894683-7527-l8v64ae0T0ZvicLbCFZJRq0zgTAg

A/B测试的时机,投入与产出

A/B测试的测试方案应该安排在产品正式推送之前,在现有的用户当中去找出一小波典型用户,均分为两组,布下监测数据点,查看用户真实的操作情况和反馈,小范围的真实用户测试能够带来更加准确的反馈,并且在正式推送之前不会影响到其它未参与测试的用户,不影响产品当前本身的体验,如果发现任何异常,能够快速的撤下,高效便捷。

简单的A/B测试流程:

制定测试方案

在测试之前,编写好测试内容,选定测试对象,明确测试方法,以及预期的测试效果。

发布测试方案

发布测试方案可以选择静默发布和公开发布,通过对方案是否有需要进行选择,往往一些细微的功能调整,例如短文案,小的视觉变更等,或者变更本身不希望主动提示用户去尝试,影响测评结果等。

公开测试可能适合使用在一些创新性的功能或者是较大的功能改版需要对测试用户做出一定的描述让用户能够接受。

记录&分析

了解用户在测试过程中的反应,表情,动作,语言等,对测试对象的一些触发器进行锚点追踪,查看分析用户的使用频率,来界定测试方案是否起到了预期的效果。

撰写分析报告

收集团队成员积累的测试资料,对数据的变化以及用户的反馈进行较为深入的剖析,针对当前的测试版本提供合理的优化意见,并能够让团队的其他人从中获取需要的信息。

完善设计方案

通过分析报告的内容,来对设计方案进行调整,针对测试过程中发现的不足进行优化,并考虑是否进入到下一次的迭代过程中去,撰写迭代方案。

再次测试or上线

大部分的A/B测试只会进行一个周期,只有针对某些特别谨慎,或者是对研发周期限制很少,时间宽裕的团队来说,可能会进行第二次或者是第三次的测试,而大部分都会选择在一次优化后上线,然后将更新需求写入到下一版本的计划当中去。

A/B测试对团队资源占用较大,是在对自查和团队评审后,更加准确的一种测评方法,不会在每一个环节和功能上都去进行尝试,所以在工作中如果去使用,可能就需要根据团队的执行力以及个人的经验作出判断了。

(图片摘自:WAW2016上王晔博士《AB测试基本原理与背后理念》演讲文件)

------------------------------

1468894686-9020-fWQv0giaRwAsN9xvhz57OzsRLhAQ

------------------------------1468894687-2311-bJ7ofaGbUS5ibwPJsXSjlicgiaug

IAMUE网站介绍

IAMUE是一个 专注分享交互设计的干货网站

交互设计师图书导航:http://books.iamue.com/

交互设计必备导航 :http://hao.iamue.com

交互设计讨论群 Ⅰ群:156360020

交互设计讨论群 Ⅱ群:247123791

交互设计讨论群 Ⅲ群:147868955

交互设计讨论群 Ⅳ群:362796793

微博:@IAMUE

------------------------------

交互设计那些事儿-阿西UED编著


1468894687-8323-aNFX3BYItPVvu3gGSj99QJ69icow

《交互设计那些事儿》-签名版

签名版只有天猫有,只有30本限量了  http://share.laiwang.com/s/Shy7s?tm=9d74c2

------------------------------

1468894689-7363-QbTpqg6zZLEVXAH7J1ibXFCS7s3A

长按二维码识别

《交互设计那些事儿》-京东自营
再次感谢你的阅读

 

原创文章,作者:ioued,如若转载,请注明出处:https://www.iamue.com/16534/

(0)
iouedioued
上一篇 2016-07-18 11:05
下一篇 2016-07-19 10:37

相关推荐

  • 《上瘾:让用户养成使用习惯的四大产品逻辑》

    最近在看这本书,从产品、设计、运营多个角度都可以很多收获,我在看第二遍了,与第一遍阅读有不同的感受,作为设计师更需要了解你的设计是怎么影响用户的“触发”的。 这涉及到 :人性、情感、路径等因素决定了用户…

    2017-06-09
  • 免费才是出路

    最近在读 KK 的《必然》,这本书比《失控》更加落地,而且,不得不说,老爷子对互联网业态的转变的观察无人可敌。 他提出了很多新兴互联网的特征,其中第三章讲的是 Flowing (流动)。他认为因为信息的流动性加强…

    2016-01-18
  • 怎样最短时间内成为优秀的运营人才?谈谈运营人员的时间观念!

    工作有什么捷径?”这类的问题,我可以明确的回答,运营工作还真没有什么捷径,最好的捷径就是:踏实、用心、坚持、专注。一个优秀的运营人员的打磨,是需要很长的时间的,绝对不是可以速成的。 很多入行2-3年的运营…

    2016-04-27
  • O2O寒冬的根本原因:第一个“O”已经没意义了

    2015-11-03 艾瑞网 当下,关于资本市场的寒冬说不绝于耳,各种“死亡名单”、“不投列表”充斥在我们周围。O2O曾经的火热状态也在不断的降温,各种靠烧钱等方式建立起来的平台饱受质疑。 然而,随着客观环境发生巨大变…

    产品运营 2015-11-04
  • 行业最佳实践 | 冷兔:用做产品的思维做表情

    冷兔创意工作室是一个年轻而又注重创意的团队。冷兔的小伙伴们在这里创作好用的聊天表情,构思好笑的漫画,绘制充满想象力的艺术画作,以及制造更多有趣的产品。冷兔创意工作室的核心工作是生产快乐,并通过冷兔来…

    2016-10-26
  • 运营如何在2年内从月薪3000升到30000

    写这篇文章 的前一周,我和几个老同事聚会。一班老友聚会,感慨万千,唏嘘不已。同样一堆老兄弟,同一个起跑线,有人年收入过百万,有人至今月薪不过5000。同样的老兄弟,差别为什么这么大呢? 这个是我这篇文章的…

    产品运营 2016-01-28
  • A/B 测试基础&实例

    什么是A/B测试? A/B测试简单来讲是在两个或多个产品的优化方案中选出最优方案的方法。 例如,期望优化产品的某个特性——通常是期望某项数据提升时,需要对产品某处进行调整。 对此可以提出若干版本,但是现有的理论…

    2016-04-21
  • 杀死转化率的4大 UX 错误

    转载自:吆喝科技,转换率优化(Conversion Rate Optimation, CRO)逐渐受到越来越多的关注。资本雄厚的公司通过增长黑客团队与持续优化作后盾,也影响越来越多人搭上 CRO 的风潮。整体来说,重视对网站效果的测试…

    2016-10-25
  • 关于产品冷启动,这可能是整个创投圈最真诚的一篇分享

    作者:覃超 链接:https://zhuanlan.zhihu.com/p/20576187 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 沈巍,活动场地短租平台 “百场汇” 联合创始人、CEO。百场汇于 2015 …

    2016-05-23
  • 设计师应该成为团队中重要的部分

    作为一个设计师,我们总是在工作的时候感到自己缺乏价值和被误解。上司让你在今天的提案会议前赶制些项目上的修改来应付客户,或是客户会要求你移除掉一些他们认为没有必要的设计步骤,最快速地拿到最终方案。 此时…

    2016-05-28