成为一个A/B 测试专家的途径

标签: 测试 专家 | 发表时间:2014-07-22 20:35 | 作者:
出处:http://news.cnblogs.com/

英文原文: Roadmap To Becoming An A/B Testing Expert  翻译: gyro

A/B测试,也叫做分离测试,一种可用来测试两个不同版本的登陆页面的转化率的方法。你可以测试哪个版本能更好地引导用户达到你的目标,比如:注册、提交通讯信息等。你可以测试两个完全不同的页面,也可以测试页面上的一些小调整,比如在副本里改动几个词。

执行A/B测试能帮助访客更好地和网站进行交互,从真实用户中得到真实数据来支持你的设计决策。存在很多工具可用来执行A/B测试(后面详细描述),这让很多非技术人员也可以容易得进行或管理A/B测试。

ab-illustration-opt-500.jpg

什么时候进行A/B测试

只有当你已经拥有足够多的访客和转化(conversion)时,你才可以立马进行A/B测试。(当用户已经完成了你想要的其中一个目标时,转化就会发生)。这意味着什么?

理想的访问数量根据你特定的转化率的不同而不同。假设每个变量(目标)的转化率至少需要 1000 个访客,每个变量(目标)需要 150 个转化。有些网站可能只要几个小时就完成了,而其他一些则需要一整个月。

为了弄清楚执行一个A/B测试具体需要多少访客,你可以在 Evan Miller’s 样本量计算网页中插入几个基本参数。

你可以凭借每个月 80 个访客机就成功经营企业,但是每个月 80 个访客不可能进行达到统计上显著的A/B测试。在你还没有开始做市场营销之前不要进行A/B测试。在为网站做优化之前你要先保证有源源不断的人访问你的网站。

记住在开始A/B测试之前你不需要建立产品。你可在在初始页面上测试未来用户对你计划的功能和价格层会有什么反应。

第一次A/B测试

对于你的第一次A/B测试来说,尽量保持简单。轻微的调整你的登录页面,关注与那些用很少精力就能达到的目标:

  • 副本 h1 和 h3 标题
  • 副本动作按钮 (例如:“免费试一试” vs. “注册” vs. “开始”)
  • 动作按钮的颜色、大小以及位置
  • 短页面 vs. 长页面(通过隐藏超长条)

你可以一次测试多个变量,不仅仅只调整两个属性。也可以一次进行多个A/B测试,但是首先只专注其中一个(为了摸清测试窍门)。

你可以从任何地方开始A/B测试,时间从一两天到一个月不等。A/B测试工具会报告哪个测试版本是统计上显著的优胜者,然后你就可以更新底部代码使这个优胜变量成为网站最终版本的一部分。

之后,就可以着手准备其他A/B测试了。

何去何从

以上提到的是花最少的精力就可以达到的目标,但是A/B测试绝不仅仅是这样。当然,测试按钮的颜色和标题副本可以提高你的转化率。但是我们需要跳出这种思维框架,想想除了页面外观之外的一些东西:

  • 强调产品功能还是强调产品效益。

    在检验产品时你是否更倾向于注重产品功能。通过向消费者描述一副他们梦想的情境来说明产品的效益。

  • 加快页面加载

    使登陆页面保持极简,并且加载速度小于一秒。

  • 展示和人交谈的视频

    试着把截图拿走,拖入视频,视频以和在摄像机前的人交谈的方式说明产品,以帮助和用户建立一种人际关系。

  • 调查新用户

    和新的用户交谈,弄明白是什么使他们注册产品,目前什么对他们最有价值。在随后测试中强调这些。

  • 搞清楚什么会使新用户感到困惑

    问问新用户网站中什么地方使他们感到困惑,什么问题他们不会回答。在A/B测试中加入这些问题。

  • 增加用户评价

    通过客户评价的的方式来获得社会认同。在每个客户名字的旁边放上头像或者公司的 Logo。

  • 改变标题和主要内容的写作风格

    在博客中改变你的标题和内容的写作风格,看看这会如何影响订阅情况。试着为同样的文章写两个不同版本。

  • 对产品价格和商业模式进行试验

    改变你的价格体系,即使只发布在产品的公众主页上,看看潜在用户会何如反应。

  • 使注册过程简短

    移除注册形式中不必要的步骤。

  • 根本上改变设计

    尝试不同的登陆页面,正如 Campaign Monitor 用大模型为新访客所做的。

记住转化不是一锤子买卖。当你说你想要更多的注册量时你真正想说的是你想要更多的生命周期。当你说你想要更多的播客听众,你真正想说的就是你想要获得更多忠实的听众,他们会不断地把你的产品介绍费朋友。

监控你的A/B测试将会如何影响你的长期目标。

工具使用

我推荐使用 VWO (Visual Website Optimizer)来进行A/B测试。你不需要在每次测试和重新布局时编辑你的网站代码。相反的,你可以使用该工具中的所见即所得编辑器。

vwo-insights-opt-500.jpg

用 VWO,你能做网址分离测试,即测试两个完全不同的页面。你也有可以做多个变量的测试,一次测试两个以上的变量,就像是A/B/C/D/E/F/G测试。VWO 根据统计显著性来报告有种网页设计更好(优胜)。软件的新版本也将要出来了。 Optimizely 是另一个所见即所得工具, Google Analytics Content Experiments 也是另一个很好的自由选择。如果你的A/B测试对象是电子邮箱广告,你可以使用 Campaign Monitor

设置你的第一次测试,在每一个你要测试的网页的<head>之前插入 代码片段(具体代码及插入位置见链接)。

另一个步骤是定义你的目标。填完这个句子:“我想要...” 或许你想要更多人为免费使用而进行注册,提交通讯信息,下载播客或者从网上商店上买东西。你的目标将会决定测试中哪个变量是优胜者。

切忌太过头

A/B测试不是万能药。优化转化率能使一个好的登陆页面更好,但是若一个产品或者公司有根本问题,A/B测试是无能为力的。

狭隘得关注A/B测试会把用户仅仅变成一些数据点。用户不是被倒在沙漏中的转化次数,他们是有着具体问题的具有的人,他们是到你的网站中来寻找解决问题的方法的。

不要为了短期目标而立马向用户出售商品。在站点中放置一个巨大红色的“免费试用”按钮会增加转化次数。这虽然会让你的商业业绩在 12 个月内不会有好转,但是要在头脑中保有长期目标的思想。

A/B测试的目的不是误导潜在用户去买他们不想要的商品,而是确认你如何你传达产品的效益以及确保用户明白了你所使用的语言。

只要你有自信认为你的产品很棒,那么就用A/B测试调整你向用户呈现你产品的方式。如果你知道你的产品对用户是有帮助的,那么不要试图操纵用户。总是把产品放在第一位。

最后,不要忽视你的直觉。你可以用数据支持你的直觉,但也要依赖你的工作经验。不要成为一个百分百靠数据驱动的人。

 

本文链接

相关 [测试 专家] 推荐:

成为一个A/B 测试专家的途径

- - 博客园_新闻
英文原文: Roadmap To Becoming An A/B Testing Expert  翻译: gyro. A/B测试,也叫做分离测试,一种可用来测试两个不同版本的登陆页面的转化率的方法. 你可以测试哪个版本能更好地引导用户达到你的目标,比如:注册、提交通讯信息等. 你可以测试两个完全不同的页面,也可以测试页面上的一些小调整,比如在副本里改动几个词.

测试

- 香姜 - 韩寒
测试......>>点击查看新浪博客原文.

Android单元测试与模拟测试

- - 神刀安全网
考虑可读性,对于方法名使用表达能力强的方法名,对于测试范式可以考虑使用一种规范, 如 RSpec-style. 不要使用逻辑流关键字(If/ese、for、do/while、switch/case),在一个测试方法中,如果需要有这些,拆分到单独的每个测试方法里. 测试真正需要测试的内容,需要覆盖的情况,一般情况只考虑验证输出(如某操作后,显示什么,值是什么).

免费测试VPN

- 勇 - iGFW
lusovps目前提供免费15天的PPTP VPN试用服务,. 申请地址:https://cart.lusovps.com/cart.php?a=add&pid=13. WHMCS注册系统,可以参考 http://igfw.tk/archives/3727. 注册后无需审核,立刻激活,帐号信息会发至邮箱.

HTTP负载测试

- - 博客 - 伯乐在线
英文原文: ON HTTP LOAD TESTING 来源: oschina. 有很多人在谈论HTTP服务器软件的性能测试,也许是因为现在有太多的服务器选择. 这很好,但是我看到有人很多基本相同的问题,使得测试结果的推论值得怀疑. 在日常工作中花费了很多时间在高性能代理缓存和源站性能测试方面之后,这里有我认为比较重要的一些方面来分享.

Android单元测试

- - CSDN博客推荐文章
    单元测试不管对于初学编程还是已经工作了很久的开发者来说,都不乐意花时间去写认为没用的代码进行测试,只要交给测试人员就行了,虽然这样也能把软件改出来,但也许你要花上几倍的时间去修改问题,如果在开发的过程中花点时间去写单元测试代码,把尽可能出问题的地方都测试一遍,把问题扼杀在最开始的地方,这样你就不必为后来找问题出处而烦恼.

mongodb性能测试

- - 数据库 - ITeye博客
1) Mongodb的非安全插入方式,在一开始插入性能是非常高的,但是在达到了两千万条数据之后性能骤减,这个时候恰巧是服务器24G内存基本占满的时候(随着测试的进行mongodb不断占据内存,一直到操作系统的内存全部占满),也就是说Mongodb的内存映射方式,使得数据全部在内存中的时候速度飞快,当部分数据需要换出到磁盘上之后,性能下降很厉害.

Android集成测试

- - 百度质量部 | 软件测试 | 测试技术 | 百度测试
  Android集成测试主要是在单元测试的基础上测试接口访问或者异步任务是否正确,在. 移动凤巢系统中,大概有30+个接口需要测试,他们都遵循一个特定的访问模式:前台的. Activity获取到触发事件后,将它传给这些接口,这些接口都是AsyncTask的实现——即后台. 异步线程执行某个任务(一般是发送http请求到后端服务或者执行存取数据库等耗时操作),.

测试touch事件

- - Kejun's Blog
进入触屏时代意味一切要对触屏友好. 今天仅仅测试了ios6,其它版本包括android还不清楚差别有多大. 看了PPK的touch兼容表(http://www.quirksmode.org/mobile/tableTouch.html),深感刚准备告别ie6,又迎来了一个新的混乱时代,苦逼的前端工程师们永远摆脱不了兼容的魔咒.

impala测试报告

- - 开源软件 - ITeye博客
10.200.187.86 cslave1 4核 3G. 10.200.187.87 cslave2 2核 4G. 10.200.187.88 cslave3 2核 4G. 10.200.187.89 cslave4 2核 6G. 1.在内存够用并且是简单sql条件下,impala相比hive执行效率高很多,简单的sql在百万级别数据中运行,耗时几秒甚至不用一秒.