点击率的误差

搜索引擎营销对一个人的统计学直觉（而非知识）是比较高的，一个错误的统计判断，可能造成效果优化的方向完全搞错。由于本人非统计学专业，统计学在线上广告方面应用可追索的资料也较少，如果有概念性错误的地方，请读者指正（林志海 邮箱linzhihai at yahoo.com；微博:http://weibo.com/zhihailin）。

我们知道，网络广告最基本的两个数据是广告展现和点击。如果一个广告一天产生了1000个展现，25个点击，点击率2.5%。那么这个点击率的测量误差是多少？

如果说我们可以获得连续几天的数据，那么这个问题很好回答，Excel的AVERAGE和STDEV就可以计算平均值和标准偏差。这样计算没错，需要注意的这背后隐藏的条件是广告条件不变，即广告来源和广告创意都没有发生过变化，而来源的流量，即广告的展现量基本稳定。

上图是欧洲大型强子加速器LHC的一个实验图（我的本行）

但是，当数据有限，只能观测到一天或两天数据，误差如何计算？

一个广告展示出来，要么被点击，要么不被点击；当这个广告展示了很多次后，被点击的次数就会以一定频率出现，这个值就是我们通常所说的点击率。当展示次数非常大的时候，点击率会趋于一个稳定值（这就是伯努利大数定理），即发生点击的概率。实际上，广告点击的次数，和伯努利实验是完全一样的，它服从二项式分布，当展示次数很大的时候，点击率的误差近似为 ，p是点击率，N是展现次数，点击率。一般点击率都不会超过10%，点击率的误差可以简化为  。1000个展现，2.5%的点击率的误差约为0.5%。所以，当比较两个广告的点击率优劣的时候，计算误差是必要的。当误差显示放宽的三个标准偏差的时候，2.5%的误差范围为1%-4%之间。也就是说另外一个广告的点击率为1%-4%时，和第一个广告的点击率是不显著的。如果第二个广告自身的误差也很大的时候，统计判断就更为困难了。

同样，当计算点击转化比率的时候，会有类似误差的估算方法，只需把N换成点击，p设为转化率。

在文章最后，给出一个判断两个广告点击率差异是否显著的一个工具型的网站splittester，请读者自己做一下实验。

转载请注明： 文章来自腾信创新搜索引擎营销，作者：林志海
http://sem.tensynad.com/

补充，林彦同学很快给我私信，做了很好的补充。一个系统说明的线上文档可以参见百度文库中一个教案，同时指出，目前split test方法多用到的是卡方的四格表检验，这个在一些统计学的基础教材里面有详细的解释。