页面跳转时,统计数据丢失问题探讨

标签: 发现 | 发表时间:2016-03-02 08:09 | 作者:小胡子哥的个人网站
出处:http://www.blogread.cn/it/

标签:   统计   跳转

为了更好地了解用户对产品的使用情况,业务中,我们经常会收到埋点统计的需求,比如:

  1. 收集一段时间内用户光标在页面中的运动情况,包括光标移动、点击等行为

  2. 统计用户滚屏行为

  3. 统计用户在站点的停留时长

  4. 收集页面链接的点击数量等


无论是移动端还是 PC 端,相信很多朋友都遇到了这么几个十分让人头疼的问题:


  1. 统计某个链接的点击量,但是这个链接点击后直接跳转走了

  2. 统计页面时长问题,unload 的时候发送的统计丢失了

  3. 统计脚本还没有初始化,用户不感兴趣已经走人了等

如果我们把这样的数据交给了产品同学,可能会让他们对用户行为产生错误的认知,一定程度上影响产品的下一步改善。

传统解决方案

上面提到的问题,从技术角度可以归纳为两点:


  1. 用户关闭页面过早,统计脚本还未加载/初始化完成

  2. 用户关闭或者跳出页面的时候,请求未发出


针对第一点,概率较小,一般的处理方式就是,不要把统计脚本参合到其他脚本中,单独加载,并且放在前头,让它优先加载。很多公司的做法是,不让开发者关心统计脚本的加载,用户请求页面的时候,Nginx 会在 Body 开始标签位置注入一段脚本。

对于问题二,处理方案就有很多了。


1. 阻塞式的 Ajax 请求


还记得 XMLHttpRequest::open 方法的第三个参数吧,如果设置为 false 就是同步加载,


window.addEventListener('unload', function(event) {

 var xhr = new XMLHttpRequest(),

 xhr.setRequestHeader("Content-Type", "text/plain;charset=UTF-8");

 xhr.open('post', '/log', false); // 同步请求

 xhr.send(data);

});


阻塞页面关闭,当然可以在 readState 为 2 的时候就 abort 请求,因为我们不关心响应的内容,只要请求发出去就行了。


2. 暴力的死循环


原理跟上面类似,只不过是使用一个空的死循环阻塞页面关闭,


window.addEventListener('unload', function(event) {

 send(data);

 var now = +new Date;

 while(new Date - now >= 10) {} // 阻塞 10ms

});


3. 发一个图片请求阻塞


大部分浏览器都会等待图片的加载,趁这个机会把统计数据发送出去


window.addEventListener('unload', function(event) {

 send(data);

 (new Image).src = 'http://example.com/s.gif';

});


以上提到的几个方案都是一个原理,让浏览器继续保持阻塞状态,等数据发送出去后再跳转,这里存在的问题是:


  1. 少量浏览器下可能不奏效

  2. 等待一会儿再跳转,用户体验上打了折扣,尤其是移动端上


是否有更好的方案解决这个问题呢,前端同学秉着「小强精神」也提出了两个可实践的方案。


优化方案


不就是埋点统计数据嘛,非得在当前页面发送出去?优化方案的思路具有一定的跳跃性,我们考虑将数据在下跳页中发送,那么问题就转换为,如何将数据传递给下跳页?


对于链接点击量的统计,我们可以将链接信息通过 url 传递给下跳页,传递思路如下:


1. url 传参


通过数组标识一个链接的位置信息,如 [站点id,页面id,模块id,链接index],通过四个参数可以惟一标识链接位置属性,使用 URL param 参数将数组数据传递给下跳页,等待由下跳页将数据发送出去。


这里存在的问题是,下跳页中必须部署同样的统计脚本,但对一个系统来说,这是很容易做到的。我们也不会在自己的网页上放其他网站的链接吧,所以整个数据的统计都在一个闭环内。


2. 通过 window.name 传递数据


window.name 是浏览器给我们开放的一个接口,设置该属性的值后,即便页面发生了跳转,这个值依然不会变化,并且可以跨域使用。


这里存在的问题是,该属性可能被开发者用于其他途径。我们可以限制开发者直接使用 window.name,封装接口,通过接口调用,如 aralejs 提供的 nameStorage,


nameStorage.setItem(key, value);

nameStorage.getItem(key);

nameStorage.removeItem(key);


储存形式为:


scheme                  nameStorage datas

 |                            |

------------           ------------------------

nameStorage:origin-name?key1=value1&key2=value2

-----------

|

window origin name


以上虽然基本解决了数据丢失和体验差的问题,但是这也很大程度依赖于开发者的编程习惯,如不能随便玩耍 window.name;也对系统有一定的要求,必须在所有页面上部署同样的埋点脚本。


这件事情应该交给浏览器来解决


上面提到的各种方案,不乏黑科技,然而存在的问题还是一大堆,如果团队的开发者执行力不够,中途容易出现各种麻烦。所以真正能够解决这个问题的,必然还是浏览器本身!


为什么不能给用户提供这样一个 API,即使页面跳转了,也能够将上个页面的请求发出去呢?庆幸的是,W3C 工作组也想到了这个问题,提出了 Beacon API 的 草案。


Beacon API 允许开发者发送少量错误分析和上报的信息,它的特点很明显:


  1. 在空闲的时候异步发送统计,不影响页面诸如 JS、CSS Animation 等执行

  2. 即使页面在 unload 状态下,也会异步发送统计,不影响页面过渡/跳转到下跳页

  3. 能够被客户端优化发送,尤其在 Mobile 环境下,可以将 Beacon 请求合并到其他请求上,一同处理


sendBeacon 函数挂在在 navigator 上,在 unload 之前,这个函数一定是被初始化了的。其使用方式为:


window.addEventListener('unload', function(event) {

 navigator.sendBeacon('/collector', data);

});


navigator.sendBeacon(url, data);,第一个参数为数据上报的地址,第二个参数为要发送的数据,支持的数据格式有:ArrayBufferView, Blob, DOMString, 和 FormData。


Beacon 的还有一个非常实用的移动端使用场景,当用户从浏览器切换到其他 app 界面或者 Home 屏的时候,部分浏览器默认会停止页面脚本的执行,如果在这个时候使用了 unload 时间,可能会让你失望,因为 unload 事件并不会触发,此时,Beacon 就派上用途了,它是不会受影响的。


最后


本文是对页面打点丢失问题的简单探讨,枚举了我们通常会用到的一些解决方案,可能不是很完善,如果你有更好的建议,可以提出来。


很多问题,我们绞尽脑汁,可能很少会考虑,这个问题是不是应该有我们来解决,或者说这个问题交给谁处理是最恰当的。本文的探讨可以看到,浏览器本身才是最好的问题解决方,当网站流量变大之后,上面提到的丢失问题就更加明显,这也迫使浏览器本身做了改善,自然也在情理之中。

您可能还对下面的文章感兴趣:

  1. APP调用Custom URL Scheme [2016-02-18 23:45:10]
  2. 安卓第三方应用调起常见问题 [2016-02-16 20:53:22]
  3. 苹果iOS系统下检查第三方APP是否安装及跳转启动 [2016-02-16 20:32:38]
  4. .htaccess的301跳转 [2009-12-09 16:45:58]

相关 [页面 统计 数据] 推荐:

页面跳转时,统计数据丢失问题探讨

- - IT技术博客大学习
标签:   统计   跳转. 为了更好地了解用户对产品的使用情况,业务中,我们经常会收到埋点统计的需求,比如:. 收集一段时间内用户光标在页面中的运动情况,包括光标移动、点击等行为. 无论是移动端还是 PC 端,相信很多朋友都遇到了这么几个十分让人头疼的问题:. 统计某个链接的点击量,但是这个链接点击后直接跳转走了.

有关大数据的误区:数据统计≠大数据

- - 钛媒体网
钛媒体注: 大数据太火了,被广泛应用到各行各业,而近阶段又有着明显的过热迹象. 大数据到底是一个营销词汇,还是一个方法论. 本文作者老李正是一家大数据服务提供商的资深员工,他所做的项目就是针对不同行业进行大数据分析. 他认为,关于大数据你首先必须有一个基本认识,那就是“大量的数据并非一定具有价值”.

巧用 Img / JavaScript 采集页面数据-云栖社区

- -
我们发送重要邮件时为了确认对方已读,都会在邮件中设置一个“读取回执"标签以确定对方时候读信. 推广网页时,多少用户做了点击. 移动App运营活动页面,分析用户访问情况. 对这类个性化的采集与统计,针对站长CNZZ、百度统计,移动的Talking Data、友盟等都无法胜任. 个性化需求难满足:用户产生行为并非移动端场景,其中会包括一些运营个性化需求字段,例如:来源、渠道、环境、行为等参数.

用透视表进行数据分组统计

- NOir - 小蚊子乐园
从 坏空格(NoKDD)的80% 博客中发现用数据透视表也可以进行数据分组,并且很方便,我也动手试了下,操作如下(如无法查看动态演示,需要点击图片,再点击图片下的“查看原图”即可):. 当然还有其他分组方法,如用VLOOKUP函数法,详见:如何用EXCEL进行数据分组http://blog.sina.com.cn/s/blog_49f78a4b0100ju4u.html.

日常的数据结构 – 动态最值统计与堆

- Linker Lin - Bit Focus
    如果设计一个顺序统计系统, 需要动态向集合内添加元素, 又可以随时从集合中取得并丢弃最小值. 由于集合中有集合会被移除, 因此接下来再次取最小值时如果重新扫一次集合, 时间开销会相当大. 在一般情形中, 若为了均衡时间开销, 需要考虑维护一个更复杂的数据结构..     这个数据结构建立在满二叉树 (full binary tree)和完全二叉树 (complete binary tree)的概念上..

SEOMOZ 2011排名因素的数据收集与统计分析

- liang - SEM WATCH
SEOmoz在此次的2011版搜索引擎优化排名因素的调查中,使用了让人耳目一新的统计学方法. 其中主要采用到的是Pearson积距相关系数. 而具体使用的方法,在http://www.seomoz.org/article/search-ranking-factors#methodology此文中有一些概述性的阐述.

新读图时代:Google+的数据统计

- 阳阳 - 东西

分析报告、统计分析和数据挖掘的区别

- - 互联网分析
关于数据挖掘的作用,Berry and Linoff的定义尽管有些言过其实,但清晰的描述了数据挖掘的作用. “分析报告给你后见之明 (hindsight);统计分析给你先机 (foresight);数据挖掘给你洞察力 (insight)”. 你看到孙悟空跟二郎神打仗,然后写了个分析报告,说孙悟空在柔韧性上优势明显,二郎神在力气上出类拔萃,所以刚开始不相上下;结果两个人跑到竹林里,在竹子上面打,孙悟空的优势发挥出来,所以孙悟空赢了.

How to lie with statistics――统计数据背后的真相

- - 互联网分析
在之前读过的《How to lie with statistics》一书中提到当我们接触一个统计资料时,提5个简单的问题可分辨大部分的统计资料,分别是:谁说的,他是如何知道的,遗漏了什么,是否有人偷换了概念以及这个资料有意义吗. 经常会遇到利用数据图表进行问题说明的情况,这时我们往往会关注于这些数据到底是什么意思而忽略这些数据的来源和它的时效性.

MongoDB新的数据统计框架介绍

- - NoSQLFan
目前的 MongoDB在进行复杂的数据 统计计算时都需要写MapReduce来实现,包括在SQL中比较常用的group by查询也需要写一个reduce才能实现,这是比较麻烦的. 在MongoDB2.1中,将会引入一套全新的数据统计计算框架,让用户更方便的进行统计操作. 下面我们就来看看几个新的操作符:.