调研问卷中多选题的分析方法探讨(1)

标签: 用户研究 研究方法 网络分析 聚类分析 量化研究 | 发表时间:2011-06-20 00:06 | 作者:渡劫 朱穆穆
出处:http://ued.taobao.com/blog

引子

        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息。其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论。

        本篇主要探讨带有分类性质的多选题,如何进行深入分析,得出分类相关的结论,也可以对各类别进行排序。

 

带有分类性质的多选题

        一般而言,在设置多选题时,并没有想到分类,只是想了解各种情况的排序情况。其实,某些多选题,已经隐含了分类的信息,透过这种潜在的分类信息,能够更深入地了解用户的内在想法、心理特征,甚至推测他们的行为习惯,与其他行为题目相互照应。

 

        带有分类价值的多选题一般具备以下几个特征:

        1题干本身包含分类的含义,如最常遇到的障碍、最亟待解决的问题、最需要的功能、最常用的工具等,或直接询问:哪些服务最适合划分为一类。

        2选项涵盖内容较分散,如果选项都是集中某一个细节层面,那就没有分类的必要;只有当选项内容包含多个方面的细节点,且每个方面不止一个细节点,才有分类的必要。此时的方面、细节需根据业务辩证地看,主要取决于选项是否有分类的意义。

        3选项一般超过10,选项太少没有分类的必要,只有超过一定数量,分类才有价值,分类的目的是为了通过细节概括出看问题的维度,更深入地解读用户心理或行为。

        4限选,这不是必须的,主要根据经验判断,用户在做选择时,是否会倾向于全选,跟题干的问法有关。无法做出准确判断,且需要对选项做出优先级排序时,通常采用限选的方式,可以根据研究目的,限定全部选项数量的一半,或1/3

        5数据为0/1格式,即每个选项一个变量,选中为1,未选中为0,多选题转换成此种格式,宜于做深入分析。

 

        当有了带有分类价值的多选题,就可以采用下文介绍的方法进行深入分析。

        本文中的例子是半年前做过的一次定量调研,带有分类价值的多选题,主要考察:淘宝卖家在经营店铺时,最需要的功能。

 

聚类分析

        首先,采用谱系聚类(Hierarchical cluster)的分析方法,为了使得变量的分类趋于均匀,选择Ward’s法,二分类变量(Binary)欧式平方距离(Squared Euclidean distance)测距方法,查看相应的统计量(略),并结合业务,找出分类数。谱系聚类的树状图查看分类结果比较清楚,也比较方便,建议多用。

        综合分析可知,本例的卖家功能划分五类或七类比较合适,但个别分类不易解释,且出现单个类别中只有一个功能,后续应用的价值有限。

 

 

因子分析

        聚类分析结果不理想,也可以采用因子分析的方法。

        经多次尝试,17个变量中去掉“直通车关键字检索”,单独成为一类。剩余变量利用主成分分析法(Principal components),方差最大正交旋转(Varimax)进行运算,得到KMO值为0.545,Bartlett 球形检验的值为1041.324(df=120)达到显著,表明可以做因子分析。最终萃取出7个公因子,累积方差贡献率为55.1%(详见下表),解释效果尚可。

        结合业务来看,这些分类能够很好地被解释,从而反映出卖家的心理特征和需求方向。 

注:由于本例是多选题,并非量表打分题,且侧重考查的不是变量间的建构效度,仅借用了因子分析的方法进行分类,因此KMO检验和累积方差贡献率的具体值,并没有真正的因子分析那么重要,但必须要查看,甚至需要做信度检验,也要查看重构的相关矩阵残差值,做到心中有数,知其然也要知其所以然。本例中,重构的相关矩阵中,有超过半数残差值大于0.05,如果按照真正的因子分析模型来判断,拟合效果并不好。

 

相关分析

        还有一种简单易行的方法,就是相关分析。经统计学家研究表明,0/1变量同样适用于皮尔逊相关系数(Pearson Correlation)。

        本例将17个功能做相关分析,得到简化的相关矩阵如下表:

        根据研究目的,此表只需看正向、且相关非常显著的选项即可,但17*17个表格中127个有关联,如何做深入分析呢?根据选项间的关系强弱、是否显著等,可以画出图形,如此,就可以清晰地看出各选项之间的关系,进行分类。

        本例中,此种方式的分类结果(如下图),易于解释,且分类数量恰当,便于后续应用。

 

三种方法所得结果的对比

        以上提到的三种方法,所得结果如下表:

        可以看出,聚类分析的结果容易出现不易解释的分类,因子分析的结果划分得更细化,相关分析的结果可以根据需要,在一定范围内进行调节,得出适当的分类数量。

        不同的案例,应该多尝试不同方法,即便相关分析的结果最可靠,其他方法的结果也能起到补充的作用,以获得更加有价值的研究结论。

 

进一步的应用

        得到合理的分类后,还可以结合选项的频率,给每一个类别赋值,得到类别的优先级排序。

        如果最终选定了因子分析的分类结果,单个类别中每个选项的权重可以由因子载荷计算而来;当然,也可以跟聚类分析、相关分析的结果一样,采用算数平均、或加权平均的方法,计算每个类别的平均值。

 

小结

        综上所述,带有分类性质的多选题,分析的流程如下:

        1、确定是否有带有分类价值的变量;

        2、尝试多种方法进行分析,找出最合理的分类;

        3、利用加权平均,或其他方法,计算每个类别的比例,进行排序。;

        4、使用关键变量(如星级、注册时长等)对样本总体分群,查看各细分群体在多选题分类上的差异,深入分析。

Copyright © 2011 Taobao UED 渡劫(范欣珩). All Rights Reserved.

相关 [问卷 分析 方法] 推荐:

调研问卷中多选题的分析方法探讨(3)

- ZX - Taobao UED Team
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(1)

- 朱穆穆 - Taobao UED Team
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(3)

- 风中彷徨 - 所有文章 - UCD大社区
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(2)

- 小熊维尼 - 所有文章 - UCD大社区
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

问卷调查方法使用小结

- - 盒子UI
问卷调查(questionnaire)是用户研究或市场研究中非常常用的一种方法,这种方法可在短期内收集大量回复,而且借助网络传播调研成本也比较低,所以得到广泛的使用,但是似乎有些人认为问卷调查就是设计若干问题然后发给用户填写就行了,但其实越是简单的调查方法越是有需要注意的地方,这样才能真正发挥该方法的优势,下面就结合自己近期的项目实践对这种方法进行总结,意在总结流程,所以具体的题目此处不做呈现.

日志分析方法概述

- jin - 搜索研发部官方博客
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

Rails3中的性能分析方法

- - Taobao QA Team
(转帖请注明出处: http://qa.taobao.com/?p=15025). 性能分析是Web应用开发中非常重要的一个环节,相比访问缓慢的站点,访问快速的站点拥有更好的用户体验,帮助用户节省更多时间,带来更多的用户访问. 作为当前十分流行的Web框架, rubyonrails当然也提供很多方式进行性能分析.

日志分析方法概述

- - CSDN博客云计算推荐文章
最近几年日志分析这方面的人才需求越来越多,主要伴随数据挖掘的快速发展而迅速增长的. 碰巧又在工作中又接触到一些日志记录方面的工作,就顺便了解一下日志系统的整个流程. 下面这篇文章转自百度同学的一篇文章,针对大规模日志分析,联系到hadoop,hive的解决方案,阐述的比较全面. 另外就是阿里已经开发出类似的系统odps—通过sql语言进行数据的分析处理,详情见:http://102.alibaba.com/competition/addDiscovery/faq.htm.

百度搜索研发部:日志分析方法概述

- wuwu - 标点符
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

举例分析roguelike游戏的弊病及解决方法

- Dexter.Yy - GamerBoom.com 游戏邦
作者:Keith Burgun. 在我之前发表的文章《The Cautionary Tale Of 100 Rogues》中,我描述了设计、开发和营销2010年iOS游戏《100 Rogues》背后的整个过程. 我和我的团队Dinofarm Games已经开始制作新游戏了. 但是从表面上来看,新游戏与《100 Rogues》有诸多相似之处.