调研问卷中多选题的分析方法探讨(2)

标签: 问卷 分析 方法 | 发表时间:2011-07-03 16:25 | 作者:渡劫 小熊维尼
出处:http://ucdchina.com/rss/all

引子

        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息。其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论。

        上一篇文章谈到调研问卷中带有分类性质的多选题如何进行分析,本文将侧重说一下带有求和性质的多选题如何进行深入分析,另外,还可以得出分组结果做后续应用。

 

带有求和性质的多选题

        问卷调研中,常会通过多选题考察用户在某个方面的多样性、或意识、能力等,此时,选项求和所得总分能够反映用户在这个方面的综合情况,也是一种分析问题的方法。

        其实,带有求和性质的题目,多半是由量表题转换而来,而量表题涉及到N级量表,相当于每个选项都是一个题目,为了节约用户的填答成本,常用多选题代替。当然,量表题的相关选项求和,更能反映用户在某一方面的综合水平,此不赘述。

        带有求和性质的多选题一般具备以下几个特征:

        1、题目本身具有求和的价值,如卖家常用的第三方服务工具(考察工具应用的多样性)、卖家日常采用的安全保护措施(考察预防意识)、用户常用的网络功能(考察网络使用能力)等,这类题目的选项求和所得总分,对于综合分析问题有一定的参考价值。

        2、选项涵盖的内容较全面,选项应该尽量包含考察方面的主要细节点,如果考察的方面,范围相对较窄,最好能够穷尽主要细节点;如果考察的方面,范围相对较广,最好能由浅入深、或同级区隔,分成若干层面,逐个选取主要细节点。

        3、选项一般超过5个,选项太少没有求和的必要,只有超过一定数量,求和才有价值,求和的目的是为了通过归纳的方式,从总体认知的角度,概括地解读用户的行为或心理。

        4、通常不限选,如果限选,求和后,总分值差距不大,不易找出样本在考察方面的差异,很难达到综合评估的目的。

        5、数据为0/1格式,即每个选项一个变量,选中为1,未选中为0,多选题转换成此种格式,宜于做深入分析。

        当有了带有求和性质的多选题,就可以采用下文介绍的方法进行深入分析。

        本文中两个网络问卷调研的例子,分别是上个季度做的《卖家安全需求调研》,研究模型中用一道多选题,考察了卖家安全保护措施的意识;四年前写毕业论文《生活形态与即时通讯使用的关联性研究》时,基础题目中用一道多选题,考察了网民对网络的使用能力。

 

直接求和

        直接求和的方法非常简单,由于多选题选项的数据是0/1格式,直接加和后,即可表示在考察方面,样本的总得分,反映综合水平。

        卖家安全保护措施意识的案例,稍微复杂一些,因为选项含有互斥关系,各选项的频率如下表:  
       

        求和时,不能直接相加,需要简单处理一下,因为“没有什么预防或应急措施”与其他答案互斥,有两种处理方法:

        1、将“没有什么预防或应急措施”的答案0/1做反向处理(recode处理:0变1、1变0),之后所有选项加和,若总分为0,则表示“安全预防意识”为0,若总分大于0,则表示采取了一定的措施,反映了安全预防意识的程度;

        2、根据情况计算总分,若“没有什么预防或应急措施”被选中,则选项加和变量直接为0;若“没有什么预防或应急措施”未被选中,则剩余选项加和求得总分。此时,选项加和的结果与方法1相同。

        本例中,卖家总体的安全预防意识平均值为2,结合总分的分布图也可以看出,卖家的安全预防意识并不强,手段比较单一,风险较高。
       

        跟其他变量交叉分析后,也可以分析出各细分群体,在安全预防意识方面的差异。

        直接求和,除了需要注意选项间的互斥情况,最重要的是要判断,各选项对于考察方面,是否处于同等级别,近似平等。用案例来说,就是每个选项中的措施代表安全预防意识的程度相近,而并非某个措施的难度特别大,或非常不易达成。

        如果各选项对于考察方面,并非处于同等级别,不能近似平等,那么就需要采用其他的求和方法。

 

加权求和

        考察网民对网络的使用能力,如果直接询问被访者,“网络使用能力达到什么水平?”,可能不易得到可靠的数据,可以间接地采用多选题的方式,请被访者选出懂得如何操作的网络应用,选项应该包含初、中、高级的网络应用,以便全面评估。

        由于初、中、高级的网络应用之间,级别不同等,不能近似平等,也就不能直接求和,简单相加会造成很大误差,不能如实反映网络使用能力。

        因此,先对选项进行信度检验,然后通过加权法,对需要能力较高的网络应用给予比较大的权数,能力要求不太高的网络应用给予较小的权数。如此,得到的加权后总分越高,表示网络使用能力越高。

        在实践中经常采用的加权方法是,将直接测量值x(得分或比例等)转化为标准正态得分Z,再转化为加权值W,即可求得描述综合水平的测量值X。

        本例中,网络能力多选题的Cronbach’s Alpha信度检验,得到Alpha=0.841,达到较高水平;然后将各项的样本比例P转化成标准正态得分Z,由Z的相对大小来决定加权数W,即可计算出每个样本的网络使用能力。分析可知,样本的网络使用能力均值为27.9,标准差为12.96。计算过程如下表:
       

 

利用总分进行分组

        求和得到总分后,可以对样本进行分组,一般会找出高分组和低分组,对比高低分组在其他关键变量的情况,也是一种分析问题的视角。

        对总分进行分组通常有两种方法:

        1、高分组的下限可以是(均值+1个标准差);低分组的上限可以是(均值−1个标准差),一般这种方法求得的高低分组的样本量,均不一定会达到样本总量的1/4,需根据研究目的判断是否合适。研究小众产品时,可用此方法。

        2、另一种方法,是将总分升序排列,从上往下,在样本总量27%的位置记录样本得分,作为低分组的上限临界值;从下往上,在样本总量27%的位置记录样本得分,作为高分组的下限临界值。这种方法得到的高低分组的样本量,能满足大部分研究的需要。研究大众产品时,可用此方法。

 

小结

        综上所述,带有求和性质的多选题,分析的流程如下:

        1、确定多选题的选项求和后,总分是否存在解读价值、应用价值;

        2、根据选项的特点,选取适当的求和方法:直接求和、加权求和;

        3、使用关键变量(如星级、注册时长等)对样本总体分群,查看各细分群体在多选题总分上的差异,深入分析;
               或利用总分对样本进行分组,重点分析高低分组在其他变量上的表现。

相关话题:调查问卷 源地址:http://ued.taobao.com/blog/2011/06/29/mult_choice_analysis2/

相关 [问卷 分析 方法] 推荐:

调研问卷中多选题的分析方法探讨(3)

- ZX - Taobao UED Team
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(1)

- 朱穆穆 - Taobao UED Team
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(3)

- 风中彷徨 - 所有文章 - UCD大社区
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(2)

- 小熊维尼 - 所有文章 - UCD大社区
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

问卷调查方法使用小结

- - 盒子UI
问卷调查(questionnaire)是用户研究或市场研究中非常常用的一种方法,这种方法可在短期内收集大量回复,而且借助网络传播调研成本也比较低,所以得到广泛的使用,但是似乎有些人认为问卷调查就是设计若干问题然后发给用户填写就行了,但其实越是简单的调查方法越是有需要注意的地方,这样才能真正发挥该方法的优势,下面就结合自己近期的项目实践对这种方法进行总结,意在总结流程,所以具体的题目此处不做呈现.

日志分析方法概述

- jin - 搜索研发部官方博客
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

Rails3中的性能分析方法

- - Taobao QA Team
(转帖请注明出处: http://qa.taobao.com/?p=15025). 性能分析是Web应用开发中非常重要的一个环节,相比访问缓慢的站点,访问快速的站点拥有更好的用户体验,帮助用户节省更多时间,带来更多的用户访问. 作为当前十分流行的Web框架, rubyonrails当然也提供很多方式进行性能分析.

日志分析方法概述

- - CSDN博客云计算推荐文章
最近几年日志分析这方面的人才需求越来越多,主要伴随数据挖掘的快速发展而迅速增长的. 碰巧又在工作中又接触到一些日志记录方面的工作,就顺便了解一下日志系统的整个流程. 下面这篇文章转自百度同学的一篇文章,针对大规模日志分析,联系到hadoop,hive的解决方案,阐述的比较全面. 另外就是阿里已经开发出类似的系统odps—通过sql语言进行数据的分析处理,详情见:http://102.alibaba.com/competition/addDiscovery/faq.htm.

百度搜索研发部:日志分析方法概述

- wuwu - 标点符
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

举例分析roguelike游戏的弊病及解决方法

- Dexter.Yy - GamerBoom.com 游戏邦
作者:Keith Burgun. 在我之前发表的文章《The Cautionary Tale Of 100 Rogues》中,我描述了设计、开发和营销2010年iOS游戏《100 Rogues》背后的整个过程. 我和我的团队Dinofarm Games已经开始制作新游戏了. 但是从表面上来看,新游戏与《100 Rogues》有诸多相似之处.