调研问卷中多选题的分析方法探讨(3)

标签: 问卷 分析 方法 | 发表时间:2011-07-29 14:27 | 作者:渡劫 风中彷徨
出处:http://ucdchina.com/rss/all

引子

       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息。其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论。

       前两篇文章分别谈到调研问卷中带有分类性质的多选题、带有求和性质的多选题如何进行分析,本文将侧重说一下带有递进逻辑的多选题如何进行深入分析。 

 

带有递进逻辑的多选题

       问卷调研中,常会通过多选题考察用户在某个方面不同层次的情况,如对某个卖家产品各功能的使用情况(经常使用的功能)、使用的满意情况(满意的功能)、需要改进的情况(亟需改进的功能)等,题目与题目之间是同一个问题的不同层次,存在递进的逻辑关系,即使用频率高低与是否满意、是否亟需等,三者之间分别存在逻辑关系。

       此时,这种存在递进逻辑的多选题,可以首先考察不同题目相同选项之间的相关性;其次,能够衍生出新的题目,进行深入分析,挖掘表面背后的原因。

       其实,这种带有递进逻辑的多选题,可以采用量表的形式进行考察,而量表题涉及到N级量表,相当于每个项目(选项)都是一个题目,具有递进逻辑的项目之间,进行相关分析、衍生变量分析,更能深入挖掘用户在某一方面的综合情况。只是为了节约用户的填答成本,常用多选题代替。

       另外,衍生出的新题目,也是可以通过直接询问的方式获得的,但通常题目带有递进逻辑时,需要用户深入全面思考,耗费的精力较大,也容易造成理解上的偏差,给研究结论带来较大的非抽样误差。因此,通过多个简单的题目,计算出带有递进逻辑的结果,更易行更有效。

       带有递进逻辑的多选题一般具备以下几个特征:

       1、题目与题目之间的递进逻辑存在分析价值,如对某个卖家产品各功能的考察中,卖家对产品功能是否满意与是否亟需改进之间的递进关系,对于产品改进的方向、改进的优先级等有较大的参考价值。如果是满意但亟需改进,表明该功能可能需要创新;若不满意但没有亟需改进,则说明该功能的改进优先级可以适当靠后。

       2、相关题目之间的选项相同,选项若不对应,或部分对应,会造成递进逻辑关系不紧密,容易引起结果出现偏差。
       会有特殊情况,如某产品经常使用的功能选项,除主要功能外,还有一个互斥的选项“不常用以上功能”;亟需改进的功能选项,除主要功能外,也有一个互斥的选项“均不需要改进”。这类情况中,题目多出来的互斥选项只是为了解决题目设置为必选时,满足某种特殊情况,主要功能仍然是一一对应的,不对应的互斥选项,后续不进入递进关系的分析。

       3、相关题目的选项尽可能覆盖全面,选项尽量能够覆盖考察的主要细节点,以免用户过多地选择“其他”选项,削弱了分析递进关系的可能性。

       4、相关题目的选项个数最好超过3个,如果选项只有3个或更少,将多选题改为量表题,用户的填答成本不太大,获得的信息会更多,后续利用递进关系进行分析时,可以更加深入。

       5、相关题目设置限选时需考虑递进逻辑,若同时限选,限选的个数最好相同;由于递进关系通常是由弱到强,有时可以设置递进关系较弱的题目不限选,较强的题目限选,如满意的功能不限选,亟需改进的功能限选,可以分析递进关系中的强度。但如果递进关系较弱的题目限选,而递进关系较强的题目不限选,则容易造成解读上的偏差,带来不必要的麻烦。

       6、数据为0/1格式,即每个选项一个变量,选中为1,未选中为0,多选题转换成此种格式,宜于做深入分析。

       当调研问卷中设置了带有递进逻辑的多选题,就可以采用下文介绍的方法进行深入分析。

       本文中的例子,采用年初时自主发起的《卖家旺铺选择研究》,研究中涉及两套递进关系的题目:
       您目前已经在用的旺铺功能有哪些?(可多选)
       您目前最需要的旺铺功能有哪些?(可多选,最多9项)
       您目前使用旺铺主要解决了哪些问题?(可多选)
       您最希望通过旺铺帮您解决哪些问题?(可多选,最多6项) 

 

 相关分析

       本文的案例主要研究旺铺,根据版本分析更有价值。以使用拓展版旺铺的用户为例,分别计算已经在用的功能和最需要的功能,再对每一个功能在用的和最需要的变量做相关分析,能够得到如下结论(详见下图,数字略):

       1、已经在用的高比例,同时最需要的也是高比例的功能,对于拓展版旺铺而言,是需要维持的功能。

       2、需要维持的功能中,个性化店招、数据分析工具、宝贝30天销售量累积显示、自定义页面布局等功能,在用的与最需要的之间存在显著相关(图中已星号标注,*代表显著相关,**代表非常显著相关),从一个侧面表明,已经在用的用户尤为需要这些功能;而其中没有显著相关的功能,则不能得出这样的结论。

       3、已经在用的比例不高,而最需要的比例较高的功能,对于拓展版旺铺而言,是需要加强的功能。

       4、需要加强的功能中,营销工具组合、不限类型的旺铺装修模板等功能,在用的与最需要的之间存在显著相关,从一个侧面表明,已经在用的用户对这两个功能的期望较高,也特别需要这两个功能。

       5、另外,从具体数据上可以看出,虽然拓展版用户已经在用高级发货、进销存管理、客户关系管理等功能的比例不高,但最需要这三个功能的比例远超过在用的比例,表明部分拓展版用户对这三个功能的需求很旺盛。而这三个功能是旗舰版的功能,反映了这部分用户应该选择更高版本的旺铺。

       注:虽然高级版本的旺铺中包含一些特有的功能,但这些功能附属的工具可以单独购买,所以,会出现使用低版本旺铺的用户,已经在用某些高版本的功能。情况相对复杂,分析时需要注意,下文雷同,不再赘述。

 

衍生变量分析

       以使用扶植版旺铺的用户为例,因为“目前使用旺铺解决了的问题”与“最希望通过旺铺帮助解决的问题”存在递进逻辑关系,可以衍生出两个比较关键的变量,即已经解决了且希望解决的问题、尚未解决但希望解决的问题。

       有了这两个变量,可以更加深入地分析,希望解决的问题具体情况是怎样的,最终分析结论如下(详见下图,数字略):

       1、提升店铺的流量、增加店铺的可信度、增加店铺的专业程度等,是使用扶植版旺铺的用户非常关注的问题,不论目前是否解决,都非常希望通过旺铺解决,表明这三方面是需要维持的利益点,也是宣传扶植版旺铺的重点。

       2、装修更便利、店铺更美观等,是目前解决了,但仍希望通过旺铺解决的问题,表明这部分使用扶植版旺铺的用户,对装修的便利性、装修效果等更重视,希望能做到更好,可以对他们做相应的培训,或直接向他们推荐装修更灵活、呈现更多样的高版本旺铺。(之所以得到这样的结论,主要是因为最希望通过旺铺解决的问题是多选限选,可以根据以往研究经验,假设需求强度不大,已经解决了,就不会再选了。

       3、提升宝贝的转化率/成交量、增加宝贝的点击率、增加买家在店铺的停留时长等,是目前尚未解决,但希望能够通过旺铺解决的问题,表明这部分扶植版旺铺的用户比较直接、实际,非常看重流量和销量,可以对他们做相应的指导,也可推荐引流量的工具或服务。

 

利用衍生变量深入分析

        本研究中在询问功能和解决的问题时,将多个版本的内容融合在一起,后续分析时,可以分析出目前使用某个版本的用户,目前是否适合当前版本,如果不适合,如何引导他们使用更适合的版本;如果适合,是否已经用得足够好,用得不好,如何帮助他们。这些疑问,可以利用衍生变量进行深入分析,从而得到答案。

        以使用标准版旺铺的用户为例,首先要明确四个前提步骤:

        Step1、由于功能和解决的问题是多个版本融合在一起,需要分清哪些功能是当前版本的,哪些是更高版本才有的,旺铺的高版本兼具低版本的功能。

        Step2、分析中需要结合旺铺版本,衍生出一个变量,叫做“更适合的功能点”,即目前未使用,但最需要的功能,且这个功能又是更高版本的旺铺功能
        还需要衍生出另一个变量,叫做“未用好的功能点”,即目前未使用,但最需要的功能,且这个功能是当前版本具备的旺铺功能

        Step3、以往的定性调研表明,一个使用低版本旺铺的用户之所以选择更高版本,往往是看上了高版本的其中一个功能,如宝贝30天销量累积显示。
        本例在判断部分使用当前版本的用户,实际上适合更高版本旺铺时,采用了保守的方式,找出前提2中排名前三位的“更适合的功能点”,取平均值,把它当做更适合高版本旺铺的当前版本用户的比例。主要基于假设,这些功能对他们相当重要,理想状态下,后续他们会因为这些功能转用高版本旺铺。
        同样,适合但未用好当前版本的用户,也采用了类似的方式计算比例,此不赘述。

        Step4、若判定部分当前版本用户适合更高版本旺铺,还需要有促使他们转换的利益点,这些利益点也可以由衍生变量得到,即目前使用旺铺未解决但最希望通过旺铺解决的问题。

        最终可以得出标准版旺铺的用户,更适合高版本的比例,以及更适合他们的功能点是什么,促使他们转换的利益点是什么。从而指导后续工作,促使这部分用户成功转换到高版本旺铺。

        也可以找出适合当前版本但未用好的比例,摸清哪些功能点他们没有用好,能够更有针对性地培训,使其充分发挥旺铺的功能。 

 

小结

        综上所述,带有递进逻辑的多选题,分析的流程如下:

        1、确定在设计问卷时,是否包含递进逻辑的多选题,并确保题目的递进关系存在解读价值、应用价值;

        2、根据题目的特点,衍生出新的变量;

        3、根据衍生变量的统计量,深入分析样本的相关情况;

        4、可以根据其他关键变量(如旺铺版本、星级等)对衍生变量做进一步分析,从而得出更深入的研究结论。 

相关话题:调查问卷 源地址:http://ued.taobao.com/blog/2011/07/12/mult_choice_analysis3/

相关 [问卷 分析 方法] 推荐:

调研问卷中多选题的分析方法探讨(3)

- ZX - Taobao UED Team
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(1)

- 朱穆穆 - Taobao UED Team
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(3)

- 风中彷徨 - 所有文章 - UCD大社区
       使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

调研问卷中多选题的分析方法探讨(2)

- 小熊维尼 - 所有文章 - UCD大社区
        使用调研问卷的定量研究中,为了更全面地了解研究内容、更广泛地收集信息,经常会用到多选题,但由于多选题多指向性的特点,除了频数表和交叉表(只能与单选题做交叉),较少用到其他的分析方法,损失了很多有用的信息. 其实,如果调研时能善用多选题,并在分析时选取适当的方法,就能够充分利用多选题包含的信息,得到更有价值的结论.

问卷调查方法使用小结

- - 盒子UI
问卷调查(questionnaire)是用户研究或市场研究中非常常用的一种方法,这种方法可在短期内收集大量回复,而且借助网络传播调研成本也比较低,所以得到广泛的使用,但是似乎有些人认为问卷调查就是设计若干问题然后发给用户填写就行了,但其实越是简单的调查方法越是有需要注意的地方,这样才能真正发挥该方法的优势,下面就结合自己近期的项目实践对这种方法进行总结,意在总结流程,所以具体的题目此处不做呈现.

日志分析方法概述

- jin - 搜索研发部官方博客
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

Rails3中的性能分析方法

- - Taobao QA Team
(转帖请注明出处: http://qa.taobao.com/?p=15025). 性能分析是Web应用开发中非常重要的一个环节,相比访问缓慢的站点,访问快速的站点拥有更好的用户体验,帮助用户节省更多时间,带来更多的用户访问. 作为当前十分流行的Web框架, rubyonrails当然也提供很多方式进行性能分析.

日志分析方法概述

- - CSDN博客云计算推荐文章
最近几年日志分析这方面的人才需求越来越多,主要伴随数据挖掘的快速发展而迅速增长的. 碰巧又在工作中又接触到一些日志记录方面的工作,就顺便了解一下日志系统的整个流程. 下面这篇文章转自百度同学的一篇文章,针对大规模日志分析,联系到hadoop,hive的解决方案,阐述的比较全面. 另外就是阿里已经开发出类似的系统odps—通过sql语言进行数据的分析处理,详情见:http://102.alibaba.com/competition/addDiscovery/faq.htm.

百度搜索研发部:日志分析方法概述

- wuwu - 标点符
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等. 日志的内容、规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志. 其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志.

举例分析roguelike游戏的弊病及解决方法

- Dexter.Yy - GamerBoom.com 游戏邦
作者:Keith Burgun. 在我之前发表的文章《The Cautionary Tale Of 100 Rogues》中,我描述了设计、开发和营销2010年iOS游戏《100 Rogues》背后的整个过程. 我和我的团队Dinofarm Games已经开始制作新游戏了. 但是从表面上来看,新游戏与《100 Rogues》有诸多相似之处.