三招揪出问卷中的李鬼

wangming

作者：舍得 男，1982年出生，毕业于湖南大学统计专业，致力于商业数据分析与挖掘，力求通过深入的数据分析，指导营销管理。用数据说话，说真话，说实话！博文地址：http://blog.sina.com.cn/dataway

夜深人静，你却烦躁不安。一头是调研报告的最后期限，一头是调查数据的百思不解。因子、回归、聚类、判别都使用过了，神经网络、关联规则和决策树也尝试好多次了，可面前的这堆数据还是无法解释。你打一个哈欠，将烟头狠狠地拧在烟灰缸上，然后起身冲下了今晚的最后一杯咖啡。你知道这一杯下去，天就要亮了。接下来的白天，你要先忍受老板的臭骂，再接受客户的罚款。想到这里，你可能再也忍不住了，大声地爆出两句粗口。骂那个狗日的督导不称职，骂那些兔崽子访问员又造假。

如果能在问卷整理的时候就及时发现问题，那么你就不会在deadline的前夜被劣质的数据折磨的如此狼狈不堪。现在，我分享一下数据抓鬼的三班斧，一来能帮你审核数据、辨识真假，使得从统计秘籍上学来的分析招数能有用武之地；二来也能间接自律一下前线的调研，顺便整治一下市调行业的不良之风。

第一招：设置同质题目，一个问题，多处提问。

同质题目是指一个问题在问卷中设置两种问法，对一个受访者访问两次，只要这两个答案不一致，哈哈虚假数据！比如：年龄和身份证号码一起问，小孩的年龄与年级一起问。还有就是利用态度量表，设计正反问法。举例如下：在一份测度啤酒消费习惯的态度量表中，问题 1和问题5是一对同质问题，只是1是正向询问，5是反向询问。

当某个案，问题1与问题5的选项之和超出【4，6】的范围，我们可以判定是虚假个案。比如：问题1选1，问题5选2，两者相加得分为3；问题1选3，问题5选4，两者相加得分为7。3分和7分都超出了所能容忍的范围，判处该个案死刑。

第二招：测度选项比例，判定虚假。

一般来说，通过分析每一份个案中同一选项的比例，可以发现虚假数据。比如，在某个30道题目的调查问卷中，某选项的比例超过70%，比如70%的选项全是C，则可将该份问卷判定为虚假问卷。同理，通过计算某个访问员所有调查问卷中选项的比例，如果某一项的比例超过阀值，则可以认定该访问员造假。那么不要手软，坚决对该访问员判死刑。

第三招：测度总分分布，衡量整体质量。

这里重点介绍如何通过测度数据的分布，来判定调查问卷数据的可靠性。以满意度调查为例。在对数据量表量化之后，可以计算出每个个案所有量表的总分。比如，一共有30题，每题的得分范围为1-10分。那么总分的理论取值范围就是30-300。如果我们一共收集了500份问卷，那么就应该有500个总得分。理论上讲，一项服务的满意度应该服从正态分布。因为大多数被访者的评价应该差不多，高分和低分的评价应该比较少。当然，这只是经验判断。那么现在我们来看，调查结果的总得分分布，如果接近正态分布，则可以说明该调查数据是可信的。如果数据远远偏离正态分布，则认为该数据存在比较严重的质量问题。这样任何分析都是没有意义的，应该对本次调查判死刑。

招外招：记录填写时间，越短越可疑。

最后，分享一个招外招。如果你做的是网络调查，那么这一招很管用，堪称绝招。具体做法就是系统自动记录用户的答题时间。如果用户答题所用的时间很短，则认为该用户纯粹是在骗奖品。如果你们的服务器很牛b，牛b到可以记录被访者填写每一道题目的时间耗费，那么纵然李鬼潜伏的再深，也得乖乖束手就擒。

抓鬼三招，一招接一招，招招致命！潜伏再深，招外还有招，乖乖就擒！