在线研究的日益普及主要可以归因于两个词:更快和更便宜。事实上,这些品质如此强大,以至于在线研究现已超越电话研究成为领先的研究方法。然而,对于任何产品或服务而言,更快和更便宜有时会导致质量下降和可靠性降低。为了保护您的研究免受这种威胁,数据质量必须是所有在线研究的重中之重。
虽然测量误差可能发生
在研究过程的任何阶段,但研究人员保护数据完整性的第一个机会是在收集第一个完成的调查之前。在在线调查的设计阶段,研究人员使用许多技术来识别和消除无效的响应数据。这种类型的响应通常可以分为以下三类:
-
注意力不集中——受访者没有完全阅读或理解所提出的说明或问题。
-
欺诈 – 受访者故意提供虚假数据。这种类型的回应最常发生在提供调查奖励但受访者没有资格参与的情况下。
-
超速——受访者在极短的时间内完成调查。
幸运的是,您可以通过在线调查中的陷阱识别出这些类型的受访者。虽然这些方法可能并不适用于每种情况,但最佳做法是结合使用以下控制措施。
基于问题的验证
验证评分在在线调查中越来越受欢迎,在某些形式下非常有效。这种验证方法最有效地捕捉到注意力不集中和速度过快的调查受访者,否则他们可能会直接浏览您的调查问题。样本问卷展示了这种预防措施的一个例子。
通过在表格形式的问题中间添加检查点,研究人员能够验证受访者的注意力,并在必要时删除直线。直线是指受访者在整个调查过程中选择相同的答案选项(可能使用自动填充功能),在表格中形成一条直线。在此示例中,如果受访者没有选择“不同意”答案选项,他们将被视为无效受访者。
当然,还有其他基于问题的验证方法可以代替或与上述示例结合使用:
不一致。只需在调查的开始和结束时询问受访者的邮政编码或居住城市。如果受访者的答案不匹配,那么他们将被归类为欺诈性受访者。
在可能的答案选项列表中,可能会输入不存在的选项。例如,如果受访者声称在一家不存在的餐厅吃过饭,他们可能会被标记为欺诈性受访者。
相反的措辞。在调查的不同阶段,受访者会被问到一对类似的问题。例如,“我总是使用互联网来获取驾车路线”和“我从不使用互联网来获取路线”。
个人访问代码
另一种保护形式是使用每个调查受访者的唯一 ID。每个受访者的唯一 ID 或个人访问代码 (PAC) 可以嵌入到他们的调查 URL 中,并用于确定 a) 受访者是否有权参与调查,以及 b) 受访者是否之前已完成问卷。
个人访问代码可以对调查对象隐藏或可见。
隐藏。当受访者不需要知道正在使用唯一标识符时使用。这消除了调查受访者篡改其代码的可能性,并允许自信地嵌入人口统计信息。
可见。当您想让受访者知道他们正在使用代码访问调查时使用。这给调查受访者一种安全感,同时仍允许嵌入人口统计信息。如果调查受访者更改其 PAC,则可以在进入调查之前对其进行筛选,或者在填写完成后将其从数据集中清除。
使用 PAC 有助于防止选票作弊和重复或未经授权的回应。作为一项额外的好处,这些代码还可用于创建结果的人口统计片段、识别随机选择的获奖者、将信息传回外部抽样合作伙伴以及在填写完成后在适当的情况下追踪受访者。
但必须注意的是,个人访问代码应谨慎使用。在任何情况下,都应保护受访者的匿名性,并必须实施控制措施,以避免受访者的回答数据与研究人员可获得的任何个人身份信息相联系。
时间验证
第三种受访者验证形式是时间验证,用于在市场调查中发现超速者。这些受访者被认定为没有花足够的时间对您的问卷做出有意义的回答。这种方法背后的基本概念是通过检查每个调查受访者完成整个调查或调查的一部分所花费的时间来验证有效的调查回复。调查完成时间的可接受范围可以通过两种方式计算:
根据调查中的项目数量进行有根据的估计。例如,每分钟三个封闭式问题,每分钟一个开放式问题,每分钟六个重复评分表项目。
评估收集样本的平均完成时间。一旦确定了可接受的范围,任何异常值都将被删除并视为无效受访者。例如,如果确定可接受的范围是 10 到 20 分钟,而受访者在两分钟内完成调查,那么他/她提供的数据很可能是无效的。
其他机会
虽然大多数质量控制都可以融入调查工具和数据分析过程,但研究人员还可以利用其他一些机会来帮助确保数据质量:
-
调查抽样。大多数小组供应商在招募阶段会进行多次质量检查,并在小组参与和清理期间持续进行检查。作为研究人员,您应该了解每个供应商使用的流程,并要求供应商制定和使用足够的质量控制程序。
-
调查邀请、介绍和标题。在招募或介绍小组成员参与调查时,请务必避免使用可能让受访者了解您所寻求的资格的语言。例如,如果您的调查邀请表明您“正在寻找过去三个月内购买过软饮料的个人”,那么没有购买软饮料的受访者可能会表示他们符合此标准,因此可以参与。
-
调查长度和内容。研究表明,调查时间越长,受访者注意力不集中和放弃调查的风险就越大。研究人员有责任将问卷限制在适当的长度,避免内容缺陷(即,较长的回答表格、令人困惑的语言等),因为这些缺陷会导致受访者疲劳。
质量数据
这些方法代表了一些行业最佳实践,但绝不是详尽的清单。在研究计划的所有阶段都必须采取措施,以确保所得数据可靠、有效且可操作。在线研究人员有责任确保其客户收到高质量的数据,因为关键的业务决策通常基于这些结果。不断采取这些措施来保护数据质量将提高整个行业对在线调查结果的信心,并为未来更广泛的在线研究铺平道路。