データの質を悪化させるアンケート「長過ぎる・繰り返ししすぎる」

長いアンケートに回答している時、質問の後半の回答に要する時間は、最初の方の質問に要する時間より短くなり、データの内容が悪くなるそうです。

Surveys that ask too many of the same type of question tire respondents and return unreliable data,

参照元：https://news.ucr.edu/articles/2022/01/28/surveys-repetitive-questions-yield-bad-data-study-finds
– カリフォルニア大学リバーサイド校 University of California – Riverside. January 28, 2022 –

カリフォルニア大学リバーサイド校が主導した新しい研究によると、同じような質問が多すぎる調査は回答者を疲れさせ、信頼性の低いデータを返してしまうということです。

この研究では、人々はわずかな違いのある質問で疲れ、調査が進むにつれてすべての質問に対して同じような答えをする傾向があることがわかりました。

消費者や有権者の行動を予測するために長時間の調査を行うマーケティング担当者、政策立案者、研究者は、信頼できる独自の回答を引き出すように設計された調査を行えば、より正確なデータを得られるだろうと、研究者は示唆しています。

カリフォルニア大学リバーサイド校の経営学助教授であるYe Li氏は話します。

「我々は、調査においてより多くのデータを集めることが常に良いのか、それとも質問数が多すぎると、回答者が調査に適応する際にあまり役に立たない回答をしてしまうのかを知りたかったのです。これは逆説的ですが、質問を多くしても、より悪い結果を得ることにつながるのではないでしょうか？」

データが多ければ多いほど良いと思いがちですが、著者らは、回答者が一連の質問に回答する際の意思決定プロセスが変化するのではないか、特にその質問が類似した反復的な形式をとっている場合、そのようなことがないかと考えています。

この研究では、市場調査、経済学、公共政策の研究などで一般的に使用されている、人々の特定の事柄に対する価値観を理解しようとする定量的な調査を取り上げました。

これらの調査では、多くの場合、構造的に類似した質問がなされます。

研究者たちは、選択と嗜好を含む質問に回答するよう回答者に求めた4つの実験を分析した。

調査対象者は、繰り返し行われる類似構造の選択肢の質問に答えるにつれて、意思決定に適応していきました。

このプロセスを著者らは「適応」と呼んでいます。

つまり、より少ない情報を処理したり、特定の属性をより重視することを学んだり、属性を組み合わせるための精神的なショートカットを採用したりしたのです。

ある研究では、回答者は様々な構成のノートパソコンに対する好みについて質問されました。

これは、例えばマーケティング担当者が、顧客がストレージ容量を増やす代わりに画面サイズを少し犠牲にしてもよいかどうかを判断するために用いるような質問でした。

Li氏は話します。

「わずかな違いしかないノートパソコンの構成について何度も質問をされると、最初の2、3回は注意深く見るのですが、その後は、バッテリーの持続時間など、1つの属性だけを見るようになるかもしれません。私たちはショートカットを使っています。あまりに多くの情報を求めると、ショートカットを使うことで得られる情報が少なくなってしまうのです。」

人間は環境に適応することが知られていますが、嗜好を測定するための行動研究のほとんどの手法では、この事実が十分に認識されていません。

Li氏は話します。

「わずか6～8問の質問で、人々はすでに現実の行動を予測しようとする場合、より悪い方向に進むような答え方をしているのです。このような調査では、同じような質問を何度も繰り返すと、同じような答えをするようになるのです。」

この調査結果は、データの有効性を高めると同時に、時間と費用を節約するためのいくつかの方法を示唆しています。

プロセストレーシングは、観測の量だけでなく質も追跡する研究手法であり、適応の診断に使用することで、適応が妥当性を脅かす時期を特定するのに役立ちます。

また、課題の形式を繰り返し変更したり、穴埋め問題や休憩を追加したりすることで、適応を減らしたり遅らせたりすることも可能です。

最後に、この研究は、嗜好測定調査の妥当性を最大化するために、研究者は、できれば複数の測定手段、例えば、異なる時間に利用可能な選択肢から選ぶ質問、マッチング質問、様々な文脈を利用したアンサンブル手法を用いることができると示唆しています。

Li氏は続けます。

「トレードオフは必ずしも明らかではありません。データが多ければ良いというものでもない。トレードオフを意識してください。現実の世界を予測することが目的であれば、それは重要なことなのです。」