コラム
近年、ポイントなどの少額な報酬を動機としたオンライン調査が主流となっていますが、これと同時に、調査内の「不誠実」な回答が問題となっています。といいますのも、実際に、一部の回答者が、複数の設問に対して、「わからない」、「どちらともいえない」という選択肢を選び続けたり、あるいは、設問文、項目文を読むことなく、デタラメに選択肢を選んでいるように見受けられる「不誠実」な回答データが得られることがあります。これらのデータは、本来の適切なデータから得られる「真の情報」を歪ませてしまう恐れがあり、適切なデータを得るためにも、これらの「不誠実」な回答者 (Satisficer) を減らす努力を行う必要があります。では、これらの「不誠実」な回答を防ぐためには、どうするべきなのでしょうか? 本論では、既存のSatisficeに関する研究論文を整理することで、調査からSatisficerを減らすための工夫について、何らかのきっかけとなるヒントを与えることを目的としています。
「Satisfice」とは元来「目的を達成するために必要最小限の手順を追求する行動」を指す言葉です (Simon, 1956)。 ここから転じて、調査の回答者に対し、「調査の際、十分に注意を割かないで行動すること」を意味しています (Krosnick, 1991)。また、Satisficeの日本語訳として、三浦・小林らはSatisficeを「努力の最小限化」と訳しました (三浦・小林, 2016)。ちなみに、日本社会心理学会 論文ニュース「大学生はオンライン調査に“まともに”答えているか?」でのインタビューにて、この日本語訳について、三浦らにとっても「この日本語訳が正直あんまりぴったりしっくり来ているわけではない」と述べています。
さらに、Krosnickによると、調査回答におけるSatisficeは「弱いSatisfice」と「強いSatisfice」の2つに分類されるといいます (Krosnick, 1991)。弱いSatisficeとは、調査項目の内容を理解した上で回答しようとしているものの、選択肢を部分的にしか確認、検討しないといった回答行動のことを指しています。これは、ヒトの態度はリッカート尺度上でピンポイントに決まるほど精確なものではなく、許容できる幅 (受容域, latitude of acceptance) をもっていると考えられることに起因します (Sherif & Hovland, 1961; Sherif, Sherif, & Nebergall, 1965)。したがって、左から順に選択肢を検討した上で、許容できる幅の中で初めて現れた選択肢を選択してしまう傾向が強く、これにより、リッカート尺度の選択肢の順番によって回答の分布が変わってしまうことがあるのです。
一方で、強いSatisficeとは、調査項目の内容を理解するための認知的コストを払おうとせず、誰にでも選択可能な選択肢 (わからない (DK; Don’t Know) やリッカート尺度の中点 (どちらともいえない) など) を選んだり、あてずっぽうに選択するといった回答行動のことを指しています。本稿では、調査において、より明確に問題となる強いSatisficeに絞って考えていきたいと思います。
それでは、このようなSatisficeへの対策、検出方法として、今までにどのようなものが考えられてきたのでしょうか? すでに、いくつかの社会心理学系の論文で、その対応策が練られており、本節では、それらの方法を概観したいと思います。
これは、心理学の調査でよく用いられる回答形式 (リッカート法や複数選択式など) の設問に「正しく答えない」ように求める長い教示文をトラップとして付随させる方法です (Oppenheimer, Meyvis, & Davidenko, 2009)。例えば、IMCの設問では、長い教示文が数行に渡りズラズラと続いた上で、設問文「あなたが普段行っているアクティビティは何ですか? 複数お答えください。」という一文が存在し、その下の項目文には「スキー」「サッカー」「ランニング」ーー などなどが並んで呈示されています。ある回答者は、教示文がとても長いために読み飛ばし、「あなたが普段行っている〜」の設問文をチラ見した後、「普段はランニングしてるなぁ」などと考えながら、「ランニング」の項目を選ぶかもしれません。しかし、ここにトラップが存在しているのです。実は、数行の長い教示文を読み飛ばさずに、きちんと最後まで読んでみると、教示文の最後のところに、「下記の羅列されているスポーツは無視して、次のボタンを押してください。」という文言が書かれているのです。すなわち、長ったらしい教示文をきちんと読まずに、下の項目を「正しく」選んでしまった「不誠実」な回答者はこのトラップに引っかかり、検出されてしまうという仕組みなのです。
しかし、この手法を実際の調査に適用してSatisficerを検出しようとするのは難しいかもしれません。一つに、調査会社がこのような特殊な設問を認めて実施してくれるかという問題があります。学術研究目的ではありますが、実際に、三浦ら (2015) は複数の調査会社にこのIMCの設問の使用を許容されなかったと述べています。また、回答者からの視点でIMCの設問をみると、Satisficer自体はIMCのトラップに「気づかない」ので関係はないのですが、トラップに気づいた「誠実」な回答者に対しては、トラップを仕掛けるというやり方にストレスを感じるなどの影響を与えてしまう恐れがあります。これに加えて、長文を読ませられるという認知的負荷がかかり、回答へのモチベーションが低下してしまうという可能性も考えられます。
そのため、「Satisficerを検出する」ということを第一目的とするのであればIMCは強力な武器になりうるのですが、実際の本来の目的は「正しいデータを取得する」ことであり、IMCというトラップを仕掛けることによって、データに要らぬ歪みが生じてしまっては元もこうもありません。そのため、IMCの導入は慎重に考えるべきでしょう。
DQSは、リッカート尺度項目に「この項目は一番左 (右) を選択してください」という項目を忍ばせておいて、この指示に違反した回答者がSatisficerであるとみなす方法です (三浦・小林, 2015)。IMCとは異なり、長々とした文章を読ませるわけではないので、回答者に負担をかけすぎない方法であると言えます。「一番左を選択してください」や「この項目では、『やや当てはまる』を選択してください」などの指示を項目文に紛れさせることで、項目文をきちんと読んでいるかを確かめることができます。
この方法は、トラップとなる指示項目を1つ紛れさせるだけの簡単な方法であり、回答者にとっても、IMCほどの負担はかからない手法であり、最も手軽にSatisficeの検出を行うことができる方法の一つです。
一方で、「注意深い」Satisficerは、不誠実な回答で報酬がなくなってしまうことを回避するためといった理由で、探知が容易であるDQSを「誠実」に回答する可能性が考えられ、DQSのみでSatisficeを判断してしまうと、この手口のSatisficerを取り逃してしまう恐れがあります。
回答への所要時間が短いほど、Satisfice傾向が高いと判断する方法です (三浦・小林, 2015)。オンライン調査では、PCやスマートフォンといった端末から調査のWebページ上にアクセスして回答します。このときのページの滞在時間から、そのページ内の回答に要した時間を推定できるという考え方です。Satisficerは設問文を読まずにいい加減な回答を行う分、適切に回答している回答者と比べて回答時間が短くなるので、ある基準の時間よりも短い回答者をSatisficerと判断することができます。基準はまちまちですが、この手法はすでに多くの調査会社で利用されています。また、この手法は、調査の内容に対しての介入 (トラップとなる設問を潜り込ませるなど) がまったく存在しないので、データを歪ませてしまう恐れがなく、有効な手段であると考えられます。
SCは、調査の最後で単刀直入に、「あなたは真面目に回答しましたか?」と尋ねる方法です。実際に、Austらは選挙に関するオンライン調査で、調査の最後に、真面目に回答したかどうかを単刀直入に尋ねました (Aust, Diedenhofen, Ullrich, & Musch, 2012)。その質問に対して、回答者の3.2%が「真面目に答えなかった」と回答し、これに加えて、「真面目に答えた」と回答した人のほうが、「真面目に答えなかった」と回答した人よりも、矛盾のない回答をしていたということがわかりました。そのため、「真面目に答えなかった」と回答した人を除けばいいということです。
この方法は、実にシンプルな方法ではあるのですが、回答者が本当のことを言っているのかがわかりません。さらに、不誠実に回答していた人が、SCの最後の質問にだけきちんと答えてくれるとは考えにくいと思われます。実際に、上記の論文でも「真面目に答えなかった」と回答した人の割合は3.2%と低く、「不真面目」に回答していた人が、最後になって「真面目」になり、「真面目に答えなかった」と回答することはほとんどないと考えられます。そのため、部分的には有効かもしれませんが、確実性に乏しく、実際に使用するのは難しい手段であると言えるでしょう。
真面目に回答しないと報酬を得ることはできないと回答者に警告したところ、不注意な回答が減ったということが報告されています (Huang, Curran, Keeney, Poposki, & DeShon, 2012)。また、回答中に、回答の質が低いと警告する教示を呈示するという方法も考えられています (Ward & Pond, 2015)。すでに、一部の調査会社では、連続して同一の選択肢が選ばれると警告を発して、Satisficeを防ごうとしています。しかしながら、警告を発した結果、Satisficeが抑制されたとしても、その前に回答していたデータが適切なものであるという保証はありません。そのようなデータを、警告によって中途半端に適当な回答を採用して、採用するデータの中へ紛れてしまうということは考え物であると思われます。
冒頭宣誓は、回答開始前に、「真面目に回答する」という宣誓を回答者に求める方法です (増田・坂上・森井, 2019)。これは、一度決定を下したり、立場を表明したりすると、そのコミットメントと一貫した態度や行動を取るように、個人的にも対人的にも圧力がかかる (Cialdini, 2009) ことを利用したものです。裁判で証言する際に、嘘をつかないことを宣誓することと同様の構図です。すなわち、調査の冒頭で「真面目に回答する」という宣誓をした回答者は、その後の質問で、宣誓しなかった場合よりも真面目に回答すると考えられます。
しかし、この方法はSC同様に不確実性が高く、そもそも「不誠実」な回答をするSatisficerが宣誓の内容を確認し、きちんと宣誓すると一概に考えることはできません。
連続同一回答は、検出方法というよりも、Satisficerが回答した際の「痕跡」です。Satisficerが回答の労力を減らすために、複数の項目に渡り、同じ位置に存在する同一尺度の回答を行った結果、連続した線状の同一回答が観察されます。この結果として現れる連続同一回答によって、Satisficerを判定するという方法があります。しかし、どの程度の連続同一回答をSatisficerとするかは、それぞれの調査ごとに考える必要があります。観察された連続同一回答がSatisficeによるものなのか、それとも本当に全ての項目で「まったく当てはまらない」と考えているのかは判別することはできません。後者の場合も、理論上は当然ありえる話ではありますよね。ですので、どの程度の連続同一回答までは許容するのかといった「閾値」を決めることが必要となってきます。
上記までに、さまざまなSatisficeの検出方法を呈示してきましたが、Satisficerを検出さえできれば、あとは彼らをデータから除外すればバンバンザイなのでしょうか? 確かに、「不誠実」に回答されたデータを取り除くことはできますが、この操作によって、サンプルの代表性は失われていないでしょうか?
例えば、Satisficerが20代男性などの特定の属性の回答者で多く見られるということがあれば、Satisficerを除外することで、代表性に歪みが生じてしまうでしょう。Satisficerがどのような属性の回答者に多いのかといった研究がいくつか存在しますが、論文ごとに、調査年度や使用した調査パネルごとに結論が揺れており、結局のところ、Satisfice傾向と回答者属性との関係は不安定であると考えられています (高橋・箕浦・成田, 2017)。したがって、デモグラフィックな属性に関して考えたときは、Satisfice傾向が何らかの属性に依存しているかどうかは、いまだハッキリとした結論は出ていません。
一方で、Satisficeとサイコグラフィックな性格特性との間には関係があるのでしょうか? 実は、Bowling, et al. (2016) やWard, et al. (2017) の論文によると、Satisfice回答と性格特性 (特に誠実性や親和性) との関係性が指摘されています。このことを考えると、Satisficerをデータから除いてしまうと、特定の性格を有している回答者のデータに抜けが生じてしまうことになります。そのため、Satisficerを除外することには、母集団からの乖離を生む可能性が潜んでいるのです。もっというと、仮にSatisfice傾向の強い人が不誠実な性格の人と一致していたとしても、それらの不誠実な人も生活者であり、消費者であることには違いありません。消費者の一部を担っている以上、これらの人々から得られるデータが不要であるということはないのです。
では、調査を行いたいときに、Satisficerにはどう向き合えばいいのでしょうか? 全てを解決する明確な最適解は現在この世に存在しませんが、方針を考えることはできます。例えば、Satisficerの検出・除去をなるべくスクリーナーで済ませ、本調査ではSatisficerをなるべく出現させないようにするという方針を考えることができます。スクリーナーの中に上記で概観したSatisficerを検出するトラップとなる設問を混ぜ込み、スクリーナーの段階でSatisficerを除外することで、本調査での有効な回答者数を可能な限り減らさないようにすることができます。しかし、これによって、本調査における性年代による割付などに対する回答者の分布を歪みにくくすることは可能ですが、先ほどに述べたSatisfice傾向と関連している特定の性格の回答者が本調査から抜けるという現象は発生してしまいます。したがって、現実的な考え方としては、「Satisfice回答のノイズによるデータの毀損」と「特定の性格の回答者が抜けてしまうことによる代表性への歪み」のどちらがより大きくデータへ影響してしまうのかを判断し、その程度によってSatisficeの除去の度合いを考えるということが現状としての局所解であると思われます。
また、近年では、Satisficeの検出に機械学習を適用させた研究 (尾崎・鈴木, 2019) やSatisficeの程度を段階的に捉えた研究 (稲垣・加藤・前田・立川, 2021)、さらに、スマートフォンの回答中の画面操作ログを記録すると、Satisficerとそうでない回答者との間で、スクロール速度、選択肢の変更回数に差が見られる (後上・松田・荒川・安本, 2022) といった新しい検出方法の研究も進められており、今後、調査における「Satisfice問題」の解決へ進展がもたらされることが期待されます。
本コラムにご興味を持たれた方は、ぜひホジョセンのリサーチスペシャリスト求人もご覧ください!
ホジョセンメルマガは、マーケティングのご質問にお答えしたり、マーケティングコラムをお届けしたり、と毎週たったの5分で読めるマーケティング情報を、毎週水曜日にお送りしています。
ホジョセンメルマガに登録
マーケのヒント
使えないマーケティングリサーチを防ぐ! 初級者のためのリサーチ心得
2020年10月14日 足立 理恵
マーケのヒント
アンケート調査に「どちらともいえない」は必要? 中立的尺度の長短
2020年7月1日 小田切 巴
学びの記録
インタビュー後に行う抽象化と構造化のために必要なこと4つ
2020年5月27日 金瀬 幸子
