アンケートの不正回答をAIで見つける方法｜手作業の限界と除外基準

アンケートの回答を集計してみると、すべて同じ選択肢を選んでいる回答や、自由記述に意味のない文字が入っている回答が混ざっていた、なんてことありませんか？

このような不正回答やいたずら回答は、数が少なくても全体の平均値や満足度を歪め、分析結果そのものの信頼性を下げてしまいます。一方で、回答数が数百件以上ある場合、1件ずつ目視確認をするのは現実的ではありません。

本コラムでは、不正回答の代表的な5つのパターンをベースに、手作業のチェックに限界がある理由やAIを使い不正回答を見つけ、除外する方法などを解説します。また除外して良い回答やするべきではない回答の判断基準もあわせて紹介します。

アンケートの不正回答とは？代表的な5つのパターン

アンケートの不正回答とは、設問を読まずに回答したり、謝礼目的で重複して回答したりして、回答者の本当の意見を反映していない回答のことです。代表的なものは、直線回答、超短時間回答、重複回答、ボットによる回答、矛盾回答の5つです。

不正回答の多くは、悪意ではなく手抜きから生まれます。このように回答者が労力を省き最低限の回答で済ませようとすることを「サティスファイス（Satisfice）」と呼びます。

パターン	特徴	見分ける指標
直線回答	同じ選択肢を選び続ける	マトリクス設問の回答分散
超短時間回答	短時間で回答が終わる	回答所要時間
重複回答・重複応募	同じ人が複数回答する	メールアドレス、IPアドレス、回答内容の一致
ボットによる回答	機械的な入力が大量に届く	自由記述の不自然さ、送信間隔
矛盾回答	設問間で辻褄が合わない	関連する設問同士の組み合わせ

直線回答（同じ選択肢を選び続ける）

直線回答は、マトリクス設問などですべて同じ選択肢を選ぶ回答を指します。「すべて3を選択」や「すべて1を選択」など、回答画面上で選択肢が直線に並ぶことからこう呼ばれています。サティスファイスの典型的な例であり、設問数が多いアンケートほど起きやすい傾向があります。

超短時間回答

超短時間回答は、設問を読んだとは考えにくいような速さで終わっている回答を指します。例えば30問あるアンケートが1分未満で終わっている場合、内容を明らかに読まずに選択肢を選んでいる可能性があります。

重複回答・重複応募

重複回答は、同じ人が複数回アンケートに回答していることを指します。謝礼や抽選などの特典がある場合、当選確率を上げるために複数のメールアドレスを使い応募するケースがあります。展示会やイベントなどで、紙やタブレットを使い回答を集めている場合も、同様のケースがないか確認が必要です。

あわせて読みたい：[アンケートで抽選キャンペーンを実施する方法｜回答を応募にして参加率を上げる]

▶「smile survey」の展示会・オフライン活用を詳しく見る

ボット・自動入力による回答

ボットによる回答とは、プログラムで自動入力された回答を指します。自由記述に意味不明な文字列や同じ定型文が入っていたり、短い間隔で大量の回答が送信されるケースがあります。Web上で広く公開しているアンケートで起きやすいパターンです。

矛盾回答

矛盾回答とは、関連する設問同士で辻褄が合わない回答を指します。例えば「この商品を購入したことがある」と答えたのに、満足度を「利用したことがない」と回答するケースなどです。1問ずつ確認しても気付くことが難しく、最も見落とされるパターンになります。

不正回答を放置するとどうなる？手作業のチェックに限界がある理由

不正回答を放置すると、回答の平均値や満足度のスコアが歪み、信頼性が下がります。その結果、誤った分析をもとに意思決定をしてしまう恐れもあります。しかし、回答数が増えるほど人の目によるチェックでは見落としやすく、判断のぶれも避けられません。

平均値・満足度スコアが歪み、データの信頼性が下がる

不正回答は、少数でも集計結果を動かします。例えば100件の回答で、満足度の平均が3.5だったとします。そのうち10件が「すべて5」の直線回答だった場合、それを除いた本来の平均は約3.3です。

0.2ポイントの差であっても、前年比で「改善した」か「悪化した」かの判断が逆転することもあります。不正回答を除外することは、分析の前提となるデータの信頼性を守る大事な作業になります。

手作業チェックの3つの限界

不正回答を手作業で見つける場合、次の3つの壁にぶつかります。

1. 件数の壁

回答数が数百件～数千件になる場合、全件を目視で確認することはほぼ不可能です。

2. 基準のぶれ

「回答時間何秒以下を除外するか？」「どこまで矛盾と判断するか」など、担当者ごとに変わるため、同じデータでも整合性が取れなくなります。

3. 矛盾の見落とし

矛盾回答は複数の設問を見比べないと気付くことができません。なお、不正回答を除外すると有効回答数が減るため、回収率の見え方も変わります。有効回答数をもとにした回収率の計算方法は、下記コラムで解説しています。

あわせて読みたい：[アンケートの回収率はどう計算する？「平均何%」を追わない目標設定の立て方]

AIはどうやって不正回答を見つける？

AIは、回答時間や選択パターンといった数値の特徴だけでなく、自由記述の内容や設問間の矛盾まで組み合わせ、不正の疑いがある回答を判定します。人が1件ずつ行っていた確認を、全件に同じ基準で一度に実行できる点が特徴です。

ルールによる判定とAIによる判定の違い

不正回答の検知には、「1分未満は除外」のように条件を決めて機械的に判定する方法と、AIに判定させる方法の2つがあります。それぞれの違いは次のとおりです。

観点	手作業	ルールによる判定	AIによる判定
処理できる件数	数十件程度が現実的	件数に関係なく処理できる	件数に関係なく処理できる
基準の一貫性	担当者によってぶれる	一定	一定
自由記述の判定	可能だが時間がかかる	難しい	意味の通らない文や定型文を判定できる
矛盾回答の検出	見落としやすい	条件を事前に設定した組み合わせのみ	設問内容から矛盾の候補を出せる
最終判断	人間	人間	人間（AIは候補を出す役割）

AIが得意なこと・苦手なこと

AIが得意とするのは、自由記述の不自然さや設問間の矛盾など、人が見落としやすい不正回答の「候補」を大量のデータから抽出することです。

一方で苦手なのは、本当にそう思っている極端な回答と、手抜きの回答を見分けることです。たとえばすべての項目に「不満」と答えた場合、直線回答に見えますが本当に不満と思い選択した顧客の本音の場合もあります。そのため、AIの判定はあくまでも候補とし、最終的な除外は人間によって判断する運用が欠かせません。

smile surveyのAIクレンジング機能で不正回答を除外するには？

smile survey（スマイルサーベイ）のAIクレンジング機能は、集まった回答データをAIが確認し、不正の疑いがある回答を見つけ整理する機能です。分析の下ごしらえをAIに任せることができ、集計・分析の精度と速度を高めます。

▶「smile survey」のAIオプションを詳しく見る

除外していい回答・いけない回答はどう決める？

不正回答の除外基準は、アンケートを実施する前に決めておくことが重要です。集計結果を見てから基準を決めてしまうと、都合の悪い回答を外す「恣意的な除外」になりかねません。AIの判定は候補として扱い、最終的な判断は事前に決めたルールに沿って人間が行います。

事前に決めておきたい除外ルールの例

除外ルールは、パターンごとに「どの条件で除外するか」と「どんなときに残すか」をセットで決めておくと迷いません。次の表は一例です。

パターン	除外の目安	注意点
直線回答	10項目以上のマトリクス設問ですべて同じ選択肢	項目数が少ない設問では本音の可能性が高い
超短時間回答	想定回答時間の1/3未満	想定回答時間はテスト回答で計測しておく
重複回答	同じメールアドレスからの複数回回答	家族や同じ部署など、共用アドレスを使っている場合がある
ボットによる回答	自由記述が意味をなさない文字列や同じ定型文	短い自由記述だけで判断しない
矛盾回答	前提となる設問と明らかに食い違う	設問の聞き方が曖昧で誤解された可能性も確認する

除外してはいけない回答（少数意見・ネガティブな本音）

極端に低い評価や、他の回答と大きく異なる意見は、不正回答ではなく貴重な少数意見であることがあります。こうした回答を除外すると、顧客や従業員の本当の課題を見逃してしまいます。除外するのは、事前に決めたルールに当てはまる回答だけにとどめましょう。

除外理由を記録して、説明できる状態にする

除外した回答は、かならず件数と理由を記録しておきましょう。社内で結果を報告するときや、後から別の切り口で分析し直すときに、「どの回答を、なぜ外したのか」を説明できます。除外した回答そのものも、削除せず別に保存しておくと安心です。

よくある質問（FAQ）

Q. アンケートの不正回答はどれくらいの割合で混ざりますか？

A.不正回答の割合は、アンケートの配布方法、謝礼の有無、設問数によって大きく変わります。謝礼付きで広く公開するWebアンケートや、設問数の多いアンケートほど割合が高くなる傾向があります。自社のアンケートで実際の割合を把握するには、毎回同じ基準でチェックして件数を記録しておくのが確実です。

Q. 回答時間が短いだけで不正回答と判断していいですか？

A.回答時間だけで判断するのはおすすめしません。回答に慣れている人や、選択式の設問が中心のアンケートでは、きちんと読んでいても短時間で回答できることがあります。回答時間に加えて、直線回答や自由記述の内容など、複数の条件を組み合わせて判断するのが確実です。

Q. 直線回答はすべて除外すべきですか？

A.すべてを除外する必要はありません。項目数が少ない設問や、すべての項目に本当に同じ評価をしている場合もあるためです。事前に「10項目以上のマトリクス設問ですべて同じ選択肢」のように条件を決め、ほかの不正の兆候とあわせて判断しましょう。

Q. Salesforceに取り込む前に不正回答を除外できますか？

A.はい、できます。smile survey（スマイルサーベイ）のAIクレンジング機能で不正回答の候補を抽出・除外したうえで、回答データをSalesforceに連携できます。すでに連携済みの回答も一括で再連携・削除できるため、クレンジング後のデータに整えることが可能です。顧客データの信頼性を保ったまま、分析や営業活動に活用できます。

▶「smile survey for Salesforce」を詳しく見る

Q. smile surveyのAIクレンジング機能はどのプランで使えますか？

A.AIクレンジング機能は、smile survey（スマイルサーベイ）のAIオプションに含まれる機能です。トライアルの利用も可能ですので、詳しくはお問い合わせください。

まとめ

アンケートの不正回答には、直線回答・超短時間回答・重複回答・ボットによる回答・矛盾回答の5つのパターンがあります。少数でも集計結果を歪めるため、分析の前に除外しておくことが大切です。

回答数が増えると手作業のチェックには限界があります。AIで不正の疑いがある回答を洗い出し、事前に決めたルールに沿って人が最終判断する、という役割分担がおすすめです。

smile survey（スマイルサーベイ）なら、AIクレンジング機能で不正回答の候補を自動で洗い出し、信頼できるデータだけで集計・分析できます。自社のアンケートでの使い方を相談したい方は、お気軽にお問い合わせください。実際の操作を試したい方は、無料トライアルもご利用いただけます。