Как и в случае использования других методов исследования, при проведении опросов многие вещи могут пойти не так — от проблем с выборкой до ошибок в анализе.
Чтобы сделать обоснованные выводы из вашего опроса, нужны точные ответы. Но участники могут предоставить недостоверную информацию. Они могли забыть ответы на вопросы или просто неправильно ответить на них.
Одна из частых причин, по которой респонденты неправильно отвечают на вопросы, заключается в том, что они неверно истолковывают их. Понимание возможных причин неверного толкования может помочь в составлении более точных вопросов. Вот семь распространенных причин, по которым люди неверно истолковывают вопросы из опросников, которые мы адаптировали из исследования Tourangeau et al. (2000).
1. Грамматическая и лексическая двусмысленность
Грамматика была проблемой в начальной школе, и она также может создавать затруднения при проведении опросов. Помимо грамматических ошибок, некоторые слова, например, “вы”, имеют двоякое значение.
“У вас есть подписка на Amazon Prime?”
Здесь вы можете иметь в виду только респондента или всю его семью (“вы” как местоимение второго лица множественного числа, к примеру, все вы, живущие в одном доме).
Простой вопрос, например: “Are you visiting professors?” может означать 1) “Собираетесь ли вы посетить профессоров?” или 2) “Входите ли вы в группу приезжающих профессоров?” В ходе беседы просодия произнесенного предложения часто дает подсказки относительно его значения (Kraljic & Brennan, 2004 [PDF]), но они недоступны при чтении написанного предложения.
Учитывая природу человеческих языков, бывает трудно избежать двусмысленности. Слова и фразы могут иметь несколько значений, предложения (аналогичные приведенному выше примеру) — несколько интерпретаций, а местоимения — несколько возможных антецедентов.
Когда мы составляем предложение, мы обычно осознаем, как минимум неявно, как бы мы его сказали, поэтому трудно предсказать, как остальные могут его интерпретировать — правильно или неправильно — без просодических подсказок. Вот почему так важно, чтобы другие люди проверяли и корректировали вопросы для вашего опросника.
2. Чрезмерная сложность
Желание сократить количество вопросов в опросе похвально, однако будьте осторожны и не включайте слишком много подробностей в один вопрос.
“За последние 12 месяцев, с 1 января 2020 года, сколько раз вы посещали врача или говорили с ним (либо фельдшером) по поводу COVID-19? Не считайте время, когда вы, возможно, обращались к врачу в период нахождения в больнице или для проведения плановой операции в амбулаторном учреждении, но посчитайте все остальные разы”.
На подобные вопросы отвечать трудно, поскольку они требуют, чтобы участники держали в уме несколько вещей одновременно, что может привести к предоставлению неверной информации. Сложные вопросы можно упростить, разбив их на несколько простых. Мы обнаружили, что не большое количество вопросов, а продолжительность опроса, является серьезным препятствием для его завершения. Но даже короткие вопросы могут иметь сложный синтаксис. Остерегайтесь следующего:
- Wh-вопросы с дополнениями: вопросы, начинающиеся с wh-слов, например, кто или что, часто включают дополнения — фразы, которые можно удалить из предложения без ущерба для его смысла и грамматической правильности. (“Когда [представитель вашего аккаунта сказал, что] вам нужно продлить лицензию на программное обеспечение?”)
- Придаточные предложения после существительных: утверждения, которые содержат в середине оборот, определяющий существительное. (“Задача [которую я только что выполнил в этом исследовании] была легкой.”)
- Придаточные предложения в начале: размещение множества прилагательных, наречий и/или предложных групп до того, как респонденты дойдут до важной части вопроса. (“Даже если это будет стоить им денег и может усложнить их код, потому что “правила” представляют собой сложное сочетание отраслевых норм и федеральных, местных законов и законов штата, Twitter, как одна из самых влиятельных социальных сетей, должна соответствовать отраслевым рекомендациям.”)
Недавно мы писали о стратегиях работы с такими сложностями.
3. Ошибочные предположения
Вопрос, который содержит предположения, может создавать для респондентов проблемы:
Насколько вы согласны или не согласны со следующим утверждением?
“Семейная жизнь пострадала во время COVID-19, поскольку родителям приходится слишком много концентрироваться на своей работе.”
Вопрос предполагает, что родители слишком много внимания уделяют своей работе, но семейная жизнь некоторых респондентов, напротив, может страдать из-за того, что родители не работают или их рабочее время сокращено. Респондентам сложно понять, как им оценить такое утверждение.
Предположения в наводящих вопросах могут даже вызвать ложные воспоминания. В классическом психологическом эксперименте участники смотрели слайд-шоу событий, кульминацией которых стало дорожно-транспортное происшествие после того, как автомобиль повернул направо на перекрестке со знаком остановки. После слайд-шоу, участникам было задано двадцать вопросов. При этом половину участников спросили: “Проехал ли другой автомобиль мимо красного “Датсуна”, когда тот остановился у знака ‘Стоп’?”, а другую половину: “Проехал ли другой автомобиль мимо красного “Датсуна”, когда тот остановился у знака ‘Уступите дорогу’?” Спустя двадцать минут, когда участники, чтобы отвлечься, читали не связанную с темой исследования историю и должны были отвечать на вопросы о ней, их попросили выбрать из двух показанных тот кадр, который они запомнили из слайд-шоу, при этом единственное различие между слайдами заключалось в том, остановился автомобиль у знака “Стоп” или “Уступите дорогу”. Несмотря на то, что все они видели знак “Стоп”, 41% участников из тех, кому задавали вопрос про знак “Уступите дорогу”, заявили, что помнят именно его.
Итак, как мы можем исправить приведенный выше в качестве примера вопрос, чтобы сделать его менее наводящим? Этого можно добиться, разбив его на несколько частей:
Второй вопрос: “По вашему мнению, влияние COVID-19 на вашу семейную жизнь было скорее негативным или позитивным?”
Третий вопрос: “Вы отметили, что влияние COVID-19 на вашу семейную жизнь было скорее негативным. Какие из перечисленных ниже обстоятельств были основными причинами такого негативного влияния (выберите до трех вариантов)?”
Исправление наводящего вопроса путем разделения его на части и исключения предположений (создано на платформе MUIQ, поэтому второй вопрос появляется только в случае ответа “Да” на первый, а третий — после выбора ответа “1”, “2” или “3” во втором вопросе).
4. Расплывчатые формулировки
Формулировку можно считать расплывчатой, если ее невозможно понять без дополнительных объяснений. Следовательно, респонденты интерпретируют ее так, как могут, что ведет к неточным ответам:
“Сколько детей остановятся в квартире Airbnb?”
В этом вопросе не ясно, кто считается ребенком? Это тот, кто младше 18 лет или младше 16? Учитываются ли младенцы?
“Насколько часто вы играете в видеоигры, в которых есть насилие?”
Будут ли считаться игры с гонками, где единственное насилие — возможность разбить машину? Считается ли вождение автомобиля, который может попасть в аварию, насилием?
Хотя вы хотите внести ясность, подробно расписав условия, вы также хотите избежать противоположной проблемы, связанной с добавлением чрезмерной сложности (см. пункт 2):
“Сколько детей (в возрасте от 0 до 18 лет) остановятся в квартире Airbnb?”
“Насколько часто вы играете в шутеры от первого лица?”
5. Нечеткие кванторы
Нечеткие кванторы — это слова (обычно прилагательные и наречия), которые могут иметь разное толкование. Они могут появляться как в самих вопросах, так и в вариантах ответов:
“Считаете ли вы, что часто пользуетесь Netflix?”
Петерсон (2000) описывает слова “близко”, “очень”, “довольно”, “много”, “большинство”, “мало”, “часто”, “несколько” и “иногда” как неопределенные. Мы видели подобную неопределенность в случае со словами, обозначающими вероятность, и глаголами изменения.
Петерсон приводит пример того, как респонденты, которые сообщали, что они “очень часто” ходят в кино и “очень много” пива выпивают за месяц, позднее называли абсолютно разные цифры в диапазоне от 52 до 365. Подобные варианты ответов подходят, если вы хотите оценить “восприятие” поведения, например, мнение пользователей о просмотре фильмов в Интернете (считают ли респонденты, что просмотр фильмов в течение часа в день является частым или умеренным), но они не подходят, если вы исследуете, насколько часто на самом деле осуществляется то или иное поведение.
Существует заблуждение, что все численные значения на шкале оценок должны быть подписаны. Однако подписать их становится сложнее, если на шкале имеется более пяти или семи точек, что вынуждает исследователей использовать расплывчатые определения. Например, означает ли слово “вполне” на рисунке ниже на самом деле больше, чем “немного”? Исследования показали, что оценочные шкалы, на которых подписаны лишь конечные точки (версия Б), дают результаты, аналогичные оценкам полностью маркированных шкал (версия А), без использования двусмысленных кванторов.
6. Незнакомые термины
Легко забыть, сколько новой терминологии, которая может быть незнакома респондентам, используется в исследованиях и таких областях, как финансы, здравоохранение и розничная торговля. Такой жаргон включает аббревиатуры (MPG, IRA, 401K) и термины (активы, франшиза, максимальная сумма наличных средств). Наихудшая комбинация — аббревиатуры, созданные из незнакомых терминов (OOPM).
Незнакомые термины создают сложности не только в опросах. Как мы видели в нашем сравнительном тестировании веб-сайтов в сфере медицинского страхования, UX-дизайн, включающий незнакомые термины, приводит к догадкам, неправильному толкованию, путанице и разочарованию.
Однако, когда респонденты знакомы с терминологией и аббревиатурами в определенной области, разумно использовать их для более эффективной передачи информации (вторая эвристика Нильсена: говорите на языке пользователей).
7. Ложные выводы
Ложные выводы обычно делают респонденты, которые придают вопросу чрезмерное значение, часто пытаясь выяснить его цель или понять суть:
“Можете ли вы представить себе какие-либо ситуации, в которых вы одобрили бы ликвидацию доступа к вашему торговому счету онлайн-брокером Robinhood ?”
Некоторые респонденты могут интерпретировать этот вопрос таким образом, что Robinhood обещает устранить необходимость каждый раз входить в аккаунт и обеспечит непрерывный доступ к деньгам, чтобы совершать своевременные сделки. Однако другие могут понять вопрос более буквально. В этом случае использование слова “какие-либо” склонит их к утверждению, что такие ситуации включают, в том числе, мошенничество, поэтому они с большей вероятностью ответят на вопрос положительно. (Эта проблема связана с использованием абсолютных модификаторов в вопросах.)
Резюме
Люди могут неверно истолковать вопросы из опросника по разным причинам, в том числе:
- Грамматическая и лексическая двусмысленность: вызвана неоднозначным характером человеческого языка (слова, фразы и предложения с несколькими значениями).
- Чрезмерная сложность: предложения, которые трудно понять, часто из-за попытки собрать слишком много информации в одном вопросе.
- Ошибочные предположения: предложения, которые представляют утверждения как факты, когда это не так.
- Расплывчатые формулировки: предложения, в которых недостаточно информации, чтобы прояснить их ключевые понятия.
- Нечеткие кванторы: предложения или варианты ответов, включающие кванторы, которые могут быть интерпретированы по-разному, например, “близко”, “очень”, “довольно”, “много”, “большинство”, “немного”, “часто”, “несколько” и “иногда”.
- Незнакомые термины: включение слов, фраз или аббревиатур, которые не являются частью используемого респондентами языка.
- Ложные выводы: предложения, которым некоторые респонденты могут придавать чрезмерное значение, пытаясь понять лежащие в их основе намерения.
Вы можете использовать какие-либо конкретные методы для устранения этих проблем, но лучшая общая стратегия — убедиться, что другие люди проверяют и корректируют ваши опросники, прежде чем вы их кому-то отправляете. Всегда запускайте пилотную версию, которая позволяет респондентам спрашивать вас о любых вещах, вызывающих у них затруднения.
