10 когнитивных искажений, которых необходимо избегать в исследованиях пользователей

Когнитивные предубеждения стали довольно популярной темой в массовой культуре благодаря таким книгам, как «Думай медленно… Решай быстро» и «Предсказуемая иррациональность». Они также получили широкое распространение в дизайне.

Поскольку мы все больше и больше полагаемся на количественные и качественные исследования, когда принимаем решения о продукте или бизнесе, важно убедиться, что полученные данные не искажены и действительно принесут пользу конечным потребителям.

Существует более 100 когнитивных предубеждений (188, согласно этой исчерпывающей инфографике), но в контексте пользовательских исследований мы сосредоточимся на 10 из них.

1. Эффект фрейминга

Именно этот эффект я встречаю в исследованиях пользователей чаще всего. Его действительно сложно избежать, если не обращать пристального внимания на свои слова и действия.

Что это такое?

Люди делают выбор не в вакууме. Наши решения зависят от того, как представлена информация. Простой пример — большая порция на маленькой тарелке покажется нам более сытной, чем маленькая порция на большой, даже если их размер фактически совпадает. Чтобы преодолеть эту предвзятость, используйте карты эмпатии — запишите, что пользователь видит, слышит, а также что он делает и говорит.

Пример

Внимательно выбирайте формулировки, когда спрашиваете пользователей об их впечатлениях от взаимодействия с продуктом.

Вопросы типа «Что вам понравилось/не понравилось в процессе взаимодействия?» побуждают респондентов фокусироваться только на положительных/негативных аспектах продукта (иногда даже до самого конца интервью), что может привести к ложным положительным/отрицательным выводам.

Нейтральные, ненаводящие вопросы, например «Можете ли вы описать последний опыт использования продукта?» или «Что вы чувствуете, когда пользуетесь этим продуктом?», дадут более объективные результаты.

2. Предвзятость подтверждения

Суперзлодей среди предубеждений 😈. Чрезвычайно распространенная ошибка, которая плохо поддается исправлению. На нее часто ссылаются сторонники количественных исследований, чтобы обосновать, почему нам следует опираться на большие массивы данных.

Что это такое?

Люди отдают предпочтение данным, которые подтверждают их гипотезы/убеждения, и игнорируют те, которые им противоречат. Это эволюционная система безопасности, которая была заложена в наш мозг, чтобы защитить его от информации, бросающей вызов нашей идентичности (мы развивались как племена с общими убеждениями). Поэтому полностью избавиться от нее очень сложно.

Пример

Исследователь/продакт-менеджер спрашивает участника: «Вы когда-нибудь делали/рассматривали возможность сделать действие X через приложение Y?», и участник отвечает: «Да! Постоянно!». Ура! Вы сорвали джекпот, и ваши гипотезы подтвердились. Пользователям нравится совершать указанное действие через ваше приложение. Но на самом деле это может быть далеко от истины.

Если вы получили подтверждение/положительный ответ, перепроверьте его несколькими разными способами. Почему пользователь совершил это действие? Возможно, у него не было других вариантов? Понравился ли ему сам процесс? Сколько раз за последнюю неделю он это делал? Может ли он предъявить какие-либо доказательства? Есть ли вероятность, что он просто хочет вам угодить?

Лучший способ избежать предвзятости подтверждения — последовательно играть роль адвоката дьявола и опровергать свои мысли и гипотезы в процессе исследования.

3. Знание задним числом

Люди плохо ориентируются во времени. И эта предвзятость — прямое тому доказательство.

Что это такое?

Мы склонны находить причины событий, произошедших в нашем прошлом, не имея на то никаких фактических доказательств, то есть необоснованно воспринимать эти события как очевидные и предсказуемые. Другое название этого явления — «я знал это с самого начала» или «я так и знал».

Пример

Когда мы проводим исследования, мы часто просим пользователей покопаться в своей памяти и объяснить свои действия. Зачастую в ответ мы слышим несколько разных версий того, почему они поступили именно так, а не иначе.

Например: один пользователь жаловался, что его бизнес пошел на спад из-за цифровизации — теперь люди предпочитают совершать покупки онлайн, а не ходить в обычные магазины. Когда я задал встречный вопрос о том, почему он не откроет интернет-магазин, я получил довольно неожиданный ответ: «Веб-сайты плохо заботятся о клиентах, и если с нашим товаром что-то случится, это плохо отразится на нашем имени». Это был явный признак того, что он не очень понимает, как работает электронная коммерция и не знает, что у покупателей есть возможность вернуть поврежденные товары или связаться с продавцом для разрешения ситуации.

Нельзя винить покупателей за то, что они придумывают подобные объяснения, но важно не терять бдительность и постоянно перепроверять их слова. Когда у нас нет ответов на некоторые вопросы, мы должны просто признать это, а не прикрываться ложными причинами.

4. Эффект социальной желательности

Этот эффект можно описать одним словом — «самопрезентация».

Что это такое?

Люди — социальные животные, поэтому мы стремимся хорошо выглядеть в глазах окружающих. Этот паттерн настолько глубоко укоренился в нашем поведении, что мы даже презрительно называем тех, кто не следует этим нормам, маргиналами.

Пример

Это искажение проявляется особенно ярко, когда дело доходит до исследований, связанных с социальным капиталом (социальные сети, онлайн-платформы, приложения для знакомств и т.д.).

Например: пользователь соцсетей среднего возраста, который хочет создать образ лидера внутри своей семьи. Он никогда не скажет что-то, что может разрушить этот образ, и поэтому, даже если такой человек столкнется с проблемами юзабилити, он не будет жаловаться. Опытный исследователь постарается переформулировать вопросы таким образом, чтобы повысить социальную желательность ответов (например, «Если бы вы могли сделать этот продукт лучше для своего папы/мамы, что бы вы сделали?»). Это поможет узнать, какие проблемы на самом деле раздражают пользователей.

5. Ошибка невозвратных затрат

Еще одно распространенное искажение, которое причиняет много вреда не только в рамках исследований, но и в обычной жизни.

Что это такое?

Чем больше времени и усилий мы вкладываем во что-то, тем сложнее от этого отказаться. Другими словами, чем дальше мы углубляемся в лабиринт, тем сложнее из него выбраться. В следующий раз, когда вы решите выпить «еще один бокал» и отключитесь, вы будете знать, какое предубеждение следует винить. 🍷

Пример

Как исследователи, мы тратим много времени на сбор данных. Со временем эти данные могут стать не столько полезными, сколько обременительными. Зациклившись на полученных результатах, легко сбиться с пути и упустить из виду общую картину.

Чтобы избежать этого предубеждения, важно найти баланс между усилиями и вознаграждением. Следует разбить исследование на более мелкие этапы и после каждого из них принимать решение, стоит продолжать или нет. 

Методология Lean Startup (бережливый стартап) в некотором смысле направлена на снижение этой предвзятости: предприниматели должны регулярно проводить небольшие эксперименты и объективно проверять результаты, а не тратить время и силы на то, чтобы в итоге прийти к бесполезному выводу. В конечном счете, нужно смириться с тем, что потери и неудачи — это неизбежная часть жизни.

6. Эффект последовательного позиционирования

Длинные списки ждет U-образная судьба.

Что это такое?

Если ваша фамилия начинается на букву «М» и находится в списке, упорядоченном по алфавиту, к сожалению, в большинстве случаев вы останетесь незамеченным.

Этот график отражает вероятность запоминания слов в зависимости от их положения в последовательности. Наша память устроена таким образом, что мы обращаем больше внимания на элементы, расположенные в начале и в конце длинных списков.

Пример

В таких исследованиях, как сортировка карточек, это предубеждение может привести к тому, что пользователи будут пропускать или игнорировать размещенные в середине элементы, что может негативно сказаться на эффективности эксперимента.

Еще один пример — полевые исследования, когда вы опрашиваете более 5–10 пользователей подряд, прежде чем перейти к синтезу полученных данных. Люди склонны придавать слишком большое значение наблюдениям из первого и последнего интервью (особенно, когда они размещены на стикерах или перечислены в документе).

Хороший способ обойти эту проблему — разбить результаты на более мелкие фрагменты или несколько раз перемешать их.

Эта предвзятость сопровождает нас, когда мы работаем с различными списками, например, дел или функций, особенно если мы пытаемся выполнить несколько задач одновременно. Эффективная стратегия борьбы здесь — категоризация.

7. Иллюзия прозрачности

Опасное предубеждение, которое приводит к ошибочному толкованию и недопониманию.

Что это такое?

Если вы когда-нибудь играли в «Крокодил», вам знакомо это предубеждение. 🐊 Мы склонны переоценивать способность других понимать, о чем мы думаем/что пытаемся донести, как и свою способность понимать других.

Большая часть нашего субъективного опыта скрыта, но нам зачастую кажется, что всем вокруг понятны наши мысли и эмоции.

Пример

Во время интервью многие участники пытаются передать свои эмоции с помощью языка тела, пауз и других невербальных сигналов. Иллюзия прозрачности мешает им оценить, правильно ли донесено сообщение.

А значит, нам нужен другой механизм, чтобы установить, не упускаем ли мы что-то из виду. Вот почему так важно задавать пользователям уточняющие вопросы. Например: «Судя по тому, что вы сказали, я понял, что вы относитесь к этой функции вот так, или я ошибаюсь?». Часто вы будете удивлены, узнав, насколько неверно вы истолковали то, что было сказано.

8. Предвзятость кластеризации

Это искажение может привести к большому количеству ложноположительных и ложноотрицательных выводов.

Что это такое?

Предвзятость кластеризации — это поиск закономерностей там, где их на самом деле нет, наша склонность находить систему и порядок в хаосе. Например, когда мы говорим, что у кого-то наступила полоса везения в покере или футболе, и думаем, что у игрока всё и дальше будет складываться идеально. ⚽Но на нашу жизнь влияет широкий спектр случайных событий, включая те, которые кажутся нам крайне маловероятными.

Пример

Для нас, исследователей, поиск закономерностей в массиве данных — основная работа. Один из недостатков качественного анализа состоит в том, что при небольшом размере выборки, мы зачастую выявляем ложные паттерны, которые являются простыми случайностями. Эффективный инструмент борьбы — триангуляция закономерностей и сопоставление выводов, основанных на большом объеме данных, с более глубокими инсайтами, полученными в ходе качественных исследований.

Другой способ уменьшить влияние этой предвзятости — проводить исследования с совершенно разными неоднородными группами пользователей.

Кроме того, вы можете провести письменный мозговой штурм перед обсуждением закономерностей и привлечь к процессу анализа разные заинтересованные стороны.

9. Имплицитная предвзятость

И снова очень сложное и опасное когнитивное искажение. Такие суждения называют стереотипами или штампами.

Что это такое?

Это наши бессознательные убеждения и ассоциации. Имплицитную предвзятость сложно искоренить, поскольку она глубоко внедряется в наше сознание с самого раннего возраста через СМИ, окружающих нас людей и популярную культуру.

Пример

В ходе пользовательских исследований нам приходится общаться с людьми из разных демографических, расовых или этнических групп, о которых у нас уже имеются те или иные предвзятые представления. По этой причине мы можем вести себя определенным образом, что не всегда необходимо (например, быть чрезмерно вежливыми по отношению к людям с ограниченными возможностями, хотя они предпочли бы, чтобы с ними обращались как со здоровыми людьми). 

Чтобы избежать подобных ошибок, выпишите все существующие предубеждения на листе бумаги, а также не старайтесь получить дополнительную информацию о респонденте перед интервью — чем меньше вы знаете о человеке, тем лучше.

Важно помнить, что задача исследователя — не подружиться с пользователями, а действительно понять, что происходит в их голове, даже если для этого придется вытерпеть несколько минут неловкого молчания или преодолеть небольшие разногласия.

10. Фундаментальная ошибка атрибуции

Это то, что происходит, когда люди винят себя за неспособность понять технологию.

Что это такое?

Речь о склонности людей переоценивать личностные качества и игнорировать ситуационные факторы при интерпретации поведения окружающих. Из-за фундаментальной ошибки атрибуции мы верим в то, что другие совершают плохие поступки, потому что они плохие люди. Мы игнорируем внешние обстоятельства, которые могли сыграть свою роль.

Пример

Если вы проводите юзабилити-тест и слышите, как участник говорит, что совершил «ошибку» при выполнении определенной задачи, уделите этому особое внимание! Возможно, это самый важный ключ к созданию лучшего продукта/опыта.

По-настоящему хорошие продукты позволяют пользователям меньше думать и больше делать. Вспомните свой опыт взаимодействия с любым приложением/сайтом, в ходе которого вы злились на себя за то, что не можете сделать что-то правильно. Здесь точно есть над чем работать.

Хороший способ избежать этой предвзятости — дополнить интервью наблюдениями/тепловыми картами. Они дают более полное представление о том, как респонденты используют продукт и какие ошибки они допускают из-за плохого дизайна. 

Разработчики часто перекладывают вину на пользователей, но мы, исследователи, должны бороться с этим искажением. Продукты и их кривые обучения должны быть спроектированы таким образом, чтобы даже новичок мог освоить их с первого или второго раза и не чувствовать себя виноватым в случае неудачи.

Заключение

Итак, вот 10 когнитивных искажений, о которых вам следует помнить, чтобы ваши исследования были максимально эффективными:

• Эффект фрейминга — то, как вы формулируете вопросы, может влиять на ответы.
• Предвзятость подтверждения — люди склонны отдавать предпочтение данным, которые подтверждают их гипотезы и убеждения.
• Знание задним числом — люди склонны воспринимать прошлые события как предсказуемые.
• Эффект социальной желательности — люди стремятся хорошо выглядеть в глазах окружающих.
• Ошибка невозвратных затрат — чем больше ресурсов люди вкладывают в какое-то дело, тем больше они склонны довести его до конца.
• Эффект последовательного позиционирования — люди обращают больше внимания на элементы, расположенные в начале и в конце списка.
• Иллюзия прозрачности — люди склонны переоценивать способность других понимать, о чем они думают.
• Предвзятость кластеризации — люди склонны находить закономерности там, где их на самом деле нет.
• Имплицитная предвзятость — бессознательные убеждения и ассоциации относительно определенных групп и их поведения.
• Фундаментальная ошибка атрибуции — люди склонны объяснять ошибки личностными качествами, даже если они вызваны внешними обстоятельствами.