Как получить честные результаты при UX-исследованиях

Суть Хоторнского эффекта заключается в следующем: люди ведут себя иначе, когда знают, что за ними наблюдают 👀. 

Хотя есть некоторые сомнения относительно достоверности исследований, в рамках которых был открыт соответствующий эффект, они оказали существенное влияние на практику управления. Хоторнский эффект широко применяется для поощрения желательного поведения — например, люди чаще моют руки, если сказать им, что за ними наблюдают, и реже нарушают правила дорожного движения, если на трассе установлены муляжи камер видеонаблюдения. 

Краткая история Хоторнского эффекта

«Хоторнский эффект» берет свое название от серии исследований, проведенных в 1920-х годах на заводе по производству телефонов Western Electric в Хоторне. Их цель состояла в том, чтобы понять, как освещенность рабочего места влияет на производительность труда.

Исследователи разделили рабочих на две группы: тестовую, которая работала в отдельном помещении с измененным освещением, и контрольную — остальные сотрудники завода, которые работали в своей обычной среде. Да, повышение освещенности привело к ожидаемому росту производительности труда в тестовой группе; однако, когда освещение было снижено до первоначального уровня, ее результаты все равно оставались лучше, чем у остальных.

Повышение производительности вне зависимости от условий работы оказалось неожиданным результатом. Исследователи начали экспериментировать с другими переменными — от оплаты труда до количества и продолжительности перерывов в течение рабочего дня. Но что бы они ни меняли, производительность труда в тестовой группе повышалась. 

В итоге исследователи связали повышение производительности с несколькими факторами, включая работу в небольшой группе и присутствие дружелюбных наблюдателей. Позже, в 1950-х годах, эти результаты были переосмыслены Генри А. Ландсбергером, который ввел термин «Хоторнский эффект». Ландсбергер считал, что участники тестовой группы были более продуктивными из-за необычного дополнительного внимания, которое они получили благодаря участию в исследовании.

Достоверность Хоторнского эффекта была поставлена под сомнение в последующих исследованиях. Тем не менее ученые продолжали изучать, как меняется поведение людей под наблюдением. Когда к людям пытаются найти индивидуальный подход, дают им свободно говорить о своих проблемах и предоставляют возможность построить более крепкие межличностные отношения, они больше вовлечены в работу, что положительно сказывается на их производительности.

Это наблюдение повлияло на становление новой школы человеческих отношений в менеджменте, которая до сих пор формирует многие из наших рабочих практик, включая анализ уровня удовлетворенности сотрудников, особое внимание к коммуникации и отслеживание групповой динамики.

Хоторнский эффект в UX и как его минимизировать

В определенной степени Хоторнский эффект проявляется во всех исследованиях пользователей — от полевых до пользовательского тестирования. Он тесно связан с предвзятостью социальной желательности, которая часто фиксируется у респондентов опросов и, как мы увидим ниже, встречается в других исследованиях. Люди склонны отвечать на вопросы так, чтобы казаться «лучшей» версией себя, преувеличивая количество положительных характеристик и отрицая или преуменьшая те, которые воспринимаются обществом как неблагоприятные. 

Полевые исследования

Начнем с самого популярного вопроса: «Как наблюдать за естественным поведением людей во время полевого исследования, если они знают, что я там?» Действительно, ценность полевого исследования заключается в том, чтобы быть рядом с пользователем и наблюдать, как он живет, работает, решает проблемы и взаимодействует с людьми и технологиями. 

Поначалу участники могут всячески скрывать свои недостатки, искренние реакции или какие-либо хитрости, которым они научились на работе, если это может повлиять на их репутацию или зарплату. Кто позволит вам наблюдать за закулисьем магазина, где сотрудники небрежно бросают товары, не заполняют должным образом документы или делают лишний перерыв на кофе? 

Кроме того, некоторые люди не доверяют исследователям из-за предыдущего негативного опыта общения с руководством, которое постоянно придумывает новые, «более совершенные» способы оценки работы. Как сказано в этой статье Forbes, слишком высокая продуктивность зачастую наказуема, так зачем кому-то выделяться или демонстрировать свои уязвимые места?

Эффективные стратегии

Люди не должны чувствовать осуждения. Если золотое правило юзабилити заключается в том, чтобы не дать людям почувствовать себя глупыми, то в полевых исследованиях вы должны сделать так, чтобы люди не думали, будто их кто-то осуждает. 

Конечно, мы не хотим, чтобы люди чувствовали себя виноватыми, недостойными или пристыженными, о каком бы исследовании ни шла речь, но в полевых исследованиях это особенно важно, Только в этом случае мы сможем понять, что происходит на самом деле. Исследователи приходят в естественную для пользователей среду, чтобы узнать контекст конкретных действий и свести к минимуму влияние искусственной лабораторной обстановки. 

Однако само присутствие и интерес к деятельности заставляют участников контролировать свои действия, что потенциально может привести к изменению поведения. В то же время, люди довольно быстро возвращаются к привычным действиям, если чувствуют себя комфортно и не возражают против присутствия исследователя.

Проводите более длительные сессии, чтобы дать участникам возможность наладить контакт с исследователем. Для установления контакта очень важно доверие. А оно появляется со временем, поэтому в рамках контекстуальных исследований мы часто выбираем более длительные сессии (около 60-90 минут) и стараемся провести несколько сессий наблюдения с одним и тем же человеком или командой, если это возможно. 

Пользовательское тестирование

Приходилось ли вам участвовать в качественном исследовании юзабилити, участники которого долго ждали загрузки сайта или упорно выполняли непонятные им задания? Казалось ли вам, что люди делают это только ради исследователя? Если да, то вы, вероятно, испытали на себе Хоторнский эффект. 

Конечно, в начале сессии мы можем сказать участникам, чтобы они работали так, будто рядом с ними никого нет. Но правда в том, что пользователи редко взаимодействуют с цифровыми продуктами, проговаривая свои действия вслух и под пристальным наблюдением из-за плеча. 

Осознание того, что за ними наблюдают, может давить на участников, заставляя их вести себя так, чтобы соответствовать ожиданиям. Например, они могут действовать более настойчиво и терпеливо, внимательно читать инструкции или усердно искать нужную информацию на сайте. Многим участникам хочется «сохранить свое лицо» перед модератором и успешно справиться с заданием. 

Эффективные стратегии

Разрабатывайте естественные сценарии, которые не будут восприниматься целевой аудиторией как искусственные или совершенно новые. Пусть они будут знакомыми! Например, одним пользователям покупка нового Ferrari может показаться реалистичной задачей, а другим нет. 

Разрядите обстановку во время тестирования непринужденной беседой и деликатной обратной связью, избегая при этом чрезмерного дружелюбия. В UX существует опасность того, что дружелюбие ведущего может быть истолковано неправильно, и участники могут попытаться вести себя так, чтобы ему понравиться. Предотвратите такое поведение, установив четкие ожидания в начале исследования и при необходимости скорректировав его курс. Например, мы можем сказать: 

«Пожалуйста, постарайтесь представить, что вы делаете это в реальной жизни, а меня здесь нет. Попробуйте делать то, что вы обычно делаете. Я буду вести себя тихо и, возможно, задам вам несколько вопросов после каждого задания».

Заверьте участников, что их результаты не выйдут за пределы исследования.

Объясните участникам, что вы заинтересованы в их честных отзывах и поведении. Люди, которые тестируют прототип и размышляют вслух, могут предположить, что их отзывы будут бесполезными, если они быстро покинут страницу, не будут стараться и уделять больше внимания деталям, чем обычно. Вот почему сессия часто начинается с того, чтобы заверить участников, что им не нужно менять свои ответы или поведение и щадить наши чувства:

«Пожалуйста, скажите нам честно, что вы думаете. Любая обратная связь, как хорошая, так и плохая, будет полезна. Мы не обидимся. Мы просто хотим сделать дизайн лучше».

Объясните, что цель исследования — протестировать дизайн, а не участников. Если вы заметили, что участники извиняются за то, что они чего-то не знают или допустили ошибку при выполнении задания, это повод вмешаться и напомнить им, что тестируют не их, а дизайн, и что их отзывы очень ценны. Напомните им в начале исследования, что они не обязаны выполнять задания идеально или знать все ответы.

«Мы проверяем не вас и ваши знания по теме X. Мы проверяем дизайн. Если вас что-то сбивает с толку или вы в чем-то не уверены, нам будет полезно это знать».

Опросы

Опросы — это мощный инструмент, но к ним нужно тщательно готовиться, поскольку существует большая вероятность предвзятости и неправильной интерпретации. Хоторнский эффект в опросах может проявляться в форме предвзятости социальной желательности, когда люди хотят показать себя в положительном свете. 

Пример — вопросы о привычках и потреблении («Как часто вы занимаетесь спортом?», «Сколько алкогольных напитков вы выпили за последние 24 часа?», «Сколько сигарет в день вы курите?») часто получают гипотетические желаемые ответы. 

Эффективные стратегии

Предложите участникам загрузить дополнительные материалы. Например, в некоторых онлайн-опросах мы можем попросить людей добавить изображения, демонстрирующие их достижения, прогресс, проблемы или конкретные обстоятельства. Хотя загрузка этих изображений может восприниматься как дополнительное бремя, такие файлы являются своего рода доказательствами и помогают нам лучше понять контекст участника, в то время как участник получает возможность показать, что он сделал.

Используйте прямые и косвенные вопросы. На некоторые деликатные вопросы труднее ответить прямо, особенно если вам не до конца доверяют: «Что, если я скажу что-то негативное о своей компании, и это в итоге всплывет?» Альтернативный вариант — задавать косвенные вопросы, чтобы лучше понять точку зрения участника. Такие вопросы обычно задаются последовательно сериями и ответы на них занимают больше времени, однако они дают лучшие результаты. 

Например, в случае с оценкой проблем конфиденциальности Браунштейн и его коллеги обнаружили, что косвенные вопросы снижают эмоциональные реакции и помогают лучше понять реальное положение дел. Вот примеры прямого вопроса (DQ) и косвенных вопросов (IQ) из исследования:

DQ: «Насколько конфиденциальной вы считаете эту информацию?»

IQ: «Как часто вы проверяете [тип контента]?»

IQ: «Как часто вы пересылаете или иным образом делитесь (например, распечатываете и отдаете распечатанную копию) [тип контента] со своими близкими друзьями или близкими членами семьи?»

Дневниковые исследования

В рамках дневниковых исследований участники ведут дневники и анализируют свой опыт. Такие исследования часто применяются в качестве инструмента, позволяющего людям осознать определенные привычки (например, когда мы просим людей, желающих сбросить или набрать вес, записывать в дневник, что они едят и пьют, или когда мы используем отслеживание физической активности в качестве стратегии, побуждающей людей заниматься спортом).  

Помимо того, что мы должны поддерживать вовлеченность участников, а это сложно, дневниковые исследования, как и опросы, подвержены предвзятости социальной желательности — некоторые люди фиксируют только благоприятные события или стремятся сформировать у исследователей определенное представление о себе.

Эффективные стратегии

Анкеты для дневниковых исследований должны быть короткими. Не перегружайте участников длинными ненужными вопросами, если позволяет план исследования. Потратьте больше времени на составление вопросов и примените какой-нибудь способ фильтрации. Например, используйте технику Кэролайн Джарретт — спросите себя:

• Что вы хотите узнать?
• Почему вы хотите это узнать?
• Какое решение вы примете на основе этих ответов? 
• Сколько ответов вам нужно для принятия решения? 

Это поможет в конечном итоге сформулировать то, что она называет «самым важным вопросом» — главный недостающий фрагмент головоломки для принятия бизнес-решения, которому посвящено ваше исследование. 

Объясните, чего вы хотите от своих участников и почему важны их честные ответы. 

Чтобы построить доверительные отношения, важно потратить время на знакомство и налаживание контакта с участниками. Это не значит, чтобы вы должны контролировать каждую запись в дневнике, но будьте готовы помочь людям с решением технических вопросов, увеличить время исследования, если это необходимо, обеспечить конфиденциальность и вести себя как внимательный читатель, которому небезразлично то, чем может поделиться участник. 

Помните, что результат зависит от доверия, усилий и вознаграждения. Покажите, что вы изучили полученные ответы — поделитесь обновлениями, поблагодарите участников и продемонстрируйте, на что повлияла их обратная связь и к каким изменениям она привела.

Позаботьтесь об удобстве. Как исследователь, вы должны учитывать, насколько ваши участники знакомы с ведением дневника и как этот процесс может повлиять на их жизнь и ответы. Например, если человек использует цифровые платформы для фиксации каждого приема пищи, поездки и изменения настроения, то заполнение онлайн-дневника не так сильно повлияет на его повседневную рутину. 

С другой стороны, человеку, который использует свой телефон для аудио- и видеозвонков и время от времени играет на нем в любимую игру, могут потребоваться подробные инструкции. 

Если дневниковое исследование предполагает некую гибкость, учитывайте распорядок дня участников, чтобы выбрать наиболее удобное для них время заполнения. Если люди спешат, слишком устали или хотят спать, они вряд ли будут открыто делиться своими соображениями.

Заключение

Если достоверность исследований остается под вопросом, то зачем вообще мы их проводим? Потому что данные лучше, чем догадки! Однако важно критически оценивать полученные выводы и рекомендации. Мы должны понимать, что организация нашего исследования и выбранные формулировки могут повлиять на поведение пользователей.

В UX предвзятость наблюдения может стать еще одним шагом к пониманию пользователей и основой для более продуманных исследований. Задумайтесь, хотели бы вы, чтобы кто-то наблюдал за вами, когда вы работаете или живете своей жизнью? Как сделать этот опыт менее навязчивым, более приятным и безопасным, чтобы побудить людей делиться своими мыслями и эмоциями?