Не стоит предоставлять статистические данные и усредненные значения, если вы не проводили количественных исследований. Числовые показатели должны подтверждаться статистической информацией, например, доверительными интервалами или статистической значимостью.
Мне часто задают этот вопрос с разными формулировками:
“Можно ли собирать количественные показатели (например, успешность выполнения задачи и время, затраченное на этот процесс) во время проведения качественных исследований в отношении тестирования юзабилити?”
Ответ на данный вопрос будет положительным при условии, что вы:
- представляете эти числовые данные в отдельных случаях, а не на постоянной основе;
- не забываете указывать, что эти числа могут отражать поведение не всей вашей группы пользователей.
1. Отличия количественных исследований от качественных
В некоторых случаях UX команды задают данный вопрос в надежде стереть границы между количественными и качественными исследованиями, чтобы сэкономить время или ресурсы. Однако эти исследования UX преследуют разные цели, поэтому и структурированы они должны быть по-разному.
Качественное пользовательское тестирование — это процесс выявления проблем, связанных с пользовательским опытом, а также поиск путей их решения. В ходе этих исследований основное внимание уделяют сбору выводов из анализа и разрозненных фактов в ходе исследования. В результате для проведения этих исследований требуется лишь несколько репрезентативных пользователей. Кроме того, организатор исследования обладает некоторой гибкостью в отношении задач — они могут быть изменены или адаптированы под каждого участника.
Количественное пользовательское тестирование — это сбор показателей UX: числовых оценок различных аспектов пользовательского опыта, например, времени, необходимого для выполнения задачи. Конечной целью является расчет оценки этих показателей для всей совокупности пользователей.
Чтобы оценки были реалистичными и не случайными, необходимо относительно большое количество участников (часто более 40). Все участники должны выполнить идентичные, четко поставленные задачи. В противном случае цифры, полученные в ходе исследования, будут бессмысленными.
Не следует пытаться совмещать количественные и качественные исследования юзабилити, потому что каждый тип исследования проводится по-разному.
2. Сбор и представление показателей при проведении качественных исследований
Напрашивается логичный вопрос, если отсутствует возможность совмещения количественных и качественных исследований, зачем вам собирать показатели во время качественного исследования?
При проведении качественного тестирования юзабилити сбор показателей может быть полезен, когда вы сообщаете о своих результатах, используя рассказ историй. Важный момент — вы должны представлять отдельные значения, а не сводные статистические данные, в частности, средние по времени или показатели успешности.
Предположим, что нами было проведено качественное пользовательское тестирование приложения по доставке еды с 6 участниками. В ходе этого исследования мы собрали некоторые количественные показатели: время выполнения задачи и процент успешного выполнения. Эти показатели могут помочь нам сообщить информацию о серьезности проблемы в том случае, если мы предоставляем результаты и подкрепляем их отдельными историями из исследования.
Правильно: “Одна из участниц пыталась найти вариант ресторана поблизости, который ей понравится. Она потратила более 8 минут на просмотр и применение различных фильтров, прежде чем решила разместить заказ”.
В попытках подчеркнуть то, с какими трудностями столкнулся участник при выполнении задания, приемлемо будет указать это отдельное значение (“более 8 минут”). Но, поскольку было проведено качественное исследование, мы не можем использовать эти данные для расчета каких-либо средних значений.
Неправильно: “Участникам потребовалось в среднем 4 минуты 23 секунды, чтобы выбрать ресторан”.
В этом случае неправильно будет указывать средние значения, поскольку в таком случае мы начнем ожидать, что протестировав всех наших реальных пользователей, будет обнаружено аналогичное среднее время выполнения задачи. Но в связи с тем, что мы тестировали небольшое количество участников, у нас нет достаточных данных, чтобы заявить об этом. (Если бы мы рассчитали доверительный интервал для этих данных, он был бы довольно большой.)
Аналогично мы не можем представить показатель успешности выполнения задачи для наших данных.
Неправильно: “Только 16,7% участников смогли выполнить задание успешно”.
Опять же это означает, что тестирование было проведено с большей выборкой, чем это было на самом деле. И подразумевается, что мы ожидали бы увидеть аналогичную пропорцию в нашей общей совокупности пользователей, чего мы не можем сделать на основе этих данных.
Однако мы можем указать количество успешных участников из числа тех, кто пытался выполнить задачу.
Правильно: “Связаться со службой поддержки было очень сложно для участников нашего исследования — только 1 из 6 смог успешно выполнить эту задачу”.
С помощью такого подхода мы предоставляем информацию о том, что задача была трудной, без указания процентной доли, которую было бы очень легко неправильно понять.
