Как оценить обучаемость пользовательского интерфейса

1. Что такое обучаемость?

Обучаемость — это один из пяти составляющих качества юзабилити. Другими составляющими являются:

• эффективность;
• запоминаемость;
• ошибки;
• удовлетворенность. 

Тестирование обучаемости особенно актуально для сложных приложений и систем, к которым пользователи часто обращаются. Хотя знание того, как быстро пользователи могут адаптироваться к вашему интерфейсу, может быть важно даже для объективно простых систем.

Обучаемость оценивает два основных параметра: 

1) насколько легко пользователям выполнить задачу при первом знакомстве с интерфейсом;

2) сколько повторений требуется для того, чтобы пользователи начали успешно выполнять задачу.

Для исследования обучаемости мы строим кривую обучения, которая показывает, как конкретный количественный параметр человеческого поведения изменяется во времени. На основе данных кривой обучения мы можем определить, сколько времени требуется пользователям для достижения насыщения. Насыщение представлено на графике в виде плато (состояние кривой, когда она имеет постоянные значения), которое свидетельствует о том, что пользователи освоили интерфейс настолько хорошо, насколько это возможно.

Представьте ситуацию: мы модифицируем корпоративное приложение для  резервного копирования файлов, предназначенное для регулярного запуска ИТ-администраторами. Мы предполагаем, что администраторы будут использовать приложение достаточно часто для того, чтобы продвигаться по кривой обучения. Для такого типа приложений очень важно, чтобы пользователи могли как можно быстрее закончить процесс работы. В данном случае, исследование обучаемости определит, как быстро администраторы научатся эффективно выполнять резервное копирование.

Исследование проводится следующим образом:

1. Мы набираем группу из нескольких подходящих пользователей и приглашаем их в лабораторию;
2. Просим их выполнить резервное копирование и измеряем, сколько времени им потребуется для этого в первый раз; 
3. Затем мы просим их прийти в лабораторию во второй раз и выполнить то же самое задание — опять же, измеряя время, которое потребуется для его выполнения;
4. Этот процесс повторяется еще несколько раз;
5. Результат нашего исследования — кривая обучения, отражающая зависимость времени выполнения задания от количества попыток.

2. Обучаемость и эффективность

Существует 3 различных аспекта обучаемости, каждый из которых важен для определенного типа пользователей:

• Обучаемость при первом использовании: Насколько легко использовать продукт при первом взаимодействии? Этот аспект обучаемости представляет интерес для той группы пользователей, которая будет выполнять задание только один раз. Эти пользователи не будут продвигаться по кривой обучения, поэтому им все равно, как она выглядит.
• Крутизна кривой обучения: Как быстро люди обучаются при многократном использовании сайта? Этот аспект обучаемости особенно важен для тех пользователей, которые будут использовать сайт несколько раз, даже если они не будут использовать его постоянно. Если люди почувствуют, что им с каждым разом становится все проще взаимодействовать с вашим продуктом — они будут использовать ваш продукт на постоянной основе. Напротив, если люди почувствуют, что как бы они ни старались, легче со временем не станет — они начнут искать лучшее решение для выполнения задачи среди ваших конкурентов.
• Уровень плато: Насколько продуктивно пользователи смогут выполнять свои задачи с помощью этого интерфейса, когда они полностью научатся им пользоваться? Этот аспект особенно важен для клиентов с потребностью в частом и длительном использовании системы — например, когда она является основным инструментом для решения их важных рабочих или повседневных задач.

В идеале, ваш продукт должен успешно справляться со всеми тремя аспектами. Но в реальности, дизайн не может обойтись без компромиссов. Вы должны сформировать кривую обучения, чтобы обслуживать в основном тех пользователей, которые имеют наибольшую ценность для вашего бизнеса.

Также важность этих аспектов определяется в зависимости от опыта пользователей:

• Новые пользователи хотят быстро освоить систему и как можно скорее добраться до точки оптимальной производительности (плато);
• Опытные пользователи хотят, чтобы плато было как можно ниже, т.е. чтобы оптимальное время выполнения задачи было как можно короче.

Иногда эти различные аспекты обучаемости могут тянуть дизайн в разные стороны. Например, легко осваиваемая система не всегда является эффективной.

Возвращаясь к нашему примеру, предположим, что резервное копирование выполнялось администратором пошагово с помощью мастера форм с большим количеством инструкций и пояснений. Эта система может быть легко обучаемой: пользователи могут выполнять задание максимально быстро, даже если они делают это в первый раз. Но кривая будет достаточно плоской — они не смогут выполнить задачу намного быстрее во второй раз, так как им придется проходить через те же самые экраны и отвечать на одни и те же вопросы.

По мере того, как пользователи станут хорошо ориентироваться в интерфейсе, этот дизайн будет ощущаться как сдерживающий и неэффективный для многократного использования. Именно по этой причине мы рекомендуем внедрять возможность сокращения процесса для опытных пользователей. Дизайнеры должны аккуратно балансировать между обучаемостью и эффективностью.

3. Почему стоит измерять обучаемость?

Высокая обучаемость системы способствует удобству использования (юзабилити). Это приводит к быстрому вводу продукта в эксплуатацию, что означает низкие затраты на обучение. Кроме того, обучаемость влияет на уровень удовлетворенности. Так, хорошая обучаемость позволит пользователю почувствовать уверенность в своих силах, и, соответственно, испытать максимальную степень удовлетворенности собой.

Если Ваша система и соответствующие задачи достаточно сложны, а пользователи часто обращаются к ним, то Ваш продукт является идеальным примером для исследования обучаемости.  Исследования обучаемости требуют много времени и денег, поэтому не стоит предлагать их владельцам бизнеса бессистемно. 

Нет смысла измерять обучаемость для задач, которые пользователи выполняют крайне редко или однократно (например, подписываются на услугу или уплачивают ежегодные налоги). В такой ситуации пользователи, скорее всего, будут вести себя как новички каждый раз, когда они сталкиваются с этой задачей. В этих случаях стандартное тестирование юзабилити было бы более экономичным и подходящим вариантом исследования, чем изучение обучаемости.

4. Проведение исследования обучаемости

В исследовании обучаемости мы сосредоточены на сборе показателей, поэтому мы  используем количественные методы исследования. Такой вид исследований требует четко сформулированных задач и контролируемых экспериментов, поэтому количественное тестирование юзабилити лучше всего подходит для изучения обучаемости системы.

Испытуемые

Цель проведения подобных исследований — определить, насколько легко люди осваивают наши интерфейсы. Поэтому важно подобрать участников, практически не имеющих опыта использования системы, которую они будут исследовать.

Важный аспект, который всегда следует учитывать при тестировании обучаемости — предыдущий опыт взаимодействия участника с аналогичными системами. Предыдущий опыт может по-разному повлиять на результаты тестирования:

• может помочь пользователям: потому что испытуемые могут быть уже знакомы с подобными правилами использования;
• может замедлить действия пользователей: потому что они могут столкнуться с неприятием изменений.

Тем не менее, данный факт не снижает ценность полученных данных. Напротив, эти данные могут быть особенно полезны при запуске нового продукта: вы можете использовать их с целью переманить клиентов у уже существующих компаний. По возможности целесообразно будет набрать две группы участников с различным опытом:

• участников, не имеющих опыта предыдущего взаимодействия с аналогичными системами; 
• участников, имеющих  минимальный подобный опыт.

На основании сравнения результатов этих двух групп, вы сможете извлечь дополнительную важную информацию.

Для любого количественного исследования, мы рекомендуем набирать достаточно большое количество участников (обычно не менее 30-40). Точное число будет зависеть от сложности вашей задачи. Очень сложные задачи требуют большого количества участников для получения достоверных данных по множеству параметров,  а более простые задачи — малого количества.

Шаг 1: Определите показатель измерения

Наиболее распространенный показатель, используемый для исследования обучаемости — время, затраченное на выполнение задания. Причиной тому является степенной закон обучения, который гласит: время, необходимое для выполнения задания, уменьшается с количеством повторений этого задания. В оставшейся части этой статьи подразумевается, что вы выбрали время, затраченное на выполнение задачи, в качестве основного показателя.

В некоторых ситуациях время может быть недостаточно эффективным показателем для анализа обучаемости. Поэтому, вы можете вместо показателя времени использовать количество ошибок, совершаемых пользователями при выполнении задачи.

Шаг 2: Определите количество проб

Следующим шагом вам предстоит решить, как часто собирать данные. Каждая попытка сбора данных называется пробой.

Помните, что мы строим график, показывающий зависимость параметров измерений от времени, поэтому критически важно, чтобы одни и те же участники выполняли одну и ту же задачу несколько раз. Мы рекомендуем повторять попытки до тех пор, пока не будет достигнуто плато. Сглаженная кривая указывает на то, что наши участники успешно освоили изучаемую систему.

При организации плана исследования следует задать себе два вопроса: 

1. Сколько проб следует провести? 
2. Насколько далеко друг от друга по времени должны располагаться эти пробы?

Ответы на эти вопросы будут изменяться в зависимости от конкретного случая и обстоятельств.

Чтобы предсказать количество испытаний, необходимых пользователю для достижения плато, в первую очередь учитывайте сложность вашей системы. Для начала можете установить количество в 5-10 проб, но важно помнить, что в случае сомнений, всегда лучше запланировать большее количество попыток, чем кажется вам необходимым, поскольку: 

1. Вы должны быть уверены, что достигли стабильного результата — плато;
2. Если вы достигли плато раньше, чем планировали — отменить будущие сеансы гораздо проще, чем добавить в график дополнительные встречи сверх оговоренных в начале исследования.

Если у вас возникают трудности с определением количества времени, которое необходимо оставить между пробами, подумайте, с какой частотой клиенты будут использовать ваш продукт в реальной жизни и постарайтесь организовать этот интервал, соответствующий вашим ожиданиям. Это может выглядеть следующим образом:

• Для задач, которые пользователи выполняют ежедневно или несколько раз в неделю — проводите испытания в течение нескольких дней подряд;
• Для задач, выполняемых раз в месяц — запланируйте перерыв между пробами не менее 4 недель.

Шаг 3: Соберите и опубликуйте данные

Обязательное условие исследования обучаемости — в каждой пробе одни и те же участники должны выполнять одни и те же задания. Это отличается от обычного случая изучения юзабилити, когда предполагается, что в каждом испытании разные пользователи должны взаимодействовать с разными элементами вашего продукта. 

В некоторых случаях у вас может возникнуть необходимость  изучить обучаемость на базе нескольких разных задач. В такой ситуации, чтобы избежать искажения результатов, необходимо расположить задачи в случайном порядке. Во время подобного исследования пользователи могут обучаться выполнению одних задания и переносить освоенные навыки на другие. Рандомизация заданий помогает снизить степень искажения данных под влиянием переноса опыта.

Для получения результатов такого исследования, вам потребуется:

1. рассчитать средние значения для каждого испытания среди всех участников;
2. нанести полученные данные на линейный график с помеченными осями;
3. построить график данных для каждого испытания.

В результате вы получите кривую обучения для конкретного задания.

Шаг 4: Проанализируйте кривую

Для любого количественного исследования вам необходимо проанализировать статистическую значимость собранных данных. Другими словами, вы должны выяснить, действительно ли изучаемая переменная была причиной изменения результатов, изображенных на графике. Вы должны убедиться, что спад кривой не является просто результатом шума в данных. Для выявления статистической значимости данных достаточно использования простого статистического метода ANOVA.

После того, как вы убедились в статистической значимости результатов, проанализируйте общую картину: каков наклон вашей кривой обучения? Интерфейсы с низкой обучаемостью имеют на графике относительно небольшой наклон кривой и требуют большего количества повторений, чтобы достичь точки насыщения. Напротив, системы с высокой обучаемостью имеют на графике кривые с крутыми наклонами и достигают точки насыщения после меньшего количества повторений.

Например, в описанном выше примере резервного копирования файлов, испытуемым потребовалось 4 пробы, чтобы достичь плато насыщения и научиться действовать эффективно. Этот результат является приемлемым с точки зрения юзабилити.  С другой стороны, если бы испытуемым потребовалось 30 проб, чтобы достичь той же точки, то обучаемость, вероятно, можно было бы признать слишком низкой.

Также необходимо учитывать конечную эффективность: допустимо ли, что после того, как пользователи освоят выполнение задачи, они будут затрачивать на ее выполнение по 10 минут? Ответ на этот вопрос в первую очередь будет зависеть от результатов конкурентов. Если конкурентный анализ не применим, то вы можете сравнить результаты с затратами и ROI: если администратор тратит 10 минут в день на выполнение задачи резервного копирования и выполняет задачу ежедневно в течение года, то это составляет 3650 минут или приблизительно 60 часов. При стоимости оплаты труда администратора в 100 долларов/час это означает, что компания потратит 6000 долларов на выполнение резервного копирования. Приемлема ли эта сумма или может потребоваться снизить ее путем усовершенствования дизайна, будет зависеть от специфики каждого конкретного продукта и случая.

Заключение

Обучаемость продукта позволяет определить, насколько быстро пользователи достигают эффективного взаимодействия с ним. В первую очередь, важно измерять обучаемость для тех пользовательских интерфейсов, которые используются относительно часто. Исследование обучаемости включает в себя повторные измерения результатов одних и тех же участников, выполняющих одно и то же задание. Результатом исследования обучаемости является кривая обучения, которая наглядно демонстрирует, сколько повторений необходимо пользователю для наиболее эффективного выполнения задания.

Даже если вы не планируете проводить полное исследование обучаемости вашего продукта, знакомство с данными концепциями поможет вам принимать верные  решения при разработке, которые в первую очередь будут благоприятно влиять на основных пользователей.