Дизайн исследования между субъектами и внутри субъектов

Каждый из них имеет свои преимущества и недостатки, которые мы рассмотрим в данной статье.

Для сравнения нескольких пользовательских интерфейсов в одном исследовании необходимо назначить участников теста на эти несколько ситуаций. Это можно осуществить двумя способами: 

• Дизайн исследования между субъектами (или между группами): каждая ситуация тестируется разными людьми, но таким образом, что каждый участник тестирования имеет доступ только к одному пользовательскому интерфейсу.
• Дизайн исследования внутри субъектов (или повторных измерений): один и тот же человек тестирует все ситуации (то есть все пользовательские интерфейсы).

(Обратите внимание, что здесь мы используем слово «дизайн» для обозначения плана эксперимента, а не дизайна веб-сайта.)

Например, если бы мы хотели сравнить два сайта по аренде автомобилей A и B, глядя на то, как участники бронируют автомобили на каждом сайте, наше исследование можно было бы спланировать двумя разными способами. И каждый из этих способов был бы верным:

1. Между субъектами: каждый участник тестирует один из сайтов по аренде автомобилей и бронирует автомобиль только на этом сайте.
2. Внутри субъектов: каждый участник тестирует оба сайта по аренде автомобилей и бронирует автомобиль на каждом из них.

Любой тип пользовательского исследования, включающий в себя более одного условия тестирования, должен определять, проводится он между субъектами или внутри субъектов. Это различие особенно важно для количественных исследований.

Экспериментальный дизайн в количественных исследованиях

В отличие от качественных исследований, количественные исследования юзабилити нацелены на получение результатов, которые со статистической вероятностью могут быть обобщены на всех пользователей. То, как анализируются данные таких исследований, зависит от того, как оно было спланировано (то есть от экспериментального плана исследования).

Часто основной целью количественных исследований юзабилити является сравнение сайта с конкурентами, двух разных версий дизайна или двух разных групп пользователей (например, экспертов и новичков). Как и в любом научном эксперименте, в котором мы хотим обнаружить причинно-следственные связи, количественное исследование включает в себя два типа переменных:

• Независимые переменные, которыми непосредственно манипулирует исследователь
• Зависимые переменные, которые измеряются (и ожидается, что они изменятся в результате манипуляции с независимыми переменными)

Если исследование дает статистически значимые результаты, то можно сказать, что изменение независимой переменной вызвало изменение зависимой переменной.

Вернемся к нашему первоначальному примеру с прокатом автомобилей. Если бы перед нами стояла задача: определить какой из двух сайтов, A или B, лучше подходит для  бронирования автомобиля, мы бы поступили следующим образом:

• сайт (с двумя возможными значениями или уровнями - A и B) был бы выбран в качестве независимой переменной;
• своевременное выполнение задачи и точность бронирования автомобиля — в качестве зависимых переменных. 

В таком случае цель исследования — определить, изменяются ли зависимые переменные (время и точность), при изменении сайта, или остаются неизменными. В результате, если они останутся неизменными, то ни один из сайтов не лучше другого.

Следующий вопрос, на который мы должны ответить при планировании исследования: план взаимодействия должен осуществляться между субъектами или внутри субъектов?

Другими словами, участник исследования будет подвергаться воздействию:

• всех различных ситуаций для независимой переменной — внутри субъектов;
• только одной ситуации — между субъектами.

Ответ на данный вопрос имеет определяющее значение, поскольку от выбора экспериментального плана исследования зависит тип статистического анализа, который следует использовать для ваших данных.

Вполне возможно, что экспериментальный план исследования является как внутри-субъектным, так и между-субъектным. Например, предположим, что в случае нашего исследования сайтов по аренде автомобилей нам также было интересно узнать, как действуют участники моложе 30 лет по сравнению с участниками старшего возраста. В этом случае у нас были бы две независимые переменные:

• Возраст, с 2 уровнями: до 30, старше 30
• Сайт, с 2 уровнями: A и B

Для исследования мы наберем равное количество участников в каждой возрастной группе. Рассмотрим несколько возможных ситуаций:

• В первой ситуации, допустим, мы решили, что каждый участник младше или старше 30 лет должен забронировать автомобиль как на сайте A, так и на сайте B. Соответственно, исследование будет проводиться внутри субъектов по отношению к независимой переменной Сайт, поскольку каждому из участников доступны оба уровня этой переменной —  сайты A и B;
• Существует другая ситуация, в которой участник может принадлежать только к одной возрастной группе: либо младше, либо старше 30 лет (но не к обеим сразу). В таком случае исследование проводится между субъектами в зависимости от возраста. Теоретически, вы можете выбрать группу участников младше 30 лет и подождать, пока им не исполнится 30, чтобы они снова протестировали сайты, но такой подход крайне непрактичен для большинства реальных ситуаций.

Существует ряд независимых переменных, которые могут повлиять на выбор дизайна. К ним относятся:

• Возраст: как показано в разобранном выше примере;
• Экспертные знания: если мы хотим сравнить экспертов и новичков;
• Тип пользователя: если мы хотим сравнить разные группы пользователей или персонажей — например, бизнес-путешественник или турист;
• Гендер: при условии, что человек не относит себя к нескольким гендерам одновременно). 

Помимо юзабилити, испытания лекарственных препаратов являются одним из распространенных случаев межсубъектного плана исследования. В ходе таких испытаний участники получают только одно лечение: либо исследуемый препарат, либо плацебо, но не оба. А иногда сам процесс исследования меняет состояние участника. Например, если вы хотите увидеть, какая из двух учебных программ более эффективна для обучения чтению, вы не можете позволить одному и тому же учащемуся изучать обе, потому что, как только ученик научится читать, он не сможет разучиться.

Какой дизайн исследования лучше: между субъектами или внутри субъектов?

К сожалению, на этот вопрос нет простого ответа. Как видно выше, иногда ваши независимые переменные определяют дизайн эксперимента. Но во многих ситуациях возможны оба варианта.

• Дизайн исследования между субъектами сводит к минимуму обучение и переход между условиями. После того, как участник исследования выполнил серию задач на сайте по аренде автомобилей, он больше осведомлен о предметной области, чем раньше. Например, теперь он знает, что сайты по аренде автомобилей взимают дополнительную плату с водителей младше 21 года или какие условия дополнительного страхования в случае аварий или повреждений предлагаются на сайте. Эти знания, вероятно, помогут участнику повысить эффективность работы на втором сайте по аренде автомобилей, даже если этот второй сайт может сильно отличаться от первого.

При межпредметном дизайне исследований такой перенос знаний не является проблемой - участники никогда не сталкиваются с несколькими уровнями одной и той же независимой переменной.

• Дизайн исследования между субъектами требует меньше времени, чем внутри субъектов. Участник, который тестирует один сайт по аренде автомобилей, справится намного быстрее, чем тот, кто тестирует два  сайта. Более быстрое тестирование менее утомительно (и не так скучно) для пользователей, а также может быть более подходящим для удаленного немодерируемого тестирования (тем более, что такие инструменты, как UserZoom, обычно требуют довольно короткой продолжительности сеанса связи).
• Эксперименты между субъектами легче организовать, особенно если у вас есть несколько независимых переменных. Когда исследование проводится внутри субъектов, вам придется использовать рандомизацию стимулов, чтобы убедиться, что последовательность ни на что не влияет. Например, в нашем исследовании аренды автомобилей нам нужно убедиться, что участники не всегда начинают с сайта A, а затем переходят на сайт B. Порядок сайтов должен быть случайным для каждого участника. Это просто с двумя сайтами: случайным образом назначьте по 50% пользователей на каждый сайт. Но по мере увеличения количества независимых переменных и уровней для каждой независимой переменной, становится все труднее реализовать рандомизацию в рамках некоторых существующих платформ для количественного тестирования юзабилити.
• Дизайн исследования внутри субъектов требует меньшего количества участников и дешевле в эксплуатации. Чтобы обнаружить статистически значимую разницу между двумя ситуациями, часто требуется достаточное количество точек данных (то есть промежуточных результатов), (часто выше 30) в каждой из ситуаций. При внутрисубъектном дизайне каждый участник предоставит точку данных для каждого уровня независимой переменной. Для нашего исследования по аренде автомобилей 30 участников предоставят точки данных для обоих сайтов. Но если исследование проводится между субъектами, вам понадобится в два раза больше участников, чтобы получить одинаковое количество точек данных. То есть исследование станет в два раза дороже.
• Дизайн внутри субъектов сводит к минимуму случайные помехи. Возможно, самым важным преимуществом внутрисубъектного дизайна является то, что он снижает вероятность того, что реальная разница, существующая между вашими условиями, останется незамеченной или будет искажена случайными помехами.

Отдельные участники привносят в тестирование свою историю, базовые знания и контекст. Один может устать после долгой вечеринки, другой может заскучать, а третий, возможно, получил отличную новость незадолго до начала исследования и счастлив. Если один и тот же участник взаимодействует со всеми уровнями переменной, он повлияет на них одинаково. Счастливый человек будет счастлив на обоих сайтах, усталый останется таким тоже на обоих. Но если исследование проводится между субъектами, счастливый участник будет взаимодействовать только с одним сайтом и может повлиять на окончательные результаты. Поэтому вы должны убедиться, что у вас есть такая же счастливая участница в другой группе, чтобы компенсировать неравенство.

На практике исследователи не смогут оценить такие различия между участниками - хотя они могут совпадать по полу, опыту и возрасту в разных группах, будет сложно предсказать или обнаружить другие факторы, характерные для каждого участника.

Рандомизация: важна для обоих типов дизайна исследований

Независимо от того, осуществляется ли ваш экспериментальный план внутри субъектов или между субъектами, вам придется заниматься рандомизацией, хотя и немного по-разному.

Как было сказано выше, важность рандомизации для внутрисубъектных планов определяется тем, что она:

• противодействует возможным эффектам порядка;
• минимизирует перенос полученных знаний и обучение в разных условиях.

Что касается межсубъектных планов, важно чтобы распределение участников не оказывало влияние на результаты вашего исследования. Поэтому вы должны проконтролировать, чтобы участники распределялись по условиям случайным образом.

Почему это так важно? Представьте следующую ситуацию: исследователь решил, что все понравившиеся ему участники будут взаимодействовать с сайтом А, после чего он обнаруживает, что сайт А работает лучше, чем сайт B. В конечном итоге, он не сможет понять, обнаружена ли истинная разница между сайтами или результат просто отражает его назначение. Поскольку люди, чувствующие, что им импонируют, склонны отвечать взаимностью, проявлять большую терпимость в каких-то моментах или просто иметь позитивный настрой во время тестирования.

Даже без такой очевидной предвзятости, как ваши личные предпочтения, легко ошибиться при рандомизации. Предположим, вы проводите исследование в течение четырех дней, с субботы по вторник. Вы можете решить, что первая половина пользователей начинала свои тестирования с сайта A, а вторая половина пользователей начинала с сайта B. Однако это не является истинной рандомизацией, потому что очень вероятно, что определенная часть людей с скорее всего согласится на исследование в выходные дни, а другая с большей вероятностью запишется на тестирования в будние дни.

Заключение

Пользовательское исследование может быть проведено следующими способами:

• Между субъектами;
• Внутри субъектов;
• Между субъектами и внутри субъектов.

Это определяется тем, подвержен участник только одному условию (между субъектами) или всем предоставленным условиям, которые варьируются в рамках исследования (внутри субъектов). 

Каждый из этих типов экспериментального дизайна имеет свои преимущества и недостатки:

• Внутрисубъектный дизайн исследования требует меньшего количества участников и увеличивает шанс обнаружить настоящую разницу между вашими условиями.

Межсубъектный дизайн исследования сводит к минимуму перенос полученных знаний от ситуации к ситуации, требует меньше времени на реализацию и может быть проще в организации и анализе.