Аудит от независимых экспертов

поможет выявить проблемы на вашем сайте


 

 
 
 

Почему для тестирования достаточно всего пять пользователей?

Почему для тестирования достаточно всего пять пользователей?
В представлении некоторых людей, юзабилити является дорогостоящим и сложным мероприятием. Они думают, что проведение тестов с привлечением пользователей нужно планировать изредка, в основном для проектов с большими бюджетами, рассчитанных на длительные сроки. Но это не так.

Разработка громоздких сценариев является пустой тратой времени. Превосходные результаты можно получить, выполняя тестирование с участием всего пяти человек. При такой организации труда можно собрать большое количество корректных данных. К тому же, есть возможность выполнить столько подобных «маленьких» тестов, сколько потребуется.

Якоб Нильсен и Том Ландауэр вывели эмпирическую формулу, согласно которой количество проблем юзабилити, выявленных во время тестирования с привлечением n пользователей, равно:

N * (1 – (1 – L)n);

Где N — это общее количество проблем с юзабилити в дизайне (100%), L — число недоработок (в процентах), обнаруженных во время тестирования одного пользователя. Практическое изучение проектов позволило вывести среднюю величину: L = 31%. В этом случае построение графика зависимости общего числа обнаруженных проблем от количества привлеченных к исследованию людей дает следующую картину:


Логично, что линия графика начинается в нулевой точке — без приглашения респондентов результат работы отсутствует.

Исследование проблем дизайна с участием одного пользователя уже дает много фактов для размышления. Специалист получает информацию о почти третьей части от общего количества юзабилити-проблем. Разница между нулевой отметкой и привлечением всего одного человека поражает.

Во время работы со вторым участником руководитель замечает, что этот объект наблюдения во многих случаях поступает так же, как и предыдущий. Однако все люди разные, и совпадение будет далеко не полным. Второй респондент добавляет определенное количество информации к той, которая была получена после работы с первым, но из-за повторения части действий увеличение не будет двукратным. То же самое происходит с третьим и последующими. Каждый из них повторяет многое из того, что делали предыдущие участники, и добавляет что-то свое. Причем доля оригинальных фактов с каждым разом становится все ниже.

В результате, чем выше порядковый номер очередного пользователя, тем меньше новой информации можно получить при исследовании его действий из-за повторения того, что уже было с предыдущими участниками. А поскольку во время работы каждый факт достаточно получить один раз, то нет необходимости наблюдать многократно одни и те же явления. Можно с уверенностью утверждать, что после пятого респондента руководитель, в случае привлечения новых людей, тратит свое время напрасно.

Итерационный метод выбора дизайна

Рассматривая график, можно подумать, что для получения корректных результатов необходимо привлечь к исследованию не менее 15 пользователей. Почему же рекомендуется тестировать дизайн с участием только 5 человек?

Главная причина в том, что повышения эффективности работы лучше распределить бюджет проекта для проведения нескольких тестирований с малым количеством участников, а не тратить деньги на большое, но единственное исследование. Допустим, если выделенных средств достаточно для проверки дизайна с участием 15 пользователей, то лучше разделить эту статью бюджета на три теста, по 5 человек в каждом.

Проведение нескольких проверок лучше потому, что цель юзабилити — доработка дизайна, а не простое документирование выявленных недостатков. На первом исследовании с участием 5 пользователей обнаруживается в среднем около 85% проблем с юзабилити, которые будут исправлены в дальнейшем. Получится новый дизайн, тоже неидеальный, ведь трудно предположить, что кто-то в состоянии разработать интерфейс без ошибок. К тому же, при его разработке может появиться проблема, которой раньше не было.

Во время второго тестирования с очередными пятью пользователями будет исправлена большая часть ошибок из оставшихся 15%. В результате, как показывает практика, после этой работы остается около 2% от первоначального количества проблем. Еще один плюс повторной проверки — возможность более глубокого исследования структуры сайта, получения ответов на такие вопросы, как информационная архитектура, скорость и легкость решения стоящих перед посетителями задач и способность инструментов интерфейса удовлетворять их потребности. Во время первого исследования часто нет возможности «копнуть глубже» из-за наличия многочисленных проблем юзабилити, т.к. проект еще «сырой».

Поэтому второй тест не только контролирует, насколько качественно исправлены ошибки, обнаруженные во время первого исследования, и помогает найти новые недостатки. Он обеспечивает лучшее понимание того, насколько удобен интерфейс для работы. Это же относится и к модернизации дизайна после второй проверки — не все ошибки будут исправлены, для решения некоторых вопросов потребуется еще более углубленное тестирование. Таким образом, третий тест в любом случае необходим. Поэтому проведение трех проверок с пятью пользователями в каждой намного полезнее, чем выполнение одного большого исследования с участием 15 человек.

Так, может, достаточно одного пользователя?

Исходя из вышесказанного, можно сделать вывод о том, что при бюджете на проведение теста с участием 15 человек лучше сделать 15 проверок, привлекая на каждую только 1 респондента. Это, наверное, еще эффективнее, чем три теста по пять пользователей. Тем более, что именно от первого участника руководитель получает максимум информации. Но такой подход будет ошибочным по двум причинам:
  1. При участии только одного человека всегда существует риск получения некорректных данных из-за того, что его поведение может, по каким-то причинам (последствия недавней аварии, особенности характера и т.д.) оказаться нетипичным. Для того, чтобы понять, какие действия являются стандартными, а какие — оригинальными и редко встречающимися, необходимо участие как минимум трех пользователей.
  2. Анализ соотношения затрат на тестирование и полученных выгод от его проведения показывает, что оптимальный результат получается при участии трех — пяти респондентов. Конкретное количество зависит от способа тестирования. Это связано с тем, что всегда есть определенные первоначальные расходы на планирование и управление работой — при участии нескольких человек они занимают меньшую долю в общих затратах.

В каких случаях для исследования привлекается большее количество участников?

Все вышесказанное справедливо для тех сайтов, которые предназначены для однотипной целевой аудитории. Если пользователи относятся к разным группам, то для проведения исследований надо пригласить большее количество человек. 
 
Например, разрабатывается сайт, предназначенный для детей и их родителей. Это две группы с очень разным поведением, поэтому в тестировании должно присутствовать достаточное количество представителей обеих категорий. То же самое справедливо и для системы, с которой будут работать продавцы и покупатели. 

Однако, не надо удивляться тому, что, несмотря на различие поведения представителей разных групп, в результатах окажется немалое сходство. Ничего странного, все пользователи — люди. К тому же, многие из обнаруженных проблем будут относиться к фундаментальным вопросам взаимодействия человека с интернетом.

При работе с несколькими категориями респондентов не обязательно иметь в каждой из них такое же количество участников, как и при работе с одной группой. За счет повторения результатов можно получить корректные данные с привлечением меньшего числа людей:
  • при исследовании двух категорий — по 3-4 человека в каждой;
  • при работе с тремя и более группами достаточно иметь в каждой по 3 человека (как было сказано выше, это минимальное количество для того, чтобы быть уверенным в получении типичных поведенческих реакций).
 
Голосов: 4
Баллы рейтинга: 18

Kvinto пишет:
17.02.2012 15:47
Отлично! И ссылочку на эту статью - заказчикам, чтобы не мучались с выбором количества аудиторов ))
Vadim пишет:
06.05.2012 11:28
А вот я не полностью соглашусь с данной статьей, потому как не могут 5-ть человек представить все типы поведенческих реакций, их круг намного шире чем 5 вариантов.
new пишет:
06.05.2012 11:31
  А вот я не полностью соглашусь с данной статьей, потому как не могут 5-ть человек представить все типы поведенческих реакций, их круг намного шире чем 5 вариантов.
Юлий пишет:
09.05.2012 16:45
Я еще серьезно не задумывался о тестировании, но на будущее буду знать. Но пять... я взял бы человек семь, любимое число =) А если серьезно, просто нужен точный результат, лучше потратить больше на тестирование, и иметь достоверные данные.
Хотя, я почти уверен, что здесь расписано все верно и это будет лишним.