В ходе моих мастер-классов я выработал, с моей точки зрения, максимально рациональный план, которым может воспользоваться всякий (вне зависимости от того, проводите вы тестирование для себя или для большой организации) и который позволит вам в ходе проекта протестировать то, что вы делаете, несколько раз.
Эта методика легко осуществима и приносит результаты. Она обнаруживает ровно столько проблем, сколько вы можете решить. Кроме того, она работает по принципу: самые существенные проблемы решаются первыми.
Сформулируем мой генеральный план так:
Одно утро в месяц – мы не просим о большем
В общем, от вас потребуется раз в месяц проводить раунд тестирования с тремя пользователями.
В день тестирования вы с утра что вам нужно исправить, проводите три теста, а за обедом обсуждаете их результаты. Ко второй половине дня тестирование юзабилити на данный месяц объявляется завершенным и вы знаете, прежде чем приступить к следующему его уровню[12].
Тут есть два ключевых слова, на которых следует сосредоточить внимание.
• Утро. Сокращение времени тестирования до половины дня (а это значит привлечение не более трех участников) облегчает процесс подбора пользователей и позволяет большему числу заинтересованных лиц прийти и понаблюдать за тестированием.
• Месяц. Раз в месяц – оптимальный интервал. С одной стороны, проводить тестирование чаще мало кто готов, с другой же – одно тестирование выявляет достаточно проблем, чтобы вам было чем заняться в течение следующего месяца.
Если вы объявите, что каждый третий четверг месяца вы намереваетесь проводить тестирование, вы таким образом донесете до ваших сотрудников мысль о том, что вы рассчитываете на их присутствие на тестировании, а до разработчиков – что к этому времени у них что-то должно быть готово.
Сделав тестирование регулярным этапом работы, вы избавитесь от необходимости решать, когда проводить тестирование; вы просто будете тестировать то, что окажется готово ко дню тестирования. (Если приходится думать, когда проводить тестирование, то все обычно кончается тем, что оно не проводится никогда.)
Самостоятельное тестирование против Большого Навороченного тестирования
Говоря «одно утро в месяц», я имею в виду не только расписание; это, кроме того, еще и формула, указывающая на то, что этот тест должен быть предельно простым, чтобы вы могли проводить его часто.
«Самостоятельному тестированию» доступно не все, что доступно Большому Навороченному тестированию, но оно достигает результатов, которые вам нужны, за ту цену, которую вы можете себе позволить. Перед вами сводная таблица различий, существующих между двумя этими типами тестирования (все элементы этой таблицы будут подробно прокомментированы в следующих главах):
ЧАВО
А что, действительно достаточно заниматься этим один разв месяц?
Ну, не совсем. Речь идет о том, что тестирование и обсуждение его результатов можно провести за одно утро. И для большинства членов команды на этом тестирование до следующего месяца закончится.
Но как человек, организующий этот процесс, вы перед каждым раундом тестирования должны будете проделать кое-какую подготовительную работу: решить, что именно тестировать, выбрать задания, написать сценарии, набрать участников и пригласить всех заинтересованных лиц.
На первый раз отведите на подготовку по крайней мере 2–3 рабочих дня. Однако при подготовке следующих раундов вы сможете сократить время до двух дней, а то и до одного.
А можно я буду заниматься тестированием чаще, чем разв месяц?
Разумеется. Одно утро в месяц – это минимум. Что бы вы ни делали, результат от более частого тестирования только улучшится.
Важно тут другое – делать это не реже раза в месяц. Как только вы перестанете проводить тестирование каждый третий четверг месяца, вам снова придется принимать решение, когда же его проводить, со всеми неизбежными последствиями.
Наш проект строится на принципах гибкогопрограммирования. А вы говорите – один раз в месяц! Я смеюсь!
Ах да, гибкое программирование[13]. Короткий цикл разработки в гибкой среде – если вы будете ждать целый месяц, вы вне игры. Ну что ж, в таком случае скажем так: «Спринт каждое утро, мы не просим о большем».
Во многих отношениях самостоятельное тестирование прекрасно совместимо с Гибким программированием, основанным на очень быстром производстве работающих элементов и предоставлении их пользователям. Единственная проблема заключается в том, что этими «пользователями» оказываются члены той же команды разработчиков. (Эту проблему и нужно решить.)
Поскольку вы намереваетесь проводить тестирование чаще, чем раз в месяц, то можно сделать каждый раунд еще более компактным (например, два участника вместо трех) и некоторые раунды проводить удаленно (глава 14), что сэкономит вам массу времени. Но в остальном процедура тестирования ничем не будет отличаться.
Главная сложность с тестированием юзабилити в гибкой среде заключается в том, что нужно постоянно бежать впереди паровоза и укладывать для него рельсы. У стремительно работающих программистов нет времени на то, чтобы разрабатывать прототип. Предполагается, что все, что они пишут, – это работающий код.
Это значит, что вам придется тратить часть своего времени на разработку прототипов того, что программисты будут делать в ходе следующего спринта. Значит, на каждом раунде вы сможете тестировать то, что разработано в ходе предыдущего спринта. Плюс бумажный проект того, что им нужно будет делать в ходе следующего.
Обязательно заниматься этим именно по утрам?
По утрам или нет – на результат не влияет. Легко представить себе ситуацию, когда участникам тестирования неудобно заниматься этим в рабочее время, и потому вы вынуждены проводить его в 6, в 7, а то и в 8 вечера (обед в таком случае можно посвятить привлечению наблюдателей, а совещание провести на следующий день, за завтраком или опять-таки за обедом).
Важно уложиться с тестированием в половину рабочего дня (это необходимо для того, чтобы на него могло прийти как можно больше наблюдателей) и обсудить результаты как можно скорее, пока впечатления еще свежи и все помнят детали.
Мне говорят: «Всякий раз ты тестируешь свой продукт на трехпользователях. Прости, но это недостаточный размер выборки. Твои результаты нельзя считать статистически достоверными!» Что ответить на это?
А вот что: «Вы абсолютно правы. Тестирование на трех пользователях не может дать статистически достоверных результатов. Выборка настолько мала, что тут и речи не может быть о статистике. Но цель такого тестирования заключается не в том, чтобы что-то доказать: задача в том, чтобы выявить наиболее существенные проблемы и, решив их, улучшить нашу продукцию. Эта методика работает, потому что большинство проблем настолько очевидны, что их существование не требует "доказательств"».
Постарайтесь произнести это уверенно и дружелюбно.
Что почем? Каков бюджет мероприятия?
Вот расчет затрат на год (за исключением вашего времени), необходимых для проведения самостоятельного тестирования:
А вот «бюджетный» вариант на случай, если вам не выделено вообще никакого бюджета:
Глава 4
Когда и что тестировать
Почему самое трудное приходится делать сначала
Давайте, на следующей неделе мы принесем вам набросок на салфетке побольше.
ТО, ЧТО ВСЕГДА ГОВОРЯТ МОИ КЛИЕНТЫ, КОГДА Я ПРОШУ ИХ ПОКАЗАТЬ ПРОЕКТ ДИЗАЙНА, ХОТЬ НА САЛФЕТКЕ
Очень простая мысль: если вы хотите посмотреть, как люди пытаются использовать создаваемый вами продукт, вам необходимо этот продукт им предоставить, хоть в каком-нибудь виде. Это означает, что вы должны хорошо понимать, что именно вы будете тестировать в следующий раз.