Тестирование юзабилити. Лекция №3. Часть 2

1. Тестирование юзабилити Часть 2

Лекция № 3

2. План

Эвристическая оценка юзабилити
Исследование пользовательского выбора
цвета

3. Понятия

Эвристика – научная область, изучающая особенности творческой
деятельности, совокупность приемов и методов, облегчающих и
упрощающих решение познавательных, конструктивных, практических
задач
Эвристический метод – система правил, которые задают наиболее
вероятностные стратегии и тактики деятельности решающего,
стимулирующие его интуитивное мышление в процессе решения,
генерирование новых идей и на этой основе существенно повышающие
эффективность решения определенного класса творческих задач.
Принципиально отличается от алгоритмического подхода к решению
задач, который жестко детерминирует действия и гарантирует решение
при условии выполнения объявленных условий
Эвристический алгоритм – алгоритм решения задачи, не являющийся
гарантированно точным или оптимальным, но достаточный для решения
поставленной задачи. Дает достаточно хорошее решение в большинстве
случаев

4. Эвристическая оценка юзабилити

Придумал Якоб Нильсен (и Рольф Молич)
в 90-х гг.
Малозатратная по времени
Требует 3-5 оценщиков
Оценщики необязательно должны быть
экспертами в предметной области и даже в
юзабилити
Находят около 50%-75% ошибок в
юзабилити

5. 10 эвристик Нильсена

Отображение статуса системы
Соответствие между системой и реальным миром
Свобода действий и контроль
Единообразие и стандарты
Профилактика ошибок
Видимость, а не переходы
Гибкость и эффективность использования
Эстетика и минимализм
Помогите пользователям распознавать, диагностировать
и исправлять ошибки
10. Помощь и документация
Любой специалист может составить
и свой собственный чек-лист
1.
2.
3.
4.
5.
6.
7.
8.
9.

6. Эвристики юзабилити в ISO 9241-110: Эргономика системы взаимодействия человека – Часть 110: Принципы диалогов

1. Пригодность: Подходит ли содержание для задач и
квалификации пользователя?
2. Самоописание: Может ли содержание пояснять каким
должен быть следующий шаг пользователя?
3. Соответствие ожиданиям пользователя: Содержательно
ли содержание?
4. Пригодность для обучения: Может ли содержание
обучать?
5. Управляемость: Может ли пользователь контролировать
темп и последовательность взаимодействия?
6. Толерантность: Толерантно ли содержание к ошибкам?
7. Возможность персонализации: Может ли содержание
быть настроено так, чтобы подходить пользователю?

7. Шаг 1. Заполнение экспертами таблиц

Найденная проблема
Номер
нарушенной
эвристики
Задача,
которая
решалась
Значимость
проблемы
(0..4)
Не было подсказки, что нужно нажать кнопку
«Сохранить ответ», прежде чем щелкать
«Следующий вопрос»
2
Вопрос 1
2
При щелчке «Следующий вопрос» в
диалоговом окне «Вы уверены?» нужно
кнопки не «OK/Cancel», а «Yes/No»
3
Вопрос 2
3
При случайном закрытии окна тест
начинался заново, а не с того вопроса, на
котором пользователь остановился
5
Вопрос 3
2
В левом верхнем углу номер вопроса
показывается в двух разных форматах
7
Все
вопросы
2
В вопросах на множественный выбор нет
указания, что это множественный выбор
2
Вопрос 712
3

8. Шаг 1. Заполнение экспертами таблиц

Найденная проблема
Номер
нарушенной
эвристики
Задача,
которая
решалась
Значимость
проблемы
(0..4)
Инструкции сливаются с заданием в одно
предложение
7
Вопрос 12
4
В текстовом поле уже написано 1 по
умолчанию
3
Вопрос 13
2
В текстовое поле можно писать все, что
угодно, даже не текст
3
Вопрос 13,
14
3
Если оставить текстовое поле пустым, не
показывается ошибка
6
Вопрос 14
3
В вопросе есть закрывающая скобка, но нет
открывающей
3
Вопрос 15
1
Мелкий текст, трудно читать
3
Вопросы 1,
7-12, 15
3

9. Шаг 2. Сбор статистики найденных ошибок

Фиксируем, сколько раз была найдена каждая
ошибка

10. Шаг 3. Статистика значимости ошибки

Для каждой ошибки собираем статистику
по ее значимости: сколько ошибок было
найдено со значимостью 0? Со
значимостью 1? Со значимостью 2? 3? 4?
Найденная проблема
Значимость ошибок
Значимость
0
1
2
3
4
0
15
21
5
1
Выбираем те ошибки, которые имеют
значимость 3 или 4 (в данном случае таких
ошибок 5+1=6)

11. Шаг 4. Расчет средней значимости для ошибки

Для каждой ошибки со значимостью 3 или
4 считаем среднее среди экспертов
Эксперты
Ошибка «Нет указания, что
можно выбрать несколько
вариантов ответов в вопросе
на множественный выбор»
Среднее
1
2
3
4
5
3
4
3
3
-
3,25

12. Шаг 5. Расчет индекса вреда (Damage Index)

DI – индекс вреда
S – средний балл значимости
n – количество экспертов, нашедших
ошибку
N – общее количество экспертов

13. Шаг 5. Расчет индекса вреда (пример)

S – средний балл значимости ошибки
n – количество экспертов, нашедших
ошибку = 4
N – общее количество экспертов = 5

14. Шаг 6. Рейтинг ошибок по индексу вреда

Рассчитываем индекс вреда для всех
ошибок со значимостью 3 или 4
Выбираем ошибки с наибольшим
значением индекса вреда
Почему бы просто не выбрать ошибки, у
которых эксперты поставили значимость 3
или 4?

15. Шаг 6. Рейтинг ошибок по индексу вреда (пример)

Мелкий текст трудно читается DI=0,83
Нет указания, что можно выбрать несколько
вариантов ответов в вопросе на множественный
выбор DI=0,65
Пользователь дал неправильный ответ из-за
ошибок в орфографии в тексте вопросов DI=0,25
Пользовать ввел, по его мнению, правильный
ответ в текстовое поле, но система выдала
ошибку ввода, пользователь не разобрался, как ее
исправить и просто пропустил вопрос DI=0,20
В тесте нет кнопки «Выход» DI=0,15

16. Шаг 7. Определение нарушенных эвристик

Для ошибок, имеющих наибольший индекс
вреда, выписываем нарушенные ими
эвристики
Пишем в отчет и предоставляем заказчику:
Список наиболее значимых нарушенных
эвристик
Список ошибок, приносящих наибольший
вред
Полный список критических ошибок (со
значимость 3 или 4)
Полный список ошибок

17. Исследование пользовательского выбора цвета

Можно изучать возрастную или
социальную психологию
Можно изучать непосредственно целевую
аудиторию (наблюдение, опрос, интервью,
тест)
Главное – фиксировать по возможности
все окружающие задачу параметры и
контролировать изменения одного
параметра

18. Результаты опроса о цвете и его характеристиках

Девушки
Цвет
Характеристика
Молодые люди
Цвет
Характеристика
Красный
Положительное
Красный
Положительное
Оранжевый
Положительное
Оранжевый
Положительное
Желтый
Положительное
Желтый
Положительное
Зеленый
Положительное
Зеленый
Положительное
Синий
Положительное
Синий
Положительное
Фиолетовый
Отрицательное
Фиолетовый
Отрицательное
Черный
Положительное
Черный
Отрицательное
Розовый
Положительное
Розовый
Положительное
Коричневый
Отрицательное
Коричневый
Отрицательное

19. Итоги

Традиционное юзабилити-тестирование –
дорогое удовольствие (30-50 тыс. долл.)
Дает противоречивые результаты: если в
нетривиальном приложении/сайте обычно
около 500 ошибок, то каждая итерация
юзабилити-тестирования находит порядка
40 ошибок
Нужно проводить много итераций

20. Итоги

Эвристическая оценка юзабилити – для
малого бюджета (около 10 тыс. долл.)
Требует привлечения экспертов в области
юзабилити (чтобы разобраться в
эвристиках и уметь правильно соотносить
найденные ошибки и эвристики)
Понятно, что делать с найденными
ошибками: исправлять
Непонятно, что делать с эвристиками:
реинжиниринг всего приложения?

21. Сравнение традиционного юзабилити-тестирования и эвристического метода

Сравнение традиционного юзабилититестирования и эвристического метода
Как эвристический метод, так и
юзабилити-тестирование обнаруживают
только половину ошибок в интерфейсе
(Desurvire, Kondziela, Atwood, 1992)
Эвристический метод обнаруживает
больше ошибок, чем юзабилититестирование (Jeffries, Wharton, Uyeda, 1992)
Юзабилити-тестирование обнаруживает
больше ошибок, чем эвристический метод
(Karat, 1992)

22. Вопросы для самостоятельной подготовки

Написать собственные эвристики для оценки
юзабилити браузерной игры
2. Нормализовать результаты опроса по количеству
ответов в каждой группе. Будут ли отличаться
результаты?
3. Выполнить выборку характеристик цветов в
опросе по важности для одного из следующих
объектов:
Цвет кнопки «Купить» в интернет-магазине
Основной цвет лэйаута сайта банка
Основной цвет лэйаута сайта софтверной
компании
1.