Компьютерные системы компании Noldus: Observer XT FaceReader

1. Компьютерные системы компании Noldus: Observer XT FaceReader

2. The Observer XT 10 … 12

Observer XT является мощным инструментом для
наблюдения за реальным поведением (on-line)
и анализом видео-зписей (off-line).

3. FaceReader 4

Автоматически
анализирует шесть
базовых
эмоциональных
выражений лица:
счастье, грусть,
испуг, отвращение,
удивление и злость.
+ положение частей
лица.
Данные FaceReader`а вносятся в программу Observer XT.
Анализирует нейтральные выражения лица: рот, глаза и
брови, повороты головы и направления взгляда.

4.

Для чего психологу нужна система Observer XT?
•Средство для реализации метода наблюдения:
Контент-анализ поведения человека и животных
вживую или по видео записи.
Количественный анализ частоты и длительности
поведенческих актов.
Интеграция нескольких видов получаемых
данных: движение глаз, физиология, работа за
компьютером, передвижение человека и животных
и др.
Совместный анализ разных данных.

5. Для чего психологу нужна система Observer XT?

•Средство для повышения валидности
надежности метода наблюдения:
и
а) описание поведения – дескриптивный аспект;
б) соотнесение наблюдаемых поведенческих
актов;
в) объяснение причин поведения.

6. Проблема валидности наблюдения

Описание
Соотнесение
Объяснение
Оценка на:
Конструктную валидность
Внутреннюю валидность
Внешнюю валидность

7. Демонстрация работы с Observer XT

8. Типы решаемых задач, области применения

Наблюдение за поведением испытуемых в
естественных и лабораторных условиях.
Контент-анализ и колич. анализ:
Соотнесение поведения и физиологии.
Оценка юзабилити интерфейсов, гаджетов и др.
Изучение поведения покупателей.
Спортивная психология.
Обучение консультированию, тренингам,
психотерапии.

9. Типы решаемых задач, области применения

Оценка игрового поведения детей. Детскородительские отношения. Ребенок за
компьютером.
Зоопсихология.
Оценка согласованности экспертовнаблюдателей.
Поиск закономерностей в последовательности
поведенческих актов.
Судебно-психологическая экспертиза.
Организационная психология.

10. Какие техники наблюдения реализуются?

• Непрерывное или сплошное наблюдение (Continuous
sampling) и Точечная регистрация (Instantaneous
sampling)
• Метод свободной регистрации данных (Adlibitum
sampling, выборка данных по возможности)
• Взаимнонеисключающие виды поведения (Nonexclusive behaviors)
• Взаимноисключающие виды поведения (Mutually
exclusive behaviors)
• Событие типа «старт-стоп» (Start-stop behavior)
• Точечное или мгновенное событие (Point event)

11. Пример анализа поведения «Плохой день в офисе»

• Смотрим видеоролик.
• Создаем проект исследования
(Set up Project):
Указываем источник данных – из файла и или
«вживую».
Метод наблюдения – сплошное, выборочное,
комбинированное.
Длительность наблюдения: окончание вручную, на
заданное время - «грязное» или «чистое».

12. Разработка протокола наблюдения – основа валидности исследования

Структура кодировочной схемы:
1.Определение единицы анализа – Subject.
2.Определение типа, класса и вида поведения,
т.е. единиц контент-анализа:
• взаимоисключающие виды или происходящие
одновременно
• что происходит, за чем наблюдаем?
• характеристики поведенческих актов – как они
происходят?

13. Определение факторов или НЗП

•Если нужно, то задается структура
независимых переменных или условий
наблюдения.
•Например: возраст наблюдателя, опыт
наблюдателя, присутствие определенного
объекта (ребенок один или с родителями).
•Это категории для группировки при
обработке данных.

14. Проведение наблюдения или sampling

•Выбираем видео-файл
•Устанавливаем скорость просмотра
•Включаем запись (видео или аудио)
•Регистрируем классы и виды поведения:
1.Выбираем субъекта - Subject
2.Указываем вид поведения – Behavior
3.Выбираем вариант поведения – Modifier
•Если выборочное наблюдение, то Observer
останавливает запись сам.

15.

Пример анализа поведения
геймеров с ай-трекингом и ЭКГ
• Ролик Car Race Game.
• В данные от веб-камеры включены движения
взора.
• Используется External file с данными от ЭКГ.
• Смотрим визуализацию и обработку данных.

16. Пример анализа поведения геймеров с ай-трекингом и ЭКГ

Примеры использования Обзервера в
академических и прикладных
исследованиях

17.

TrackLab
Сбор данных о положение испытуемых в
пространстве помещения
Датчики положения испытуемого
Передатчики данных и регистратор
Камеры слежения
Система GPS
WiFi

18. Лаборатория: оценка удобства рабочего места.

What is TrackLab?
Визуализация данных о положение человека с
выбором зон интереса.

19.

What is TrackLab?
Визуализация данных о динамике
положения испытуемого в период
наблюдения: тепловая карта

20.

Наблюдение за чтением текстов или посещением
сайтов. Анализ содержания сайтов.

21.

Как это работает?
Стационарная система
RED (Remote Eyetracking
Device)
Мобильная система ETG
(Eye Tracking Glasses)

22.

Использование в спортивной психологии
Синхронизация с 1 … 4 камерами

23.

Какие данные и как импортируются?
• Формат внешних данных.
• Проблемы синхронизации.

24.

Работа с системой FaceReader
Возможности:
• Выявление и анализ интенсивности
эмоциональных выражений лица: счастье,
грусть, гнев, удивление, испуг, отвращение.
• Оценка изменений в мимике: глаза, рот,
брови, направление взгляда, движение
головы.
• Идентификация человека по лицу.

25.

Для чего?
• Мониторинг текущего эмоционального состояния
человека, изменения его мимики и положения
головы.
• Оценка стимульного материала.
• Оценка эмоционального воздействия на человека
различных событий, товаров, рекламы.
• Автоматическая обработка больших массивов
фото- и видео-изображений лица.
• Тренинг управления лицевой экспрессией.

26.

Как работает FaceReader? Алгоритмы.
1 этап – обнаружение лица на анализируемом
изображении в пространстве экрана.
2 этап – построение модели лица. Создается
математическая модель лица - Active Appearance
Model.
491 точки задающие
структуру лица
человека

27.

Как работает FaceReader? Алгоритмы.
3 этап - классификация выражений лиц на предмет
их
соответствия
определенным
эмоциям.
Реализуется при помощи алгоритма обучения
искусственной нейронной сети (на входе - 491
точки ).
Обучающая выборка для FaceReader - 2000 моделей
лиц.
Нейронная сеть обучена классификации шести
базовых эмоций и нейтрального выражения лица.
Точность – 89%, от 78 – досада, до 99 - счастье.

28.

Как работает FaceReader? Алгоритмы.
3 этап - классификация выражений лиц на предмет
их
соответствия
определенным
эмоциям.
Реализуется при помощи алгоритма обучения
искусственной нейронной сети (на входе - 491
точки ).
Обучающая выборка для FaceReader - 2000 моделей
лиц.
Нейронная сеть обучена классификации шести
базовых эмоций и нейтрального выражения лица.
Точность – 89%, от 78 – досада, до 99 - счастье.

29.

Ограничения
Дети до 3-х лет.
Дети из Восточной и Юго-Восточной Азии.
Лицо в очках.
Движения.
Плохое освещение.
Несколько человек в кадре.

30.

Основные функции
Анализ разных этносов и возрастов.
Контроль качества изображения.
Индивидуальная калибровка.
Оn-line и off-line анализ видео.
Оff-line анализ фотографий.
Оценка валентности эмоций.
Оценка динамики и средней выраженности эмоций.
Оценка динамики и средней выраженности лицевой
экспрессии.
Положение головы.
Мониторинг эмоционального состояния.
Идентификация лица.
Оценка индивидуальных особенностей лица.
Экспорт данных и сопряжение с Observer.

31. Наблюдение за чтением текстов или посещением сайтов. Анализ содержания сайтов.

Пример работы с системой FaceReader