Инфографика и визуализация данных

1.

ИНФОГРАФИКА И ВИЗУАЛИЗАЦИЯ
ДАННЫХ
Лекция 1: Введение
Ю.В. Пестова

2.

СОДЕРЖАНИЕ ЛЕКЦИИ
О КУРСЕ
ТЕМЫ
РАЗБАЛЛОВКА
1.
Посещаемость
Лабы
Доклад
Тесты
Зачет
5
45
10
35
30
1. Вводная лекция
2. Tableau
1. Основы
2. Интерактивные элементы
3. Аналитика
4. Дашборд
3. Python
1. Сбор данных
2. Pandas
3. Matplotlib
4. Интерактивность
5. Dash
4. Пространственные данные:
1. BI
2. Python
5. *Дополнительные инструменты визуализации
О визуализации
1.
Назначение
2.
Терминология и введение понятия
«Инфографика»
2.
Этапы работы
1.
Сбор данных
2.
Обработка и анализ данных
3.
Создание отчетов
4.
Проектирование
3.
Табличный тип и переменные
4.
Классификация элементов
инфографики
5.
Рекомендации и правила
визуализации
2

3.

ОПРЕДЕЛЕНИЕ
• Визуализация данных – это использование
визуальных представлений для изучения,
осмысления и передачи данных.
3

4.

Визуализация данных решает три
главные задачи:
Задача визуализации
Цель
Разведка: поиск важных фактов
Обнаружение
Создание смысла
Понимание
Коммуникация: передача информации
другим
Принятие решений
https://www.perceptualedge.com/blog/?p=1897
Грамотная визуализация, которая учитывает психологию восприятия помогает решить эти задачи эффективно.
4

5.

МИФЫ О ВИЗУАЛИЗАЦИИ ДАННЫХ
№1
• Визуализируем данные только потому, что есть некоторые люди, которые лучше визуально
воспринимают информацию.
• Визуализируем данные, потому что есть люди, у которых сложности с математикой и числами.
• Нет. Просто некоторые виды информации лучше всего воспринимаются визуально всеми людьми.
5

6.

МИФЫ О ВИЗУАЛИЗАЦИИ ДАННЫХ
№2
• Визуализируем, чтобы привлечь внимание, но при этом жертвуем
информативностью.
• Нет, если информация не принесена в жертву красоте.
6

7.

МИФЫ О ВИЗУАЛИЗАЦИИ ДАННЫХ
№2
• Визуализируем, чтобы привлечь внимание, но при этом жертвуем
информативностью.
• Нет, если информация не принесена в жертву красоте.
7

8.

МИФЫ О ВИЗУАЛИЗАЦИИ ДАННЫХ
№3
• Графика - лучший способ рассказать историю.
• Необязательно. Многие истории все еще прекрасно чувствуют себя,
написанными словами. Графика может быть бэкграундом.
8

9.

ПРЕИМУЩЕСТВА ВИЗУАЛИЗАЦИИ
1. Видение
общей картины
2. Быстрое и
простое сравнение
значений
3. Видеть
закономерности
9

10.

ВИДЕНИЕ ОБЩЕЙ
КАРТИНЫ
✗
№1
Графики отображают общую картину: обзор
набора данных. В обзоре кратко излагаются
основные характеристики данных, из которых
мы можем определить, что является обычным, а
что исключительным.
✓
10

11.

ПРОДУКТ
Бычки
Горбуша
Кальмар
Камбала
Карась
ПРОСТОЕ И БЫСТРОЕ
СРАВНЕНИЕ
ЗНАЧЕНИЙ
№2
БЕЛКИ
12,7
21,2
18,2
16
17,5
ЖИРЫ УГЛЕВОДЫ
8,2
5,1
7,1
0
0,2
0
2,5
0
1,6
0
Карп
16
3,5
0
Кета
22,1
5,8
0
Килька
Корюшка
Крабовое
мясо
Крабовые
палочки
Красноперк
а
Креветка
14,3
15,3
9,2
3,3
0
0
ККАЛ
ТИП
147 Морепродукты
151 Морепродукты
77 Морепродукты
86 Морепродукты
84 Морепродукты
95 Морепродукты
138 Морепродукты
142 Морепродукты
93 Морепродукты
16
0,9
0
67 Морепродукты
17,9
2,1
0
73 Морепродукты
18,5
18
3,1
0,9
0
0
106 Морепродукты
85 Морепродукты
Ледяная
15,6
1,3
0
76 Морепродукты
Лещ
17,2
4,2
0
109 Морепродукты
Лосось
19,2
13,8
0
200 Морепродукты
Макрель
Мидии
отварные
Минтай
20,2
3,6
0
111 Морепродукты
9,7
15,7
1,6
0,6
0
0
53 Морепродукты
67 Морепродукты
Мойва
13,1
11,7
0
159 Морепродукты
Навага
Налим
Окунь
морской
Окунь
речной
Осетр
16,71
18,6
1,3
0,8
0
0
78 Морепродукты
85 Морепродукты
17,4
5,5
0
123 Морепродукты
18,3
16,5
0,7
10,5
0
0
80 Морепродукты
161 Морепродукты
Осьминог
18,5
0
0
74 Морепродукты
Палтус
18,5
3,2
0
106 Морепродукты
11

12.

ПРОСТОЕ И БЫСТРОЕ
СРАВНЕНИЕ
ЗНАЧЕНИЙ
№2
№2
ПРОДУКТ
Бычки
Горбуша
Кальмар
Камбала
Карась
БЕЛКИ
12,7
21,2
18,2
16
17,5
ЖИРЫ УГЛЕВОДЫ
8,2
5,1
7,1
0
0,2
0
2,5
0
1,6
0
Карп
16
3,5
0
Кета
22,1
5,8
0
Килька
Корюшка
Крабовое
мясо
Крабовые
палочки
Красноперк
а
Креветка
14,3
15,3
9,2
3,3
0
0
ККАЛ
ТИП
147 Морепродукты
151 Морепродукты
77 Морепродукты
86 Морепродукты
84 Морепродукты
95 Морепродукты
138 Морепродукты
142 Морепродукты
93 Морепродукты
16
0,9
0
67 Морепродукты
17,9
2,1
0
73 Морепродукты
18,5
18
3,1
0,9
0
0
106 Морепродукты
85 Морепродукты
Ледяная
15,6
1,3
0
76 Морепродукты
Лещ
17,2
4,2
0
109 Морепродукты
Лосось
19,2
13,8
0
200 Морепродукты
Макрель
Мидии
отварные
Минтай
20,2
3,6
0
111 Морепродукты
9,7
15,7
1,6
0,6
0
0
53 Морепродукты
67 Морепродукты
Мойва
13,1
11,7
0
159 Морепродукты
Навага
Налим
Окунь
морской
Окунь
речной
Осетр
16,71
18,6
1,3
0,8
0
0
78 Морепродукты
85 Морепродукты
17,4
5,5
0
123 Морепродукты
18,3
16,5
0,7
10,5
0
0
80 Морепродукты
161 Морепродукты
Осьминог
18,5
0
0
74 Морепродукты
Палтус
18,5
3,2
0
106 Морепродукты
12

13.

ВИДЕТЬ ЗАКОНОМЕРНОСТИ
МЕЖДУ ЗНАЧЕНИЯМИ
№3
13

14.

ВИДЕТЬ ЗАКОНОМЕРНОСТИ МЕЖДУ
ЗНАЧЕНИЯМИ
№3
https://therooster.com/blog/strange-correlation-between-nicholas-cage-and-people-drowning-pools
14

15.

ВИЗУАЛИЗАЦИЯ И ИНФОГРАФИКА
• Визуализация данных — это метод науки и статистики.
• Инфографика — объект дизайна.
Визуализация данных может быть частью инфографики. Это такие элементы,
как график, диаграмма, гистограмма и т.п.
Инфографика рассказывает историю, а визуализация — просто
демонстрирует данные.
15

16.

ИНФОГРАФИКА
Наличие интерпретации данных делает
визуализацию инфографикой.
https://fingramota.econ.msu.ru/sys/raw.php?o=4207&p=attachment
Визуализация данных — это инструмент
анализа, она помогает делать выводы.
Инфографика — это готовые выводы,
оформленные и структурированные
показатели и закономерности .
16

17.

ИНФОГРАФИКА ИЛИ ВИЗУАЛИЗАЦИЯ?
17

18.

ИНФОГРАФИКА ИЛИ ВИЗУАЛИЗАЦИЯ?
18

19.

ИНФОГРАФИКА ИЛИ ВИЗУАЛИЗАЦИЯ?
19

20.

УГЛУБЛЕНИЕ В ПОНЯТИЯ
• Цифровое искусство - направление в медиаискусстве, основанное на использовании
информационных (компьютерных) технологий, результатом которой являются
художественные произведения в цифровой форме
• Информационный дизайн - отрасль дизайна, практика художественнотехнического оформления и представления различной информации с учётом
эргономики, функциональных возможностей, психологических критериев
восприятия информации человеком, эстетики визуальных форм представления
информации и некоторых других факторов
• Инфографика - использование визуальных средств для изображения того, что мы
не можем увидеть или понять из информации, представленной в другой форме
• Визуализация данных - нарисованные в графическом виде данные
20

21.

АЛГОРИТМ РАБОТЫ
21

22.

СБОР ДАННЫХ
Web scraping (веб-сбор или извлечение веб-данных) – процесс
извлечения информации с веб-сайтов при помощи специальных
программ.
Парсинг данных – современный способ автоматизации сбора и
обработки информации (из интернета). Для этого
используются специальные программы – парсеры (сайтов). Они
собирают неструктурированную информацию, преобразуют ее и
выдают в удобном виде.
22

23.

ЧТО МОЖНО ИСПОЛЬЗОВАТЬ?
1. Готовые сервисы:
https://yandex.ru/turbo?text=https%3A%2F%2Fblog.ingate.ru%2Fdetail%2F5-servisov-dlya-parsinga-auditoriiv-sotssetyakh%2F
https://umi.ru/blog/parsing/
https://vc.ru/services/64112-10-instrumentov-pozvolyayushchih-parsit-informaciyu-s-saytov-vklyuchaya-cenykonkurentov-i-pravovaya-ocenka
https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd - Scraper
2. API (Application programming interface) социальных сетей
API — это специальный интерфейс программы или приложения (библиотеки классов и процедур), с
помощью которого одна программа/приложение может взаимодействовать с другой. С помощью API
различные программы и приложения могут использовать функции и ресурсы друг друга. Это своего
рода "язык программ", на котором они разговаривают и обмениваются данными и информацией.
Примеры использования API:
Яндекс: API позволяет взаимодействовать с многими сервисами Яндекса: Погода, Директ
Вконтакте: с помощью API реализована функция отложенного постинга Вконтакте через сторонние
приложения и сайты.
3. Писать самим (Python, R)
23

24.

Сбор данных в Интернете на языке R PDF
Автор: Д. А. Храмов
Скрапинг веб-сайтов с помощью
Python PDF
Автор: Райан Митчелл
24

25.

АНАЛИЗ ДАННЫХ
25

26.

АНАЛИЗ ДАННЫХ
Базовые операции по обработке данных
26

27.

АНАЛИЗ ДАННЫХ
Обработка данных в зависимости от целей проведения
обработки имеет количественные и качественные аспекты
27

28.

АНАЛИЗ ДАННЫХ
28

29.

АНАЛИЗ ДАННЫХ
29

30.

30

31.

АЛГОРИТМ РАБОТЫ
31

32.

ЭТАП ПРОЕКТИРОВАНИЯ
Перед созданием отчета:
1. Формируем гипотезы и ставим цель: задаем
вопросы, что должно быть отображено?
2. Исследуем данные: определяем метрики,
классифицируем переменные.
3. Делаем эскиз диаграмм, связанных одной
темой.
4. Добавляем пояснения, элементы
интерактивности
Пример о том как подобрать собаку

33.

https://prezi.com/ (VPN)
33

34.

• Визуализация — это традиционные схемы и
графики или это все, что способно иллюстрировать
данные, и есть визуализация, и не имеет значения,
что это: произведение data-арта или таблица в
Microsoft Excel.
ОПРЕДЕЛЕНИЯ
• Информационный дизайн — отрасль дизайна,
практика художественно-технического оформления
и представления различной информации с учётом
эргономики, функциональных возможностей,
психологических критериев восприятия
информации человеком, эстетики визуальных форм
представления информации и некоторых других
факторов.
34

35.

Инфогра́фика (от лат. informatio — осведомление,
разъяснение, изложение; и др.-греч. γραφικός —
письменный, от γράφω — пишу) — это графический способ
подачи информации, данных и знаний, целью которого
является быстро и чётко преподносить сложную
информацию.
ОПРЕДЕЛЕНИЕ
Инфографика, чаще всего используется для следующих
целей:
1) Показать изменение с течением времени (пример: рост
безработицы или инфляции);
2) сравнить два или более явления (пример: BBC сделала
анимированную графику, чтобы показать число
пострадавших в войне во Вьетнами и число пострадавших во
Второй мировой войне);
3) показать связи (пример: сопоставление спортивных
результатов команд и уровней зарплат в командах);
4) сделать акцент на самом главном;
5) структурировать большое количество информации и др
35

36.

Power BI
Klipfolio
QlikView
https://habr.com/ru/company/newprolab/blog/349186/ сравнение BI-платформ
https://netology.ru/blog/7-services-data-visualization - сервисы для
визуализации

37.

ТАБЛИЧНЫЙ ТИП ДАННЫХ
37

38.

ОПРЕДЕЛЕНИЕ
• Переменная – это эмпирически наблюдаемое
свойство некоторого явления, которое может
принимать более одного значения.
38

39.

ВИДЫ ПЕРЕМЕННЫХ
Количественные (quantitative)
Категориальные (качественные)
Непрерывные (интервальные, interval)
Номинальные (nominal)
Дискретные (нормативные, ratio)
• Бинарные
• Мультиноминальные
Порядковые (ordinal)
39

40.

КОЛИЧЕСТВЕННЫЕ
Интервальные
Нормативные
интервалы между точками измерения
одинаковы,
ноль означает отсутствие того, что вы
измеряете,
при значении ноль то, что вы измеряете,
не отсутствует.
выражены ограниченным набором
значений.
40

41.

КВИЗ
• Разбалловка заданий
• Специальность в университете
• Рейтинг продукта на OZON
• Географические координаты
• Летальный исход
42

42.

КВИЗ
• Разбалловка заданий
Нормативный
• Специальность в университете
Номинальный
• Рейтинг продукта на OZON
Порядковый
• Географические координаты
Интервальный
• Летальный исход
Бинарный
43

43.

1. Графики – отражают величины, изменяющиеся со
временем. Соотношение изображается с помощью
кривых на координатной сетке;
2. Диаграммы рассеивания используются чтобы
показать взаимоотношения отдельных значений.
Данные привязаны к двум осям, но точки не
соединяются между собой кривой.
ЭЛЕМЕНТЫ
ИНФОГРАФИКИ
3. Линейные и столбчатые диаграммы –
сопоставление двух или нескольких величин,
изображенных как столбцы.
4.Круговые диаграммы – сравнение долей частей в
составе целого
5. Пузырьковые диаграммы – сравнение величин с
помощью кругов, масштабированных
пропорционально соизмеряемым величинам.
6.Таблицы – данные в виде рядов или колонок.
44

44.

7.
Хронология – события или данные, отражающие
ключевые исторические события или события жизни
человека, места или проблемы, выстроенные в
хронологическом порядке в виде календаря,
горизонтальной или вертикальной линии, иногда по
кругу.
8. Пошаговая инструкция – краткое руководство,
как поступать в типичном или экстренном случае.
ЭЛЕМЕНТЫ
ИНФОГРАФИКИ
9. Блок-схема показывает устройство или
взаиморасположение отдельных элементов чеголибо. Фамильное дерево, описание структуры
организаций, структура производственных
процессов.
10. Рисунок – изображение объекта в разрезе или
сверху, объясняющее принцип действия или
устройство действия чего-либо.
11. Карта – быстрый способ снабдить читателя
данными о географическом положении объекта.
45

45.

https://datayoga.ru/vizcards
46

46.

47

47.

КЛАССИФИКАЦИЯ ДИАГРАММ И
ПРИМЕРЫ РЕШЕНИЙ
• http://chartmaker.visualisingdata.com/
• Python, R, D3 - https://www.data-to-viz.com/
• D3 - https://github.com/vizuly/viz/tree/master
• https://datavizcatalogue.com/search.html
• https://datavizproject.com/
48

48.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
1. Правильный тип графика
1. Не больше 3-5 значений круговой диаграммы.
2. Сумма значений в круговой диаграмме = 100%.
https://netology.ru/blog/11-pravil-vizualizacii-dannykh
49

49.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
2. Логический порядок
Отображение значений в порядке, отображающем вашу цель.
50

50.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
3. Простой дизайн
Дизайн не должен препятствовать пониманию или искажать данные
51

51.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
4. Легкое сравнение данных
Показывайте соотношение между данными. Если разбить однотипную информацию на много
отдельных графиков, визуализация становится бессмысленной.
52

52.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
5. Минимум элементов
Загромождение ненужной информацией затрудняет восприятие.
53

53.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
6. Не перегружайте информацией
Когда необходимо визуализировать много разных типов данных и категорий, целесообразнее
разделять диаграмму на несколько частей.
54

54.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
7. Понятный и одинаковый формат значений и подписей
Следите, чтобы формат был единый. Если вы решили показать один знак после запятой, то
сделайте так для всех подписей данных, а не выборочно.
55

55.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
8. Понятный и одинаковый формат значений и подписей
Следите, чтобы всегда у вашей диаграммы было полное понятное название и все необходимые
подписи, иначе появляется риск неверного истолкования.
56

56.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
9. Общепринятые цветовые решения
Есть несколько основных категорий, которые у нас всегда ассоциируются с определенным цветом:
1. положительные и отрицательные значения
2. да/нет, согласен/не согласен
3. мужчины и женщины
4. прочее/другое/остальное/нет ответа/затрудняюсь ответить
57

57.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
10. Минимум типов диаграмм
Используйте один вид диаграммы для однотипных данных
58

58.

ПРАВИЛА ВИЗУАЛИЗАЦИИ
11. Единая цветовая палитра
Придерживайтесь одной цветовой гаммы
59

59.

ПОЛЕЗНАЯ ЛИТЕРАТУРА
• https://datayoga.ru/
• Литература:
• https://tableau.pro/poleznyashki
• https://t.me/ds_notes
• https://disk.yandex.ru/i/RZlgFnLBMQN7gw
• https://t.me/data_analysis_ml
• Основные определения https://tableau.pro/datascientist
• http://books.irrp.org.ua/data-design/dannye-dizajn/
60

60.

1. Регистрация
2. Скачать установщик
TABLEAU
62

61.

N
N
докладов докладчиков
ДОКЛАДЫ
Запись:
https://disk.yandex.ru/i/QQsW8BKQuYcnGg
Тема
Обзор no-code инструментов
визуализации данных
2
1
Data Art - искусство данных
1
KNIME
2
Apache Superset
1
Datrics.ai
Использование ChatGPT при
разработке дашборда
1
2
d3 + Observablehq
Визаулизация данных на языке R 2
2
QGIS
Обзор API пространственных
данных
1
Использование облачных функций
в дашборде Datalens / Обзор
бессерверных технологий Яндекса 2
Любой из инструментов, исключая
перечисленные здесь
*
Описание типов диаграмм в одном
из представленных семейств,
реализация на своих данных
данных с использованием любого
инструмента
*
Своя тема
2
1
2
2
1
1
2
2
2
2
2
63