Бытовая статистика

1.

Бытовая статистика

2.

“Существуют три вида лжи: ложь, наглая ложь и статистика”
Марк Твен, предположительно

3.

Опрос
1. Чему равно среднее арифметическое чисел 5 и 10?
a. 7,5
b. 10
c. 5
d. 15

4.

Опрос
2. Иван Б. получал зарплату в 50 000 рублей. Иван получил
повышение, и зарплату повысили на 50%. Какую зарплату
получает Иван Б. теперь?
a. 100 000 р.
b. 75 000 р.
c. 50 050 р.
d. 25 000 р.

5.

Опрос
3. При броске двух шестигранных кубиков, какая сумма
значений на кубиках встречается чаще всего?
a. 5
b. 10
c. 8
d. 7

6.

Опрос
4. При каком N вероятность того, что хотя бы два человека в
группе из N людей празднуют день рождения в один день,
превысит 50%?
a. 23
b. 67
c. 104
d. 183
e. 366

7.

Опрос
5. При каком значении σ (стандартного отклонения) результат
эксперимента в физике частиц признается открытием?
a. 1σ
b. 5σ
c. 10σ
d. 500σ

8.

Самый обычный график

9.

Диаграмма с подвохом

10.

Экспонента на графиках

11.

Представим себе
Мы проводим статистическое исследование: опрашиваем людей в
городе, какой у них рацион питания, чего в их “диете” больше,
а чего меньше. После чего анализируем множество самых разных
показателей - от веса и роста до предпочтений в музыке. Мы
хотим совершить сенсационное открытие и войти в историю
медицины!

12.

13.

гЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ И ВЫБОРКА
Генеральная совокупность - все люди
нашего города.
Выборка - подмножество генеральной
совокупности
Но город большой и всех мы опросить
не можем, поэтому мы делаем
выборку.
Что исключить любую предвзятость
(sample bias), используем
рандомизацию!

14.

15.

Ошибка выжившего
Участники исследования угадывали
изображенные на показанных рубашкой
картах объекты. Результаты
исследования показали, что средний
процент угадывания больше
случайного?
Какова была причина?
100% опрошенных игроков в русскую
рулетку заявили, что они выжили.
Русская рулетка безопасна?

16.

17.

Среднее, медиана
Среднее арифметическое - складываем
все значения и делим на количество
значений. Используем:
а) Когда данные распределены
равномерно;
б) Когда нам важна общая сумма по
данным.
Примеры: средняя зарплата за год,
средний рост мужчины, средняя
температура на планете.
Медиана - располагаем все значения
в ряд от меньшего к большему и
выбираем, что находится посередине.
Используем:
а) Когда данные распределены
неравномерно, со скачками или
пиками;
б) Когда нужно найти “типичный”
случай.
Примеры: медианная зарплата в
регионе, медианная численность
населения города, время загрузки
сайта

18.

Среднее, медиана
Когда ни среднее, ни медиана не отражают картины:
а) Продолжительность жизни в Средние Века;
б) Рост людей без разделения по полу;
в) Средний балл в несложном тесте;
г) Оценка товара на Озоне;
д) Средняя температура по больнице ;-)
Причины:
Би- или мультимодальное распределение, пики в крайних точках выборки, неоднородные
данные (сравнение “теплого” с “кислым”).

19.

20.

Дисперсия и среднеквадратичное отклонение
Простым языком - среднее отклонение от среднего значения.
Аналог дисперсии для медианы - MAD - среднее отклонение от медианы.
а) Показывает, насколько “сконцентрированны” значения выборки возле среднего.
б) Помогает учесть ошибку измерения; среднюю ошибку;
в) Насколько стабилен или предсказуем ожидаемый эффект.
Примеры:
Реакция пациента на лекарство, размер выпущенной производством детали,
предсказуемость погоды.

21.

Нормальное распределение
Сумма множества независимых
случайных величин.
а) Рост человека, вес, IQ,
продолжительность жизни и т.д.
б) Общая сумма подброса нескольких
игральных кубиков или монет
в) Ошибка при измерении величины
г) Время поездки из пункта A в
пункт B (не всегда!)

22.

Нормальное распределение

23.

Логнормальное распределение
Произведение множества случайных
величин.
а) Распределение дохода в экономике;
б) Цены активов на финансовом рынке;
в) Размер пылинок;
г) Инкубационный период заболеваний.

24.

Логнормальное распределение

25.

Распределение Пуассона
Количество случайных равновероятных
событий за определенное время:
а) Длина очереди в магазине,
загруженность call-центра в
неавральные дни, вызовы скорой за
час и т.д;
б) Количество забитых голов в
матче;
в) Количество мутаций в ДНК.

26.

Распределение Пуассона

27.

28.

Корреляция
(Линейная) корреляция находится в пределах от -1 до 1. Минус 1 - обратная
корреляция, 1 - прямая корреляция.
Корреляция не всегда означает причинно-следственную связь!
Корреляция может быть просто совпадением (например, недостаточно данных)
○
Потребление сыра и число людей, запутавшихся в простынях;
○ Фильмы Николаса Кейджа и число людей, утонувших в бассейнах;
○ Потребление маргарина и число разводов.
У двух величин (или событий) может быть общая причина. Например, корреляция
между ожирением и использованием личного транспорта (общая причина - прогресс).
Для установления причинно-следственной связи нужны дополнительные исследования,
которые исключают влияние сторонних факторов, улучшают качество выборки.

29.

30.

P-значение
В различных научных исследованиях для подтверждения гипотез используется pзначение. Очень часто используют значение p=0.05 (Вероятность того что
гипотеза неверна, равна 5%).
Но это скользкая дорожка! Проведем исследование о влиянии 5 форм и 5
производителей макарон среди женщин, мужчин, старых и молодых, низких и
высоких на развитие, скажем, гастрита.
Наше исследование показало, что с вероятностью 99% (p=0.01) среди высоких
мужчин возраста больше 60 лет макароны спиралькой “Шебекинские” повышают риск
развития гастрита.
В чем подвох?

31.

P-значение
Другие способы смошенничать:
Остановить сбор данных, когда ваше p-значение станет меньше 0.05;
Создание гипотезы “постфактум”;
Как избежать:
Тщательное проектирование дизайна исследования;
Воспроизводство исследования;
Использовать меньшее p-значение или другие методы анализа

32.

33.

Относительный и абсолютный риск
Сосиски и обработанное мясо повышают риск развития рака кишечника на 18%!
Но вероятность заболеть раком кишечника в течении жизни - всего 5%!
Поэтому сосиски добавляют вам шанс в примерно 1% заболеть раком кишечника в
течении жизни.

34.

35.

Байесовский подход
Вероятность умереть от молнии - действительно чуть выше, чем один к миллиону,
если не учитывать дополнительные данные (погоду за окном).
Примеры посложнее:
а) Положительный диагностический тест на редкое заболевание совсем не значит,
что вы болеете (зависит от частоты ложноположительных результатов).
Вероятность, что вы больны - один к миллиону.
Вероятность того, что вы больны, учитывая тест - выше, но далеко не 100%!
б) Суд над Салли Кларк в 1999 году установил, что вероятность того, что она
не убивала своих детей - 1 к 73 миллионам! Но суд не учел дополнительные
данные.

36.

Наше исследование завершено!
Мы - авторы сенсации! Мы получили
пряник с полки от федеральной
службы государственной статистики,
грамоту от института и легли спать…