k-tree
В примерах в данной статье данные генерятся при каждой загрузке страницы. Если Вы хотите посмотреть пример с другими значениями - обновите страницу .

Параметры дискретного закона распределения

В статье описано как найти среднее значение и стандартное отклонение. Вы узнаете, что такое квантиль и каких он бывает видов, а также, как построить доверительный интервал.

На глаз

Смотря на закон распределения, мы можем понять, какова вероятность того или иного события, можем сказать, какова вероятность, что произойдёт группа событий, а в этой статье мы рассмотрим, как наши выводы "на глаз" перевести в математически обоснованное утверждение.

Крайне важное определение: математическое ожидание - это площадь под графиком распределения. Если мы говорим о дискретном распределении - это сумма событий умноженных на соответсвующие вероятности, также известно как момент:

(2)  E(X) = Σ(pi•Xi) E - от английского слова Expected (ожидание)
Для математического ожидания справедливы равенства:

(3)  E(X + Y) = E(X) + E(Y)
(4)  E(X•Y) = E(X) • E(Y)

Момент степени k:

(5)  νk = E(Xk)

Центральный момент степени k:

(6)  μk = E[X - E(X)]k

Как оно, в среднем?

Первый вопрос о вероятности - это как оно в среднем? Среднее значение (μ) закона распределения - это математическое ожидание случайной величины (случайная величина - это событие), вот пример, сколько в среднем посетителей заходит в магазин в час:

Таблица 1. Количество посетителей в час
Кол-во посетителей0123456
Количество наблюдений17669531045245
Таблица 2. Закон распределения количества посетителей
Кол-во посетителей0123456
Вероятность (%)4417.313.32.511.30.511.3
График 1. Количество посетителей в час

Чтобы найти среднее значение всех результатов необходимо сложить всё вместе и разделить на количество результатов:

μ = (176 • 0 + 69 • 1 + 53 • 2 + 10 • 3 + 45 • 4 + 2 • 5 + 45 • 6) / 400 = 665/400 = 1.66

То же самое мы можем проделать используя формулу 2:

μ = M(X) = Σ(Xi•pi) = 0 • 0.44 + 1 • 0.17 + 2 • 0.13 + 3 • 0.03 + 4 • 0.11 + 5 • 0.01 + 6 • 0.11 = 1.66 Момент первой степени, формула (5)

Собственно, формула 2 представляет собой среднее арифметическое всех значений
Итог: в среднем, 1.66 посетителя в час

Плюс - сюда, минус - туда

Посмотрите на это распределение, можно предположить, что в среднем случайная величина равна 100±5, поскольку кажется, что таких значений несравнимо больше чем тех, что меньше 95 или больше 105:

График 2. График функции вероятности. Распределение ≈ 100±5

Среднее значение по формуле (2): μ = 99.95, но как посчитать, насколько далеко все значения находятся от среднего? Вам должна быть знакома запись 100±5. Что бы получить это значение ±, нам необходимо определить диапазон значений вокруг среднего. И мы могли бы использовать в качестве меры удалённости "разность" между средним и случайными величинами:

(7) xi - μ

но сумма таких расстояний, а следовательно и любое производное от этого числа, будет равно нулю, поэтому в качестве меры выбрали квадрат разниц между величинами и средним значением:

(8) (xi - μ)2

Соответственно, среднее значение удалённости - это математическое ожидание квадратов удалённости:

(9) σ2 = E[(X - E(X))2] Поскольку вероятности любой удалённости равносильны - вероятность каждого из них - 1/n, откуда: (10) σ2 = E[(X - E(X))2] = ∑[(Xi - μ)2]/n Она же формула центрального момента (6) второй степени

σ возведена в квадрат, поскольку вместо расстояний мы взяли квадрат расстояний. σ2 называется дисперсией. Корень из дисперсии называется средним квадратическим отклонением, или среднеквадратическим отклоненим, и его используют в качестве меры разброса:

(11) μ±σ
(12) σ = √(σ2) = √[∑[(Xi - μ)2]/n]

Возвращаясь к примеру, посчитаем среднеквадратическое отклонение для графика 2:

σ = √(∑(x-μ)2/n) = √{[(90 - 99.95)2 + (91 - 99.95)2 + (92 - 99.95)2 + (93 - 99.95)2 + (94 - 99.95)2 + (95 - 99.95)2 + (96 - 99.95)2 + (97 - 99.95)2 + (98 - 99.95)2 + (99 - 99.95)2 + (100 - 99.95)2 + (101 - 99.95)2 + (102 - 99.95)2 + (103 - 99.95)2 + (104 - 99.95)2 + (105 - 99.95)2 + (106 - 99.95)2 + (107 - 99.95)2 + (108 - 99.95)2 + (109 - 99.95)2 + (110 - 99.95)2]/21} = 6.06

Итак, для графика 2 мы получили:

X = 99.95±6.06 ≈ 100±6 , что немного отличается от полученного "на глаз"

Квантиль

График 3. Функция распределения. Медиана

График 4. Функция распределения. 4-квантиль или квартиль

График 5. Функция распределения. 0.34-квантиль

Для анализа функции распределения ввели понятие квантиль. Квантиль - это случайная величина при заданном уровне вероятности, т.е.: квантиль для уровня вероятности 50% - это случайная величина на графике плотности вероятности, которая имеет вероятность 50%. На примере с графиком 3, квантиль уровня 0.5 = 99 (ближайшее значение, поскольку распределение дискретно и события со значением 99.3 просто не существует)

  • 2-квантиль - медиана
  • 4-квантиль - квартиль
  • 10-квантиль - дециль
  • 100-квантиль - перцентиль

То есть, если мы говорим о дециле (10-квантиле), то это означает, что мы разбили график на 10 частей, что соответствует девяти линяям, и для каждого дециля нашли значение случайной величины.

Также, используется обозначение x-квантиль, где х - дробное число, например, 0.34-квантиль, такая запись означает значение случайной величины при p = 0.34.

Для дискретного распределения квантиль необходимо выбирать следующим образом: квантиль гарантирует вероятность, поэтому, если рассчитанный квантиль не совпадает с одним и значений, необходимо выбирать меньшее значение.

Кому верить?

Квантили используют для построения доверительных интервалов, которые необходимы для исследования статистики не одного конкретного события (например, интерес - случайное число = 98), а для группы событий (например, интерес - случайное число между 96 и 99). Доверительный интервал бывает двух видов: односторонний и двусторонний. Параметр доверительного интервала - уровень доверия. Уровень доверия означает процент событий, которые можно считать успешными.

Двусторонний доверительный интервал

Двусторонний доверительный интервал строится следующим образом: мы задаёмся уровнем значимости, например, 10%, и выделяем область на графике так, что 90% всех событий попадут в эту область. Поскольку интервал двусторонний, то мы отсекаем по 5% с каждой стороны, т.е. мы ищем 5й перцентиль, 95й перцентиль и значения случайной величины между ними будут являться доверительной областью, значения за пределами доверительной области называются "критическая область"

График 6. Плотность вероятности

График 7. Функция распределения с 5 и 95 перцентилями. Цветом выделен доверительный интервал с уровнем доверия 0.9
График 8. Функция вероятности и двусторонний доверительный интервал с уровнем доверия 90%

Коммунизм и капитализм

Левосторонний и правосторонний доверительные интервалы строятся аналогично двустороннему: для левостороннего интервала мы находим перцентиль уровня ['один' минус 'уровень значимости']. Таким образом, для построения доверительного левостороннего интервала уровня значимости 4% нам необходимо найти четвёртый перцентиль и всё, что справа - доверительный интервал, всё что слева - критическая область.

График 9. Левосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

График 10. Правосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

Итого

Среднее значение - математическое ожидание случайной величины, находится по формуле:

μ = E(X) = Σ(pi•Xi)

Среднеквадратичное отклонение - математическое ожидание удалённости значений от среднего, находится по формуле:

σ = √(σ2) = √[∑[(Xi - μ)2]/n]

n-квантиль - разделение функции распределения на n равных отрезков, основные типы квантилей:

  • 2-квантиль - медиана
  • 4-квантиль - квартили
  • 10-квантиль - децили
  • 100-квантиль - перцентили

Доверительный интервал уровня α - участок функции вероятности, содержащий α всех возможных значений. Двусторонний доверительный интервал строится отсечением (1-α)/2 справа и слева. Левосторонний и правосторонний доверительные интервалы строятся отсечением области (1-α) слева и справа соответственно.

Построить ряд распределения

Предположим, мы имеем 100 значений и все разные, например: масса тела Сомалийских пиратов. Такой набор данных обрабатывать неудобно, мы даже не можем представить их на обычном графике. Поэтому нам необходимо категоризировать имеющиеся данные и для этого мы делаем следующее:

Запишем наши данные в таблицу:

137 136 67 116 105 111 97 102 94 110
93 109 122 73 93 108 70 74 101 138
108 107 71 135 117 132 79 73 138 128
133 134 124 60 110 88 112 67 132 66
118 84 116 99 98 68 66 110 84 109
107 133 76 119 128 134 110 66 67 108
136 60 102 119 61 72 66 114 80 140
121 139 83 97 97 123 107 105 92 132
74 140 125 91 119 112 85 89 120 93
139 115 95 101 93 97 114 101 70 135
Таблица 3. Вес сомалийских пиратов

Данные разобьём на группы, для начала предлагаю разбить на девять интервалов:

Узнаём максимальное и минимальное значения, вычитаем их друг из друга и делим на количество интервалов - получили отрезки:
Максимальное значение: 140
Минимальное значение: 60
Разница: 140 - 60 = 80
Длина интервала: 80 / 9 = 8.89

Теперь посчитаем количество пиратов (весов, я имею ввиду) в каждом интервале:

# Интервал Количество элементов
1. 60 - 68.89 11
2. 68.89 - 77.78 9
3. 77.78 - 86.67 6
4. 86.67 - 95.56 10
5. 95.56 - 104.45 11
6. 104.45 - 113.34 17
7. 113.34 - 122.23 13
8. 122.23 - 131.12 5
9. 131.12 - 140.01 18

Вуа-ля, наше распределение на графике:

График 11. Ряд распределения массы тела сомалийских пиратов

Бонус

Интервалы лучше брать целыми числами, поэтому, если с выбранным количеством интервалов размер выходит нецелым, то можно раздвинуть диапазон значений, пример:

Значение интервала равно 8.89, число не является целым, поэтому отодвигаем верхнюю границу:
Остаток от деления: [(140 - 60) / 9] = 8
Подвинуть на: 1
Новый диапазон: [60;141]

Диапазон можно двигать как вверх, так и вниз, но лучше в обе стороны.

Совет

Принято делить распределение на 7-8 интервалов, но в каждой конкретной ситуации Вы можете выбрать отличное количество интервалов, впрочем, как и сделать их различной длины.

Список параметров

Итак, вот список основных параметров дискретного закона распределения:

НазваниеСимволФормула
Математическое ожидание (среднее)E(X)Σ(pi•Xi)
Центральный момент
(среднеквадратичное отклонение)
σxσ = √(σ2) = √[∑[(Xi - μ)2]/n]
Длина интервалаRmax(x) - min(x)
Модаmomax P(x = mo)
1й квантиль-F(x) = 0.25
МедианаmeF(x) = 0.5
Дециль-F(x) = 0.1

Следующая статья - Статистическая гипотеза.

Вам понравилась статья? Да / Нет

Поиск по сайту:

Порекомендуйте статью своим друзьям:




Анализ данных

1. Нормальное распределение

Любой процесс можно описать нормальным распределением

2. Распределение Пуассона

Второе по популярности распределение

3. Закон распределения

Как структурировать данные полученные в ходе статистического исследования

4. Параметры дискретного закона распределения

Критерии для сравнения распределений

5. Статистическая гипотеза

Статистическая гипотеза. Проверка утверждений. Общие вопросы

6. Дисперсионный анализ

ANOVA

Прогнозирование




© 2015-2018 - K-Tree.ru • Онлайн учебник
Копия материалов, размещённых на данном сайте, допускается только по письменному разрешению владельцев сайта.
По любым вопросам Вы можете связаться по почте info@k-tree.ru