k-tree

Статистика

1. Нормальное распределение

Любой процесс можно описать нормальным распределением

2. Распределение Пуассона

Второе по популярности распределение

3. Закон распределения

Как структурировать данные полученные в ходе статистического исследования

4. Параметры дискретного закона распределения

Критерии для сравнения распределений



Параметры дискретного закона распределения

В статье описано как найти среднее значение и стандартное отклонение. Вы узнаете, что такое квантиль и каких он бывает видов, а также, как построить доверительный интервал.

На глаз

Смотря на закон распределения, мы можем понять, какова вероятность того или иного события, можем сказать, какова вероятность, что произойдёт группа событий, а в этой статье мы рассмотрим, как наши выводы "на глаз" перевести в математически обоснованное утверждение.

Крайне важное определение: математическое ожидание - это площадь под графиком распределения. Если мы говорим о дискретном распределении - это сумма событий умноженных на соответсвующие вероятности, также известно как момент:

(2)  E(X) = Σ(pi•Xi) E - от английского слова Expected (ожидание)
Для математического ожидания справедливы равенства:

(3)  E(X + Y) = E(X) + E(Y)
(4)  E(X•Y) = E(X) • E(Y)

Момент степени k:

(5)  νk = E(Xk)

Центральный момент степени k:

(6)  μk = E[X - E(X)]k

Как оно, в среднем?

Первый вопрос о вероятности - это как оно в среднем? Среднее значение (μ) закона распределения - это математическое ожидание случайной величины (случайная величина - это событие), вот пример, сколько в среднем посетителей заходит в магазин в час:

Таблица 1. Количество посетителей в час
Кол-во посетителей0123456
Количество наблюдений177694921371433
Таблица 2. Закон распределения количества посетителей
Кол-во посетителей0123456
Вероятность (%)44.317.312.35.39.33.58.3
График 1. Количество посетителей в час

Чтобы найти среднее значение всех результатов необходимо сложить всё вместе и разделить на количество результатов:

μ = (177 • 0 + 69 • 1 + 49 • 2 + 21 • 3 + 37 • 4 + 14 • 5 + 33 • 6) / 400 = 646/400 = 1.62

То же самое мы можем проделать используя формулу 2:

μ = M(X) = Σ(Xi•pi) = 0 • 0.44 + 1 • 0.17 + 2 • 0.12 + 3 • 0.05 + 4 • 0.09 + 5 • 0.04 + 6 • 0.08 = 1.62 Момент первой степени, формула (5)

Собственно, формула 2 представляет собой среднее арифметическое всех значений
Итог: в среднем, 1.62 посетителя в час

Плюс - сюда, минус - туда

Посмотрите на это распределение, можно предположить, что в среднем случайная величина равна 100±5, поскольку кажется, что таких значений несравнимо больше чем тех, что меньше 95 или больше 105:

График 2. График функции вероятности. Распределение ≈ 100±5

Среднее значение по формуле (2): μ = 99.95, но как посчитать, насколько далеко все значения находятся от среднего? Вам должна быть знакома запись 100±5. Что бы получить это значение ±, нам необходимо определить диапазон значений вокруг среднего. И мы могли бы использовать в качестве меры удалённости "разность" между средним и случайными величинами:

(7) xi - μ

но сумма таких расстояний, а следовательно и любое производное от этого числа, будет равно нулю, поэтому в качестве меры выбрали квадрат разниц между величинами и средним значением:

(8) (xi - μ)2

Соответственно, среднее значение удалённости - это математическое ожидание квадратов удалённости:

(9) σ2 = E[(X - E(X))2] Поскольку вероятности любой удалённости равносильны - вероятность каждого из них - 1/n, откуда: (10) σ2 = E[(X - E(X))2] = ∑[(Xi - μ)2]/n Она же формула центрального момента (6) второй степени

σ возведена в квадрат, поскольку вместо расстояний мы взяли квадрат расстояний. σ2 называется дисперсией. Корень из дисперсии называется средним квадратическим отклонением, или среднеквадратическим отклоненим, и его используют в качестве меры разброса:

(11) μ±σ
(12) σ = √(σ2) = √[∑[(Xi - μ)2]/n]

Возвращаясь к примеру, посчитаем среднеквадратическое отклонение для графика 2:

σ = √(∑(x-μ)2/n) = √{[(90 - 99.95)2 + (91 - 99.95)2 + (92 - 99.95)2 + (93 - 99.95)2 + (94 - 99.95)2 + (95 - 99.95)2 + (96 - 99.95)2 + (97 - 99.95)2 + (98 - 99.95)2 + (99 - 99.95)2 + (100 - 99.95)2 + (101 - 99.95)2 + (102 - 99.95)2 + (103 - 99.95)2 + (104 - 99.95)2 + (105 - 99.95)2 + (106 - 99.95)2 + (107 - 99.95)2 + (108 - 99.95)2 + (109 - 99.95)2 + (110 - 99.95)2]/21} = 6.06

Итак, для графика 2 мы получили:

X = 99.95±6.06 ≈ 100±6 , что немного отличается от полученного "на глаз"

Квантиль

График 3. Функция распределения. Медиана

График 4. Функция распределения. 4-квантиль или квартиль

График 5. Функция распределения. 0.34-квантиль

Для анализа функции распределения ввели понятие квантиль. Квантиль - это случайная величина при заданном уровне вероятности, т.е.: квантиль для уровня вероятности 50% - это случайная величина на графике плотности вероятности, которая имеет вероятность 50%. На примере с графиком 3, квантиль уровня 0.5 = 99 (ближайшее значение, поскольку распределение дискретно и события со значением 99.3 просто не существует)

  • 2-квантиль - медиана
  • 4-квантиль - квартиль
  • 10-квантиль - дециль
  • 100-квантиль - перцентиль

То есть, если мы говорим о дециле (10-квантиле), то это означает, что мы разбили график на 10 частей, что соответствует девяти линяям, и для каждого дециля нашли значение случайной величины.

Также, используется обозначение x-квантиль, где х - дробное число, например, 0.34-квантиль, такая запись означает значение случайной величины при p = 0.34.

Для дискретного распределения квантиль необходимо выбирать следующим образом: квантиль гарантирует вероятность, поэтому, если рассчитанный квантиль не совпадает с одним и значений, необходимо выбирать меньшее значение.

Кому верить?

Квантили используют для построения доверительных интервалов, которые необходимы для исследования статистики не одного конкретного события (например, интерес - случайное число = 98), а для группы событий (например, интерес - случайное число между 96 и 99). Доверительный интервал бывает двух видов: односторонний и двусторонний. Параметр доверительного интервала - уровень доверия. Уровень доверия означает процент событий, которые можно считать успешными.

Двусторонний доверительный интервал

Двусторонний доверительный интервал строится следующим образом: мы задаёмся уровнем значимости, например, 10%, и выделяем область на графике так, что 90% всех событий попадут в эту область. Поскольку интервал двусторонний, то мы отсекаем по 5% с каждой стороны, т.е. мы ищем 5й перцентиль, 95й перцентиль и значения случайной величины между ними будут являться доверительной областью, значения за пределами доверительной области называются "критическая область"

График 6. Плотность вероятности

График 7. Функция распределения с 5 и 95 перцентилями. Цветом выделен доверительный интервал с уровнем доверия 0.9
График 8. Функция вероятности и двусторонний доверительный интервал с уровнем доверия 90%

Коммунизм и капитализм

Левосторонний и правосторонний доверительные интервалы строятся аналогично двустороннему: для левостороннего интервала мы находим перцентиль уровня ['один' минус 'уровень значимости']. Таким образом, для построения доверительного левостороннего интервала уровня значимости 4% нам необходимо найти четвёртый перцентиль и всё, что справа - доверительный интервал, всё что слева - критическая область.

График 9. Левосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

График 10. Правосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

Итого

Среднее значение - математическое ожидание случайной величины, находится по формуле:

μ = E(X) = Σ(pi•Xi)

Среднеквадратичное отклонение - математическое ожидание удалённости значений от среднего, находится по формуле:

σ = √(σ2) = √[∑[(Xi - μ)2]/n]

n-квантиль - разделение функции распределения на n равных отрезков, основные типы квантилей:

  • 2-квантиль - медиана
  • 4-квантиль - квартили
  • 10-квантиль - децили
  • 100-квантиль - перцентили

Доверительный интервал уровня α - участок функции вероятности, содержащий α всех возможных значений. Двусторонний доверительный интервал строится отсечением (1-α)/2 справа и слева. Левосторонний и правосторонний доверительные интервалы строятся отсечением области (1-α) слева и справа соответственно.


Если Вам стало понятно - порекомендуйте статью своим друзьям:




Если Вы что-то не поняли - спросите это у нас:


© 2015-2017 - K-Tree.ru
Копия материалов, размещённых на данном сайте, допускается только по письменному разрешению владельцев сайта.
По любым вопросам Вы можете связаться по почте info@k-tree.ru