Статистическая гипотеза

Что это и кому это нужно?

Проверка (тест) статистической гипотезы - это способ математического определения верности некоторого утверждения на основе закона распределения. Освоив этот метод, Вы сможете делать математически обоснованные выводы, например:

Пример #1

Вы изготавливаете кубики для игры в кости и чтобы убедиться, что кубик отлично сбалансирован, Вы проводите тест - бросаете кости 600 раз и решаете, что если каждое число выпало 100±10 раз, то кубик сбалансирован.

Пример #2

На производстве 5% продукции отбраковывается, Вы разработали новую технологию и хотите проверить, уменьшится ли количество брака.

Основные термины, определения и формулы

Нулевая и альтернативная статистические гипотезы

Математически, условие статистического теста записывается в виде основной (нулевой) гипотезы H₀ и альтернативной (конкурирующей) гипотезы H₁. Основная гипотеза подразумевает некое значение параметра. Альтернативная гипотеза используется для обозначения области, которая нам также может быть интересна.

Теперь в примерах:

В первом примере мы хотим узнать, будет ли количество каждого выброшенного числа равно 100±10, при этом для нас неудачным будет как больше 110 так и меньше 90

H₀: μ = 100±10
H₁: μ ≠ 100±10

научная запись выглядит так:
H₀: μ = 100
H₁: μ ≠ 100
α = 0.1

Во втором примере мы хотим узнать, новая технология лучше старой? При этом нас не интересует, стала ли она хуже, а только есть ли улучшения. Предположим, что если количество брака осталось на уровне 5±0.25%, то процесс не стал лучше, если количество брака меньше 4.75%, то улучшения есть:

H₀: p = 5±0.25%
H₁: p < 4.75%

научная запись выглядит так:
H₀: p = 0.05
H₁: p < 0.05
α = 0.05

Критическая область и две ошибки

Область значений, в которой основная гипотеза неверна - это критическая область, размер этой области задаётся в виде уровня значимости α:

Мы имеем значения от 100 до 200 и хотим проверить,

мы предполагаем, что в критической области основная гипотеза неверна, если наше предположение неверно - значит мы ошиблись, такая ошибка называется ошибка первого рода. Для альтернативной гипотезы мы также можем допустить ошибку, такая ошибка будет называться ошибка второго рода

Почему?

Мы формулируем гипотезу так, что бы неверное отвержение основной гипотезы являлось для нашего решения более существенным, чем неверное принятие альтернативной, вот пример:

Проводится исследование, есть ли связь между курением и заболеванием раком, основная гипотеза выдвигается такая: курение вызывает рак. Если мы отвергнем это утверждение, а оно окажется верным - мы ставим под угрозу человеческие жизни (ошибка первого рода). При этом, если курение не вызывает рак, а в ходе эксперимента мы утвердили, что вызывает, то особых последствий это не вызовет (ошибка второго рода).

В условиях принятия решения мы хотим контролировать уровень ошибки первого рода, т.е. если нам необходимо принять решение относительно некоего утверждения, мы должны задаться некоторым уровнем значимости α и последующие расчёты будут зависеть от этого параметра.

Необходимо проверить,

Уровень значимости, статистическая мощность

Уровень значимости α - это вероятность допустить ошибку первого рода. Уровень значимости и ошибка первого рода - это одно и то же. Статистическая мощность связана с ошибкой второго рода (β), статистическая мощность - это вероятность отвергнуть основную гипотезу, когда верна альтернативная. Вероятность ошибки второго рода и статистическая мощность в сумме дают 100%, соответственно, чем больше статистическая мощность, тем меньше вероятность допустить ошибку второго рода.

Итак, мы имеем:

Проверка статистической гипотезы - математическое представление некоего утверждения
Нулевая гипотеза (H₀) - предположение о некоем параметре θ, H₀: θ = θ₀
Альтернативная гипотеза (H₁) - предположение о некоем параметре θ, H₁: θ = θ₀
Критическая область - область, в которой основная гипотеза H₀ неверна
Ошибка I рода - вероятность отвергнуть основную гипотезу, когда она верна
Ошибка II рода - вероятность принять основную гипотезу, когда она неверна

Пример

Математическая запись гипотезы, что среднее значение генеральной совокупности равно 2
H₀ : μ = 2
H₁ : μ ≠ 2

Ещё пример

Математическая запись гипотезы, что среднее значение выборки А и среднее значение выборки В равны
H₀ : μ_A = μ_B
H₁ : μ_A ≠ μ_B

Что бы уж точно

Математическая запись гипотезы, что среднее значение выборки А меньше среднего значения выборки В
H₀ : μ_A < μ_B
H₁ : μ_A ≥ μ_B

Уровень значимости α

Уровень значимости (его также можно было бы назвать "Степень доверия") - это параметр, который означает, какова вероятность, что верная гипотеза не будет принята. Этот параметр может быть получен, а может быть заранее задан условием, привожу два примера:

• Можем ли мы быть уверены на 90% (уровень значимости 10%), что машину не надо будет сдавать в ремонт в течение года? После проверки гипотезы мы получим результат "да" или "нет"
• На сколько мы можем быть уверены, что машину в течение года не надо будет сдавать в ремонт? После проверки гипотезы мы получим результат в процентах

Ошибки гипотезы

Когда мы делаем утверждение относительно некой гипотезы, мы можем допустить две ошибки:

Ошибка первого рода α

Например, мы провели тест некой выборки и по результатам решили, что параметр X не соответствует генеральной совокупности. Если выборка была сделана некорректно и параметр X описывает генеральную совокупность, то мы совершили ошибку первого рода - отказались от главной гипотезы когда она верна.

α = P(ошибка первого рода) = P(отказ от H₀ | H₀ верна)

Ошибка первого рода и уровень значимости это абсолютно одно и то же.

Пример

Мы взвесили 10 кроликов, их средний вес - 5.1±0.5 кг.
Предположим, что вес кролика подчиняется нормальному закону, тогда:

σ = 0.5/√(10) = 0.16
μ = 5.1
Условие гипотезы:
α = P(H₀ неверна | H₀ верна) = P(x < )

Ошибка второго рода β

Обратный случай ошибке первого рода - это когда мы приняли главную гипотезу, но она оказалась неверна

β = P(ошибка второго рода) = P(принятие H₀ | H₀ ошибочна)

Проверка статистической гипотезы

Проверка статистической гипотезы обозначает выполнение следующих шагов:
1. Построение случайной выборки
2. Расчёт параметра X выборки
3. Проверика гипотезы с использованием полученного значения X