k-tree

Анализ данных

1. Нормальное распределение

Любой процесс можно описать нормальным распределением

2. Распределение Пуассона

Второе по популярности распределение

3. Закон распределения

Как структурировать данные полученные в ходе статистического исследования

4. Параметры дискретного закона распределения

Критерии для сравнения распределений

5. Статистическая гипотеза

Статистическая гипотеза. Проверка утверждений. Общие вопросы

6. Дисперсионный анализ

ANOVA

Прогнозирование



Дисперсионный анализ

ANOVA

Дисперсионный анализ был введён Фишером - английским учёным, сделавшим огромный вклад в развитие науки. Дисперсионный анализ ANOVA - это синонимы, ANOVA - это акроним от ANalysis Of VAriance (Variance - дисперсия на английском). ANOVA в статистике - это мощный инструмент для определения влияния различных групп наблюдений между собой. Анализ ANOVA лучше пояснить на примере.

Пример

Предположим, Вы хотите эмпирическим методом провести исследование бензина на качество, для этого вы заправляете бак на одной заправке и проезжаете n километров, повторяете такой эксперимент, скажем, пять раз, затем проводите такой же эксперимент, только на другой заправке. У Вас два набора данных - заправка A и заправка B. Разумеется, цифры разбегаются, но всё же есть некоторая зависимость, так вот, что бы определить, влияет ли заправка на расход бензина (или данные не связаны между собой) Вы используете дисперсионный анализ.

Дисперсионный анализ позволяет определить какой из факторов влияет больше, внутригрупповой или межгрупповой. В примере выше Вы сможете определить, насколько влияет на расход бензина выбор заправки. В этом суть дисперсионного анализа: узнать, является ли выбранный фактор значимым для выбранных наблюдений.

В некотором смысле, дисперсионный анализ похож на регрессионный и корреляционный анализы, т.к. позволяет определить влияние переменных друг на друга.

Анализ

В теории, для анализа дисперсии выстраивается простая модель, схожая с изучаемой в анализе временых рядов.

Модель

Модель дисперсионного анализа включает в себя среднее значение, эффект эксперимента и случайную ошибку:

y = μ + τ + ε
τ - эффект эксперимента, ε - случайная ошибка

Однофакторный

Однофакторный дисперсионный анализ рассматривает влияние одного критерия, делается это так: мы проводим два эксперимента, в одном из них включаем дополнительный фактор и анализируем, внёс ли этот фактор изменения. В качестве исходных данных рассмотрим результаты ряда экспериментов:

NE1E2E3E4
1354812455
2403611239
3314213143
4403113548
553368860
μi39.838.611849
μ = (39.8 + 38.6 + 118 + 49) / 4 = 61.35
Квадрат ошибок внутри групп (Square Sum within group):
SSw = ΣiΣj(yij - μi)2 = 2170
Квадрат ошибок между группами (Square Sum between group):
SSb = Σii - μ)2 = 4343.71
Учитывая степени свободы, ожидаемое среднее:
MSw = SSw / a(n-1) = 144.67
MSb = SSb / a-1 = 1085.93
Значение Fкрит :
F0 = MSb/MSw = 7.506

Тест Фишера: если значение F0 окажется больше чем значение F λ,4,15, значит фактор оказывает влияние.

Для n = 20 и a = 5, Fλ,n-a,a-1 = Fλ,15,4 = 5,86
Поскольку F0 = 7.506 > 5.86, то принимаем, что введённый фактор оказал влияние на результаты эксперимента.

Двухфакторный

При двухфакторном анализе выдвигаются три гипотезы на проверку:

  • Факторы А и В не оказывают влияния на результат
  • Фактор А не оказывает влияния на результат
  • Фактор B не оказывает влияния на результат

Для проведения двухфакторного анализа необходимо составить группы результатов: несколько измерений для всех значения каждого из факторов, т.е.:

A1A2
B1X1a1,b1...XNa1,b1X1a1,b2...XNa1,b2
B2X1a1,b2...XNa1,b2X1a1,b2...XNa1,b2

Далее подсчитывается среднее значение для каждого значения факторов, т.е. среднее для A1, среднее для В1 и т.д. Затем подсчитывается общее среднее для всех результатов. Зададимся количеством критериев: k = 2 (количество критериев А) и m = 2 (количество критериев В).

T = ΣΣΣxijk
Сумма элементов под влиянием фактора A:
TAi = Σxi·k
Сумма элементов под влиянием фактора B:
TBj = Σx·jk
Сумма элементов под влиянием фактора AB:
TAiBj = Σxij·
SST = Σx2ijk - T2/N
SSA = ΣT2Ai/n·m - T2/N
SSB = ΣT2Bj/n·k - T2/N
SSAB = ΣΣT2AiBj/n - SSA - SSB - T2/N
SSE = ΣΣΣx2ijk - ΣΣT2AiBj/n

SST = SSA + SSB + SSAB + SSE

MSE = SSE/(n-1)·m·k
MSA = SSA/k-1
MSB = SSB/m-1
MSAB = SSAB/(m-1)·(k-1)
Тест "Критерий A не оказывает влияние на результат", ν1 = k-1:
FA = MSA/MSE
Тест "Критерий B не оказывает влияние на результат", ν1 = m-1:
FB = MSB/MSE
Тест "Критерии A и B не оказывают влияние на результат", ν1 = (k-1)(m-1):
Fint = MSAB/MSE

Для каждого F, если F > F α,ν12, то гипотеза отвергается. ν2 = N-mk

Многофакторный

Многофакторный анализ аналогичен двухфакторному - проводятся те же операции, но критерии группируются и итеративно находится влияние каждого из факторов.

С повторными измерениями

Дисперсионный анализ с повторными измерениями озночает, что для каждого критерия производилось несколько замеров случайной величины для получения более точного результата (поскольку в ANOVA) используется внутригрупповая сумма квадратов.

Применение

Дисперсионный анализ применяют в самых различных отраслях науки и производства тогда, когда необходимо изучить зависимость критериев на различие средних значений, при этом сравнивается не среднее значение, а разброс результатов вокруг среднего значения, т.е. дисперсию.

Решение задач

В качестве примера приведём задачу из метрологии. На заводе размещены пять станков, на которых производят валы. Необходимо определить, влияет ли выбор станка или подготовка работника на результат производства. Для анализа производят замеры для каждого станка и работника, в результате получается таблица:

Оператор 1
М1 30.335 30.391 30.32 30.362 30.395 30.384 30.368 30.328 30.3 30.327
М2 30.326 30.34 30.393 30.332 30.382 30.379 30.377 30.316 30.383 30.37
М3 30.304 30.707 30.509 30.414 30.565 30.757 30.346 30.706 30.49 30.308
М4 30.218 30.256 30.231 30.255 30.136 30.177 30.175 30.151 30.113 30.211
М5 30.485 30.502 30.481 30.777 30.446 30.484 30.568 30.596 30.566 30.758
Оператор 2
М1 30.352 30.361 30.391 30.346 30.391 30.332 30.369 30.326 30.355 30.351
М2 30.382 30.363 30.381 30.353 30.324 30.318 30.393 30.361 30.313 30.322
М3 30.655 30.708 30.341 30.373 30.354 30.703 30.801 30.991 30.327 30.736
М4 30.559 30.372 30.527 30.313 30.452 30.473 30.504 30.395 30.331 30.577
М5 30.363 30.325 30.35 30.329 30.307 30.301 30.388 30.313 30.311 30.396

Воспользуемся методом двухфакторного анализа, фактор А - оператор, фактор В - станок. Рассчитаем суммы квадратов, для этого необходимо рассчитать значение среднего для каждой из групп:

TTA1TA2 TB1TB2TB3TB4TB5
3040.759 1519.81520.959 607.084 607.108 611.095 606.426 609.046
SSA = 0.013
SSB = 0.734
SSAB = 0.619
SSE = 1.015

MSA = 0.013
MSB = 0.184
MSAB = 0.155
MSE = 0.254

FA = 0.051
FB = 0.724
FAB = 0.61

Критические значения для теста Фишера:
Fcrit A = F0.1, 1, 90 = 2.77
Fcrit B = F0.1, 4, 90 = 2.01
Fcrit AB = F0.1, 4, 90 = 2.01

Таблица результатов:

Влияние станка на результат Да 0.051 < 2.77
Влияние квалификации работника на результат Да 0.724 < 2.01
Взаимное влияние квалификации работника и выбора станка на результат Да 0.61 < 2.01

В excel/Open Calc

Для решения дисперсионного анализа в электронной таблице Вам потребуются следующие формулы:

sumproduct Сумма произведений, используется для нахождения суммы квадратов
finv Обратное значение распределения F - критерий Фишера

Таблица для скачивания в форматах ods и xls.

Скачать статью в формате PDF.


© 2015-2017 - K-Tree.ru
Копия материалов, размещённых на данном сайте, допускается только по письменному разрешению владельцев сайта.
По любым вопросам Вы можете связаться по почте info@k-tree.ru