WWW.PDF.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Разные материалы
 

«Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия. Санкт-Петербург, 2013 1 / 35 Cодержание Содержание Критерии ...»

Лекция 6. Критерии согласия.

Проверка

независимости двух номинальных признаков

Буре В.М., Грауэр Л.В.

ШАД

Санкт-Петербург, 2013

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 1 / 35

Cодержание

Содержание

Критерии согласия для простых гипотез

Критерий согласия Пирсона

Критерий согласия Колмогорова

Критерий согласия хи-квадрат для сложных гипотез

Таблицы сопряженности

Критерий 2

Точный критерий Фишера

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 2 / 35 Критерии согласия для простых гипотез Критерий согласия Пирсона Критерий согласия Пирсона Определение 1 Статистической гипотезой называется любое предположение о законе распределения генеральной совокупности.

Определение 2 Гипотеза называется простой, если в ней единственным образом определяется закон распределения генеральной совокупности. В противном случае гипотеза называется сложной.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 3 / 35 Критерии согласия для простых гипотез Критерий согласия Пирсона Один из типов гипотез гипотезы согласия. Методы проверки этих гипотез критерии согласия.

Пусть задана генеральная совокупность, функция распределения F, которой взаимно однозначно соответствует распределению генеральной совокупности P, и выборка X[n] = (X1,..., Xn ).

Пусть проверяется гипотеза согласия H0 : F = F0 (нулевая гипотеза), при этом предполагается, что F0 (x) известна. Очевидно, что данная гипотеза простая.



Сформулируем альтернативную гипотезу: H1 : F = F0.

Для нас важна гипотеза H0, необходимо решить: принять ее или отклонить. Решение принимается по имеющейся выборке X[n], т. е.

проверяется хорошо ли выборка X[n] согласуется с F0. Мы можем принять гипотезу, но при этом она на самом деле может быть неверной.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 4 / 35 Критерии согласия для простых гипотез Критерий согласия Пирсона Рассмотрим критерий Пирсона (критерий 2 ).

Числовую ось разбиваем на r промежутков = a0 a1...

ar =, i = (ai1, ai ], r = 1,, r, и построим статистику 2 :

r (0) (ni npi )2 (X[n] ) =.

(0) npi i=1 (0) где pi = F0 (ai ) F0 (ai1 ).

Если H0 верна, тогда по теореме 1 Л4:

d 2 (X[n] )

–  –  –

Поведение статистики 2 зависит от того, верна нулевая гипотеза или нет.

Нетрудно понять, как выбрать критическую область для гипотезы H0.

Если 2 (X[n] ) C, то H0 отклоняется, если 2 (X[n] ) C, то нет оснований для отклонения H0.

–  –  –

где случайная величина подчиняется распределению хи-квадрат с r 1 степенью свободы.

Константа C (r 1, ) представляет собой квантиль уровня 1 распределения хи-квадрат с r 1 степенью свободы.

Для практического нахождения квантили можно использовать статистические таблицы.

Область (C (r 1, ), ) является критической для гипотезы H0.

Если 2 (X[n] ) C (r 1, ), то H0 отклоняется, а если 2 (X[n] ) C (r 1, ), то для отклонения нет оснований.

–  –  –

В результате применения критерия могут возникать следующие ошибки:

Ошибка первого рода, если мы отбросили гипотезу H0, а она на самом деле верна.





Ошибка второго рода, если мы принимаем гипотезу H0, а она на самом деле не верна.

Учитывая доказанную асимптотику, вероятность ошибки первого рода приближенно совпадает с заданной вероятностью. Вероятность ошибки первого рода называют часто уровнем значимости критерия.

–  –  –

где F2 (·) функция распределения хи-квадрат с r 1 степенью r 1 свободы.

Вероятность вычисляется при условии справедливости H0.

P{ 2 (X[n] )} вероятность называется p-значением (p-value).

Большие значения статистики 2 свидетельствуют против H0.

Интервал (2 (X[n] ); +) критическая область значений статистики 2, там находятся еще более худшие значения статистики для гипотезы H0.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 10 / 35 Критерии согласия для простых гипотез Критерий согласия Пирсона

–  –  –

Далее можно выбрать значение (например, 0,05) и применить следующий критерий.

Если p, то мы отвергаем H0 и принимаем альтернативу H1.

Если p, то гипотеза H0 согласуется с наблюдениями.

Указанный критерий полностью эквивалентен критерию в первом подходе.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 11 / 35 Критерии согласия для простых гипотез Критерий согласия Пирсона Можно отметить некоторые общие особенности статистических критериев, которые обсуждались выше.

Любой статистический критерий устроен следующим образом:

Выбираем статистику критерия, закон распределения которой известен, если справедлива H0.

Определяем критическую область для гипотезы H0, попадание в которую маловероятно, если гипотеза H0 верна.

Уровень значимости или вероятность ошибки первого рода вероятность попадания в критическую область при условии истинности H0, обычно она выбирается малой, например, 0,05.

Существует правило p-значения: находится вероятность получения значений статистики, которые еще хуже, чем полученное значение при условии истинности H0. Если p-значение оказывается меньше заданного уровня значимости, то нулевую гипотезу отвергают.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 12 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова Критерий согласия Колмогорова Рассмотрим другой критерий согласия критерий Колмогорова.

Пусть задана генеральная совокупность, функция распределения F, которой взаимно однозначно соответствует распределение P, и выборка X[n] = (X1,..., Xn ).

Выдвинем нулевую гипотезу H0 : F = F0, H1 : F = F0.

Дополнительно наложим ограничение: функция F (x) непрерывна на R.

–  –  –

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 13 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова Можно показать, что при условии справедливости гипотезы H0 распределение статистики Dn (X[n] ) не зависит от конкретного вида F0.

–  –  –

не зависит от закона распределения генеральной совокупности.

Доказательство Предположим дополнительно, что существует (a, b): a, b +, что F0 (x) строго монотонна на (a, b), при этом F0 (a) = 0, F0 (b) = 1.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 14 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова

–  –  –

Последнюю вероятность можно вычислять для различных значений z как многомерный интеграл от плотности, тождественно равной единице внутри гиперкуба [0, 1]n. Интегрирование проводится по множеству точек в [0, 1]n, удовлетворяющих неравенству, содержащемуся под знаком вероятности. Таким образом, для рассматриваемого случая можно построить точные критические области с заданным уровнем значимости независимо от конкретного вида F0 (x).

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 16 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова Можно найти z1 для некоторого. Рассмотрим критическую область (z1, 1].

Если статистика (1) попадает в данную область, тогда отвергаем H0 и принимаем H1.

Если Dn [0, z1 ), тогда принимаем гипотезу H0.

Лемма доказана.

Замечание 1 Доказательство леммы 1 можно распространить на случай, когда от F0 (x) не требуется строгой монотонности, для доказательства необходимо рассмотреть обобщенную обратную функцию:

F0 (y ) = sup{x : F0 (x) y }.

Таким образом, возможно построение точного критерия согласия для фиксированного n. Однако, при больших n возникают серьезные вычислительные трудности. В связи с этим применяется важный асимптотический результат. Справедлива следующая теорема А.Н.

Колмогорова.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 17 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова Теорема 1 (А.Н. Колмогорова)

–  –  –

Правило проверки гипотез будет следующим.

Если nDn (X[n] ) (d1, ), тогда гипотеза H0 отвергается, если nDn (X[n] ) (d1, ), тогда гипотеза H0 принимается.

/

–  –  –

Для практической проверки гипотез согласия по критерию Колмогорова можно воспользоваться таблицами математической статистики.

Статистику Dn (X[n] ) можно вычислить с помощью простого вычислительного алгоритма:

–  –  –

где X(1)... X(n) вариационный ряд, построенный по выборке X[n].

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 19 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова Критерий 2

–  –  –

где X(1)... X(n) вариационный ряд, построенный по выборке X[n].

При справедливости гипотезы H0 и непрерывности функции F0 распределение статистики омега-квадрат зависит только от n и не зависит от F0.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 20 / 35 Критерии согласия для простых гипотез Критерий согласия Колмогорова При малых n имеются таблицы критических точек, а для больших значений n следует использовать предельное (при n ) распределение статистики 2. Для него составлены подробные n таблицы и вычислительные программы.

Важное с теоретической точки зрения свойство критериев, основанных на Dn и 2 : они состоятельны против любой альтернативной гипотезы n F = F0.

Статистический критерий для проверки гипотезы H0 называют состоятельным против альтернативной гипотезы H1, если вероятность отвергнуть H0, когда на самом деле верна H1, стремится к 1 при неограниченном увеличении объема наблюдений.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 21 / 35 Критерий согласия хи-квадрат для сложных гипотез Критерий согласия хи-квадрат для сложных гипотез В критерии согласия хи-квадрат реализуется следующая схема.

Выдвигаются гипотезы:

H0 : F (x) F (x) нулевая гипотеза.

H1 : F (x) = F (x) альтернативная гипотеза.

В прикладных задачах, как правило, известна не сама функция распределения, а параметрическое семейство, которому она принадлежит:

F (·/) : Rl.

Таким образом, проверяемая гипотеза принимает вид:

–  –  –

Альтернативная гипотеза H1 примет вид: гипотеза H0 не верна.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 22 / 35 Критерий согласия хи-квадрат для сложных гипотез

–  –  –

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 24 / 35 Критерий согласия хи-квадрат для сложных гипотез Критическая область для гипотезы H0 при использовании статистики 2 () имеет вид: S = (u1,kl1, ), где u1,kl1 квантиль уровня 1 распределения хи-квадрат с k l 1 степенями свободы.

Вероятность ошибки первого рода приближенно равна.

–  –  –

Таблицы сопряженности Определение 3 В номинальных шкалах измерения представляют собой метки, обозначающие принадлежность измерения определенной градации измеряемого признака. Никаких содержательных соотношений кроме x = y или x = y между значениями в этих шкалах нет.

Для проверки независимости качественных признаков A и B, то есть, признаков, измеряемых в номинальных шкалах, применяются таблицы сопряженности.

–  –  –

Пусть имеется два качественных признака A и B. Признак A имеет r градаций: A1,..., Ar, признак B имеет s градаций B1,..., Bs.

По выборке из n случайно выбранных объектов можно составить таблицу сопряженности:

–  –  –

Сформулируем гипотезу независимости и альтернативную ей гипотезу:

H0 : P(Ai Bj ) = pi qj для любых i, j.

H1 : существует пара (i, j) такая, что P(Ai Bj ) = pi qj.

Гипотеза H0 представляет собой гипотезу независимости двух признаков.

–  –  –

Число степеней свободы в предельном распределении хи-квадрат в соответствии с теоремой Фишера 2 вычисляется как rs (r 1) (l 1) 1 = (r 1)(s 1). Большие значения статистики хи-квадрат свидетельствуют против нулевой гипотезы H0.

–  –  –

Точный критерий Фишера Пусть имеется два качественных признака A и B. Признаки A и B имеют по 2 градации: A1, A2 и B1, B2, соответственно.

По выборке из n случайно выбранных объектов можно составить таблицу сопряженности 2x2 T0 :

–  –  –

Требуется проверить нулевую гипотезу о независимости признаков A и B.

Критерий 2 применим, если ожидаемые значения в любой из клеток таблицы сопряженности не меньше 5 (nj 5, mk 5). Когда это условие не выполняется, например, число наблюдений невелико, применяют точный критерий Фишера.

Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 32 / 35 Таблицы сопряженности Точный критерий Фишера

–  –  –

Если вероятность P не превосходит уровень значимости, тогда нулевую гипотезу о независмости признаков отклоняют. В противном случае нет оснований отклонять нулевую гипотезу.

Правила использования точного критерия Фишера:

Вычислите вероятность получить исходную таблицу Постройте все возможные варианта заполнения таблицы при неизменных суммах по строкам и столбцам. (Для этого в одной из клеток проставляют все целые числа от 0 до максимально возможного, пересчитывая числа в остальных клетках так, чтобы суммы по столбцам и строкам оставались неизменными) Вычислите вероятности для полученных таблиц Просуммируйте вероятность получить исходную таблицу и все вероятности, которые не превышают ее.

Примите статистическое решение

–  –  –

Большев Л. Н., Смирнов Н. В.Таблицы математической статистики.

М.: Изд. Наука, 1983.

Тюрин Ю. Н., Макаров А. А.Статистический анализ опытных данных на компьютере. Под ред. В.Э. Фигурнова. М.: ИНФРА-М, 1998.

Холлендер М., Вулф Д.Непраметрические методы статистики. М.:

Финансы и статистика, 1983. 518 с.

Greenwood P. E., Nikulin M. S.A Guide to Chi-Squared Testing. New York, John Wiley & Sons, Inc., 1996.

Похожие работы:

«Пермская ОКК PKI РАЦИОНАЛИЗАЦИЯ ПРОМЫШЛЕННОСТИ ПЕРМСКОГО ОКРУГА. (МАТЕРИАЛЫ ПЕРМСКОГО ОКРУЖНОГО СОВЕЩАНИЯ ПО РА Ц И О Н А Л И ЗА Ц И И ПРОМЫШЛЕННОСТИ — 12—14 января 1930 года). Издание ОКК РКИ Пермь, 1930 г. /c/r&s-z ;,V y& X & 'U ;© i i f e l * ’ :. -•.• ; if V',4 ’• 4 -• ' :,. V ' ' :,. SpW...»

«АДМИНИСТРАЦИЯ АЛТАЙСКОГО КРАЯ ГЛАВНОЕ УПРАВЛЕНИЕ ОБРАЗОВАНИЯ И МОЛОДЕЖНОЙ ПОЛИТИКИ АЛТАЙСКОГО КРАЯ ПРИКАЗ.PS 2015 г. № ^ г. Барнаул Об утверждении методики оценки э^ф^ективности использования средств И в 1 оцессе обучения согласно требованиям ^ ФГОС...»

«ПИСЬМА АЛЬБЕРТА ЭЙНШТЕЙНА СТАЛИНУ И СОВЕТСКИМ ДИПЛОМАТАМ Имя Альберта Эйнштейна (1879-1955) для большинства людей, даже совершенно не знающих его работ, однозначно сопрягается с представлением об ученом, коренным образом изменившем все наши представления о пространстве и времени. Исследования двадцатишестиле...»

«Государственный институт искусствознания ЛЮБИТЕЛЬСТВО: XVIII – XXI вв. ОТ ПРОСВЕЩЕННЫХ ДИЛЕТАНТОВ ДО РОК-МУЗЫКАНТОВ Сборник статей, посвященный памяти Милихата Юнисова Москва УДК 78.03 ББК 85.314 Л 93 Редактор К.Г. Богемская, доктор искусствоведения Рецензенты: Т.Ю. Гнедовс...»

«ОПЫТ ИСПОЛЬЗОВАНИЯ КОМПЬЮТЕРНЫХ МУ ЛЬТИМЕДИА ТЕХНОЛОГИЙ В ПР АКТИКЕ АДАПТИВНОГО ФИЗИЧЕСКОГО ВОСПИТАНИЯ Кашуба В.А., Зияд Хамиди Ахмад Насраллах, Хабинец Т.А. Национальный университет физического воспитания и спорта Украины Аннотация. В статье представлена разр...»

«Д.э.н. Бородин К.Г. (ВИАПИ им.А.А.Никонова РАСХН), д.э.н. Прокопьев М.Г. (Институт проблем рынка РАН), к.э.н. Строков А.С. (ВИАПИ им.А.А.Никонова РАСХН) Оценка последствий для рынка мяса птицы РФ в...»

«VII Вы просыпаетесь, вы полны забот о предстоящем дне. В голове складывается цепочка предстоящих дел, их много, больших и малых, важных и пустячных, приятных и скучных, но обязательных, неотложных. В этом калейдоскопе одна из главных забот — ваш ребено...»








 
2017 www.pdf.knigi-x.ru - «Бесплатная электронная библиотека - разные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.