Перевірка статистичних гіпотез

Лекція 14. Перевірка статистичних гіпотез

Гіпотези про розподіл випадкової величини X називаються – статистичними.

Нехай є вибірка х1,х2,…хn випадкової величини X. Стосовно розподілу Х відомо, що він належить до деякого класу розподілів G. З цього класу вибирають з тих чи інших міркувань 1 конкретний розподіл F. Потрібно за вибіркою зробити висновок: чи може F бути розподілом випадкової величини X чи не може.

Вибір розподілу F із сукупності G називають – вибором основної (нульової) гіпотези H0.

Після вибору Н0 решта гіпотез, називаються – альтернативними (конкуруючими відносно основної). Альтернативна гіпотеза може бути одна Н1 , а може бути їх кілька Н , .

Якщо Н1 полягає в запереченні Н0, то вона називається загальною альтернативою.

Гіпотези про розподіл, що однозначно його визначає, називаються простими, в іншому разі – складними.

Приклад. Проста Н: вип. величина X має розподіл Бернуллі параметрами n=4 і p=(позначають Х~P4(k;)). Складна Н p: випадкова величина X має розподіл Бернуллі P4(k;p), де p є ( ;).

Методика перевірки статистичних гіпотез

Ми поділимо множину всіх результатів вибірки на 2 частини: S – множина таких результатів, при яких Н0 відхиляється; - множина таких результатів, при яких Н0 не відхиляється.

Ця множина S називається – критичною множиною(областю), або критерієм для перевірки гіпотезиН0.

Розглянемо можливі помилки:

Помилка I роду – полягає в тому, що Н0 відхиляється коли вона є істинною.

Помилка II роду - полягає в тому, що Н0 не відхиляється хоча є хибною.

Вибір основної гіпотези: За основну гіпотезу Н0 вибирають ту, для якої помилка І роду має більшу ціну, тобто для якої важливіше уникнути помилки І роду.

Н0 – основна гіпотеза; Н1 – загальна альтернатива (заперечення Н0).

Нехай Н0 і Н1 – прості гіпотези, S – критична множина.

Якщо х є S, то Н0 відхиляється.

, то Н0 не відхиляється.

Ймовірність помилки І роду можна позначити так Pн 0 (х є S), ймовірність помилки ІІ роду

Pн1().

Число , що обмежує зверху ймовірність помилки І роду називається рівнем значущості критерію: Pн0 (х є S) . Кажуть що критерій відповідає рівню значущості . вибирається мале число 0,1; 0,05; 0,001. Чим серйозніші наслідки помилки І роду тим меншим беруть .

Якщо є різні критерії з однаковим рівнем значущості , то вибирають такий критерій, тобто множину S, щоб ймовірність помилки ІІ роду була мінімальною, тобто ймовірність протилежної події максимальною Pн1(х є S)-mах, а це означає, що S треба вибирати якнайширшу з можливих.

Ймовірність Pн1(х є S) – відхилити основну гіпотезу Н0 при умові, що істинна альтернативна Н1 називають потужністю критерію і позначають . Якщо альтернативна гіпотеза складна, тоді при кожній гіпотезі Н рахуємо потужність ( ), – функція потужності.

Висновки, які можна зробити про істинність основної гіпотези

Нехай згідно критерію основна гіпотеза Н0 відхиляється. Тоді ймовірність того, що Н0 істинна не перевищує рівня значущості , тобто досить мала. Один суперечливий факт і гіпотезу відкидають.

Якщо ж за критерієм гіпотеза Н0 не відхиляється, а альтернативна не є простою і потужність критерію не можна визначити, то не можна вказати ймовірність того, що Н0 є істинною. Тоді роблять висновок, що вибірка не суперечить гіпотезі Н0 . Один підтверджуючий факт ще не означає істинності гіпотези.

Зв’язок перевірки гіпотез з надійними інтервалами

Нехай потрібно перевірити гіпотезу про параметр розподілу, а саме Н0:=0, при загальній альтернативі Н1:0 . Нехай ми можемо побудувати надійний інтервал () для з надійністю . Тоді, якщо Н0 істинна, то Pн0 = . Звідси отримуємо критерій рівня значущості =1-, бо ймовірність відкидання істинної гіпотези Н0 дорівнює .

Отже, гіпотезу Н0 відкидають, якщо і не відкидають , якщо . Множина S має вигляд і буде ширшою (критерій матиме більшу потужність), при точнішому (коротшому) надійному інтервалі () .

Довільний надійний інтервал можна використати для перевірки гіпотези про значення відповідного параметра.

Якщо потрібно при рівні значущості перевірити гіпотезу Н0 : =0, при альтернативній Н1 : >0 (або <0), то використовують правобічний (лівобічний) надійний інтервал для параметра . Оцінимо функцію потужності при кожній гіпотезі Н : >0 . ( )=. Ми можемо стверджувати, що ( )=, і цей інтервал має найбільший лівий кінецьпорівняно з усіма інтервалами з такою надійністю. Тоді, оскільки 0<, то для даного інтервалу найімовірніше, що 0 не попаде до нього, тобто ( ) є максимальною для всіх >0 (кажуть ще рівномірно найпотужніший критерій).

Приклад. Потрібно перевірити при рівні значущості наявність ефекту від використання спеці-альної машини, якщо відома різниця їх продуктивностей у n аналогічних парах робіт.

Вважаємо, що продуктивність роботи машини – це нормально розподілена випадкова величина із невідомою дисперсією. Нам потрібно перевірити гіпотезу Н0: МХ=0 при альтернативі Н1: МХ>0.

Використаємо однобічний надійний інтервал надійності =1- для математичного сподівання нормально розподіленої випадкової величини з невідомою дисперсією , де= t – квантиль t-розподілу Стьюдента із n-1 ступенями вільності. Якщо число 0 не належить цьому інтервалу, то відкидаємо гіпотезу– вважаємо, що є ефект від спеціальної машини. Ймовірність помилитися в цьому – ймовірність помилки першого роду: .

Критерій згоди 2 (Пірсона)

1. Для перевірки простої гіпотези при загальній альтернативі

Нехай Н0 : F(t) є функцією розподілу випадкової величини X і загальна альтернатива H1 : F(t) не є функцією розподілу випадкової величини.

Розіб’ємо числову пряму на m проміжків.

(-;a1)

[a1; a2)

[a2; a3)

…

[am-1; +)

n1

n2

n3

…

nm

Це емпіричний інтервальний ряд, а частоти nі – емпіричні (вибіркові).

Якщо Х має функцію розподілу F(t), то можна обчислити ймовірності (теоретичні) попадання до кожного з цих проміжків за формулами: , ().

Обчислимо ці теоретичні ймовірності для всіх проміжків. Згідно закону великих чисел ймовірності повинні при великих обсягах вибірки приблизно дорівнювати відносним частотам , звідки – так звані теоретичні частоти проміжків.

Зауваження. Якщо деякі з емпіричних частот ni або теоретичних частот ni' менші від 5 (краще 10), то сусідні проміжки треба об’єднати.

Розбіжність між теоретичними та емпіричними частотами обчислюють за формулою: . Якщо велике (), то гіпотезу Н0 відкидають.

Теорема Пірсона. При великих обсягах вибірки має розподіл близький до розподілу 2 із (m-1) ступенями вільності (без доведення).

Побудуємо на основі теореми критичну множину S=(T,) при рівні значущості . Ймовірність відкидання істинної гіпотези Н0 :, тобто Т – квантиль розподілу 2 рівня з (m-1) ступенями вільності (табличний). Т=k(m-1), S=(k(m-1);+) – критична множина.

Отже, якщо < k(m-1) , то гіпотеза Н0 не відхиляється, інакше відхиляється.

2. Застосування критерію 2 для перевірки складної гіпотези при загальній альтернативі

Н0 : F(t,) – функція розподілу випадкової величини Х, де – невідомі параметри. Спочатку треба оцінити на основі вибірки, обов’язково методом найбільшої правдоподібності. Позначають отриманні оцінки , тоді F(t,). Далі перевіряють просту гіпотезу, для цієї функції розподілу, враховуючи таку особливість.

Теорема Фішера. Кількість ступенів вільності розподілу зменшується на кількість оцінених за вибіркою параметрів, тобто кількість ступенів вільності m-1-r.

  1. Застосування критерію Пірсона для перевірки гіпотези про незалежність розподілів

Нехай задана вибірка двовимірної випадкової величини (Х,Y): . Потрібно перевірити гіпотезу: Н0 : X і Y незалежні, при загальній альтернативі: H1 : X і Y залежні.

Розіб’ємо множину можливих значень Х на проміжки [), i=1,2,...k,

(), a множину можливих значень Y на проміжки [), j=1,2,...l ,

() і порахуємо відповідні вибіркові частоти .

X\Y

(-;b1)

[b1;b2)

…

[bl--1;+)

(-;a1)

n11

n12

…

n1l

s1

[a1;a2)

n21

s2

…

[ak--1;+)

nk1

n k l

sk

…

n

Якщо X та Y незалежні, то pij=P(Xє[ai-1;ai)* Yє[bj-1;bj])= P(Xє[ai-1;ai))*P(Yє[bj-1;bj]). Замінимо ймовір-ності на відповідні відносні частоти (теоретичні частоти):.. Позначимо статистику .

Теорема. Статистика при великих обсягах вибірки має розподіл близький до 2 розподілу із (k-1)(l-1) ступенями вільності (без доведення).

Зауваження. Якщо <5 або nij<5, то також об’єднуємо проміжки.

Основні поняття про статистичну залежність і дисперсійний аналіз

(X,Y) – двовимірна випадкова величина. MxY – найкраще наближення розподілу Y через X. З теорії ймовірності відомо, що Y= MxY+Z, де Z– кореляційно незалежний від X розподіл.

DY=D(MxY)+DZ, DZ=Dс – залишкова дисперсія, МZ =0.– кореляційне відношення.

В статистиці якщо треба визначити залежність Y від X, то X називають фактором; Y –результа-тивною ознакою.

Зауваження. Нехай потрібно розглянути залежність Y не від одного, а від декількох факторів. Якщо X1,X2,…,Xk – незалежні фактори, то Y=Mx1Y+Mx2Y+…+MxkY+Z – (k-1)MY, де Z – кореля-ційно незалежний розподіл від X1,X2,…,Xk . Останній числовий доданок підібрано так, щоб

MZ =0. Тоді DY=D(Mх1Y)+...+D( MхkY)+DZ. Ці формули дуже зручні, тому фактори потрібно підбирати так щоб вони були незалежні між собою, але щоб усі вони помітно впливали на Y.

Вернемось до одного фактора Х.

Теорема. Якщо Y має нормальний розподіл N(а;2) і Y та Х незалежні, тоді статистика- має F-розподіл Фішера-Снєдокора із (k-1;n-k) ступенями вільності, де k- кількість значень Х, а n – кількість значеньY(без доведення).

При кожному значенні фактора Х= отримують вибірку значень результативної ознаки . Усі ці вибірки повинні бути достатньо великі за обсягом. Для цього можна брати проміжки для Y рівні не за довжиною, а за частотами фактора Х.

,,,, , .

Отже, ми можемо перевірити гіпотезу про незалежність випадкових величин при рівні значущості . Якщо менша від квантиля рівня F-розподілу Фішера–Снєдокора із (k-1;n-k) ступенями вільності, то випадкові величини X і Y можна вважати незалежними.

Якщо більша від квантиля, то гіпотеза про незалежність випадкових величин відхиляється і тоді можна оцінити тісноту залежності: 1)=1 – залежність функціональна,

  1. 0,9<<1 – залежність дуже сильна, 3) 0,7<0,9 – залежність сильна,

4) 0,4<0,7 – залежність середня, 5) <0,4 – залежність слабка.

Метод найменших квадратів

Можна шукати функцію заданого типу залежності Y від Х методом найменших квадратів.

Вибірка (Х;Y) : (x1;y1)…(xn;yn). Шукаємо наближення Y через Х у вигляді Y=(Х). Функцію (Х) найчастіше вибирають серед таких типів: 1)Y=а0+а1Х – лінійна, 2) Y=а0+а1Х+а2Х2+...+а mХm – многочлен, 3)– дробово- раціональна і т. п.

За методом найменших квадратів ми підбираємо невідомі коефіцієнти a0,a1,…,am так, щоб мінімізувати похибку наближення:. Це функція m змінних a0,a1,…,am . Шукаємо її мінімум:

...

. Координати точки мінімуму М(a0,a1,…,am) і будуть шуканими коефіцієнтами найкращого наближення.

Приклад. Нехай задана вибірка двовимірної випадкової величини (Х,Y).

Методом найменших квадратів знайти коефіцієнти лінійного наближення Y через Х.

Y=aX+b. Коефіцієнти a, b знайдемо методом найменших квадратів.

– функція двох змінних a, b. Знайдемо її мінімум.

Поділимо обидва рівняння на 2 і погрупуємо доданки з a і b:

-- система лінійних алгебраїчних рівнянь з невідомими a,b. Її коефіцієнти потрібно обрахувати за вибіркою. Розв'яжемо систему методом Крамера: , ,

, . Підставимо знайдені коефіцієнти в рівняння Y=aX+b.

Y=aX+b=.

Отже, отримане методом найменших квадратів рівняння лінійної залежності співпало з вибірковим рівнянням лінійної регресії. Цього слід було очікувати, бо вибіркове рівняння лінійної регресії є лінійним рівнянням з мінімальною похибкою наближення для вибіркових розподілів Y', X': – min. Вона співпадає з похибкою методу найм. квадратів, поділеною на n.

Зауваження. Якщо треба знайти регресію собівартості Y відносно обсягу випуску продукції Х, то природно обрати формулу:Y=a0+a1/X . Але краще зробити заміну U=1/X , Y=a0+a1U , тоді методом найменших квадратів отримаємо рівняння вибіркової лінійної регресії і вернувшись до старих змінних матимемо .

Перевірка статистичних гіпотез