]>
Tekintsük ismét az alap statisztikai modellt, amelyben van egy véletlen kísérlet, ami egy megfigyelhető valószínűségi változót eredményez, ami halmazbeli értékeket vesz fel. A kísérlet tipikusan az, hogy objektumot mintavételezünk a sokaságból, és minden elem egy vagy több mérőszámát feljegyezzük. Ebben az esetben az eredményváltozó a következő alakú:
ahol az -edik elem mérőszámainak vektora. Általánosságban feltesszük, hogy eloszlása egy paramétertől függ, ami paramétertérbeli értékeket vesz fel. A paraméter szintén lehet vektor értékű. Indexeket használunk, hogy kifejezzük a sűrűségfüggvény, várható érték, stb. függését -tól.
Legyen egy statisztika, ami halmazbeli értékeket vesz fel. Intuitívan, elégséges -ra nézve, ha minden információt tartalmaz -ról, ami elérhető a teljes adatváltozóban. Formálisan, elégséges -ra nézve, ha feltételes eloszlása adott esetén nem függ -tól.
Az elégségesség az adatredukció fogalmával kapcsolatos. Tegyük fel, hogy -beli értékeket vesz fel. Ha tudunk találni egy elégséges statisztikát, ami -beli értékeket vesz fel, akkor redukálhatjuk az eredeti adatvektort (aminek dimenziója - - rendszerint nagy) az statisztika vektorára (aminek a dimenziója - - rendszerint sokkal kisebb) anélkül, hogy információt vesztenénk a paraméterről.
A következő eredmény az elégségesség egy feltételét adja, ami ekvivalens a fenti definícióval.
Legyen egy statisztika, ami -beli értékeket vesz fel, és jelölje illetve illetve sűrűségfüggvényét. Mutassuk meg, hogy elégséges -ra akkor és csak akkor, ha az
függvény független -tól! Útmutatás: együttes eloszlása az halmazra koncentrálódik.
A definíció pontosan megragadja az elégségesség fent megadott intuitív fogalmát, de nehéz lehet alkalmazni. Előzetesen ismernünk kell egy jelölt statisztikát, és ezután ki kell tudnunk számolni feltételes eloszlását adott esetén. A faktorizációs tétel - amit a következő feladatban adunk meg - gyakran lehetővé teszi, hogy azonosítsunk egy elégséges statisztikát sűrűségfüggvényének alakjából.
Jelölje sűrűségfüggvényét és tegyük fel, hogy egy statisztika, ami -beli értékeket vesz fel. Mutassuk meg, hogy elégséges -ra akkor és csak akkor, ha létezik és úgy, hogy
Jegyezzük meg, hogy csak az adatoktól függ és nem függ a paramétertől!
Mutassuk meg, ha és ekvivalens statisztikák és elégséges -ra, akkor is elégséges -ra!
Eloszlások néhány paraméteres családjára fogunk elégséges statisztikákat meghatározni.
Tegyük fel, hogy egy elemű véletlen minta a Bernoulli eloszlásból, sikerparaméterrel. Így , ha az -edik kísérlet sikeres, és , ha az -edik kísérlet sikertelen. Jelölje a sikerek számát, és emlékezzünk rá, hogy eloszlása és paraméterű binomiális eloszlás. Mutassuk meg közvetlenül a definícióból, hogy elégséges -re! Speciálisan, mutassuk meg, hogy feltételes eloszlása adott esetén az egyenletes eloszlás a
ponthalmazon!
Az előző feladat eredménye intuitívan vonzó: Bernoulli kísérletek sorozatában a siker valószínűségéről az összes információt a sikerek száma, , tartalmazza. A sikerek és hibák pontos sorrendje nem ad újabb információt. Természetesen elégségessége könnyeben kijön a faktorizációs tételből, de a feltételes eloszlás további bepillantást enged.
Tegyük fel, hogy eloszlása -paraméterű exponenciális család természetes statisztikával. Mutassuk meg, hogy elégséges -ra! Ezen eredmény miatt -t az exponenciális család természetes elégséges statisztikájának hívjuk.
Tegyük fel, hogy egy elemű véletlen minta a normális eloszlásból, várható értékkel és szórásnégyzettel.
Tegyük fel, hogy egy elemű véletlen minta a Poisson eloszlásból, várható értékkel. Mutassuk meg, hogy elégséges -ra!
Tegyük fel, hogy egy véletlen minta a gamma eloszlásból, alakparaméterrel és skálaparaméterrel.
Tegyük fel, hogy egy véletlen minta a béta eloszlásból, bal-paraméterrel és jobb-paraméterrel. Mutassuk meg, hogy elégséges -re, ahol és .
Tegyük fel, hogy véletlen minta a Pareto eloszlásból, alakparaméterrel. Mutassuk meg, hogy elégséges -ra!
Tegyük fel, hogy véletlen minta a intervallumon egyenletes eloszlásból, ahol ismeretlen paraméter. Mutassuk meg, hogy (az -edik rendstatisztika) elégséges -ra!
A teljes adatváltozó triviálisan elégséges -ra. Viszont, ahogy fent említettük, rendszerint létezik egy statisztika, ami elégséges -ra és kisebb dimenziójú, vagyis tényleges adatredukciót érhetünk el. Természetesen szeretnénk azt az statisztikát megtalálni, aminek a lehető legkisebb a dimenziója. Sok esetben ez a legkisebb dimenzió, , ugyanaz lesz, mint a , ami a paramétervektor dimenziója. Azonban, ahogy látni fogjuk, nem szükségszerűen ez az eset, lehet kisebb vagy nagyobb -nál.
Formálisan, tegyük fel, hogy az statisztika elégséges -ra. Ekkor minimálisan elégséges, ha bármilyen más statisztika függvénye, ami elégséges -ra. Még egyszer, a definíció pontosan megragadja a minimális elégségesség fogalmát, de nehéz alkalmazni. A következő feladat egy ekvivalens feltételt ad.
Jelölje az sűrűségfüggvényét, ami megfelel a paraméterértéknek és tegyük fel, hogy egy statisztika, ami -beli értékeket vesz fel. Mutassuk meg, hogy minimálisan elégséges -ra, ha a következő feltétel fennáll: és
Útmutatás: Ha egy másik elégséges statisztika, használjuk a faktorizációs tételt és a fenti feltételt, hogy megmutassuk, -ból következik minden és esetén! Ebből következik, hogy a egy függvénye.
Mutassuk meg, ha és ekvivalens statisztikák és minimálisan elégséges -ra, akkor is minimálisan elégséges -ra!
Tegyük fel, hogy eloszlása -parameterű exponenciális család természetes elégséges statisztikával. Mutassuk meg, hogy minimálisan elégséges -ra!
Mutassuk meg, hogy a Bernoulli, Poisson, normális, gamma és béta eloszláscsaládokra a fentiekben adott elégséges statisztikák minimálisan elégségesek az adott paraméterekre!
Tegyük fel, hogy egy véletlen minta az intervallumon egyenletes eloszlásból, ahol ismeretlen paraméter. Mutassuk meg, hogy , az első és utolsó rendstatisztikából álló vektor, minimálisan elégséges -ra! Jegyezzük meg, hogy egy paraméterünk van, de a minimálisan elégséges statisztika egy kétdimenziós vektor!
Az elégségesség kapcsolatban van néhány, már tanulmányozott módszerrel, amit becslések megkonstruálására használtunk.
Tegyük fel, hogy elégséges -ra, és létezik egy maximum likelihood becslése. Mutassuk meg, hogy ekkor létezik egy maximum likelihood becslés, ami függvénye! Útmutatás: Használjuk a faktorizációs tételt!
Speciálisan, tegyük fel, hogy egyértelmű maximum likelihood becslése, és hogy elégséges -ra. Ha elégséges -ra, akkor az függvénye az előző feladat szerint. Innen következik, hogy minimálisan elégséges -ra.
Tegyük fel, hogy az statisztika elégséges a paraméterre, és hogy a egy Bayes becslése. Mutassuk meg, hogy az egy függvénye! Útmutatás: Használjuk a faktorizációs tételt!
A következő feladat megadja a Rao-Blackwell tételt, ami CR Rao és David Blackwell után van elnevezve. A tétel megmutatja, hogy használható fel egy elégséges statisztika egy torzítatlan becslés javítására.
Tegyük fel, hogy elégséges -ra, és hogy egy valós paraméter torzítatlan becslése. Használjuk az elégségességet és a feltételes várható érték és a feltételes szórásnégyzet tulajdonságait, hogy megmutassuk:
Tegyük fel, hogy egy statisztika, ami halmazbeli értékeket vesz fel. Ekkor teljes statisztika -ra, ha minden -n értelmezett valós értékű függvényre
Hogy megértsük ezt az elég különösen kinéző feltételt, tegyük fel, hogy egy statisztika, amit -ból készítettünk a 0 becslésére (0 mint egy függvénye). A teljességi feltétel azt jelenti, hogy az egyetlen ilyen torzítatlan statisztika az a statisztika, ami nulla 1 valószínűséggel.
Mutassuk meg, ha és ekvivalens statisztikák és teljes -ra, akkor is teljes -ra!
Tegyük fel, hogy egy elemű véletlen minta a Bernoulli eloszlásból, sikerparaméterrel. Mutassuk meg, hogy a sikerek száma, , teljes -re! Útmutatás: Vegyük figyelembe, hogy felírható, mint polinomja! Ha ez a polinom 0 minden -re egy nyílt intervallumban, akkor az együtthatóknak 0-nak kell lenniük.
Tegyük fel, hogy egy elemű véletlen minta a Poisson eloszlásból, paraméterrel. Mutassuk meg, hogy a mintaértékek összege, , teljes -ra! Útmutatás: Vegyük figyelembe, hogy felírható, mint hatványsora! Ha ez a sor 0 minden -ra egy nyílt intervallumban, akkor az együtthatóknak 0-nak kell lenniük.
Tegyük fel, hogy egy elemű véletlen minta az exponenciális eloszlásból, skálaparaméterrel. Mutassuk meg, hogy a mintaértékek összege, , teljes -re! Útmutatás: Vegyük figyelembe, hogy egy bizonyos függvény Laplace transzformáltja! Ha ez a transzformált 0 minden -re egy nyílt intervallumban, akkor a függvénynek 0-nak kell lenni.
Az előző feladatok eredményei általánosíthatók az exponenciális családokra, de a bizonyítás bonyolult. Speciálisan, ha eloszlása -parameterű exponenciális család természetes elégséges statisztikával, akkor teljes -ra (ahogy minimálisan elégséges is -ra). Ez teljesül Bernoulli, Poisson, normális, gamma és béta eloszlású véletlen mintákra.
A teljesség fogalma nagymértékben függ a paramétertértől.
Tegyük fel, hogy egy 3 elemű véletlen minta a Bernoulli eloszlásból, sikerparaméterrel. Mutassuk meg, hogy nem teljes -re!
A következő feladat megmutatja a teljes elégséges statisztikák fontosságát; ez mint Lehmann-Scheffé tétel ismeretes, Erich Lehmann és Henry Scheffé munkája nyomán.
Tegyük fel, hogy elégséges és teljes -ra, és hogy egy valós értékű paraméter torzítatlan becslése. Mutassuk meg, hogy a egyenletesen minimális szórásnégyzetű torzítatlan becslése! A bizonyítás a következő lépéseken alapul:
Tegyük fel, hogy egy elemű véletlen minta a Bernoulli eloszlásból, paraméterrel. Szokás szerint jelölje a sikerek számát. Mutassuk meg, hogy , az eloszlás szórásnégyzete, UMVUE becslése
Tegyük fel, hogy egy elemű véletlen minta a Poisson eloszlásból, paraméterrel. Legyen . Mutassuk meg, hogy -re
egy egyenletesen minimális szórásnégyzetű torzítatlan becslés (UMVUE)! Útmutatás: Használjuk valószínűségi generátorfüggvényét!
Tegyük fel, hogy egy statisztika, ami halmazbeli értékeket vesz fel. Ha eloszlása nem függ -tól, akkor -t kiegészítő statisztikának hívjuk -ra nézve. Így a kiegészítő statisztika fogalma az elégséges statisztika fogalmának ellentéte (ami tartalmazza a mintában lévő összes információt a paraméterről). A következő feladat eredménye, ami Basu tételeként ismert - Debabrata Basuról elnevezve -, pontosabban fogalmazza ezt meg.
Tegyük fel, hogy teljes és elégséges a paraméterre, és hogy egy kiegészítő statisztika. Mutassuk meg, hogy és függetlenek! A következő lépések vázolják a bizonyítást:
Mutassuk meg, hogy ha és ekvivalens statisztikák és kiegészítő -ra, akkor is kiegészítő -ra!
Tegyük fel, hogy egy véletlen minta egy skálaparaméteres családból, skálaparaméterrel. Mutassuk meg, hogy kiegészítő statisztika -re, ha
függvénye!
Tegyük fel, hogy egy elemű véletlen minta a gamma eloszlásból, alakparaméterrel és skálaparaméterrel. Jelölje az minta számtani közepét és jelölje az minta mértani közepét. Mutassuk meg, hogy kiegészítő -re, és ebből következően és függetlenek! Útmutatás: Használjuk az előző feladatot!