Zobecněný aditivní model - Generalized additive model

v statistika, a generalizovaný aditivní model (GAM) je zobecněný lineární model ve kterém proměnná lineární odezvy lineárně závisí na neznámém plynulé funkce některých predikčních proměnných a zájem se zaměřuje na odvození těchto hladkých funkcí. Hry GAM původně vyvinul Trevor Hastie a Robert Tibshirani^[1] kombinovat vlastnosti zobecněné lineární modely s aditivní modely.

Model se týká proměnné jednorozměrné odezvy, Y, k některým predikčním proměnným, X_i. An exponenciální rodina distribuce je specifikována pro Y (například normální, binomický nebo jed distribuce) spolu s a funkce propojení G (například funkce identity nebo protokolu) týkající se očekávané hodnoty Y na predikční proměnné prostřednictvím struktury, jako je

${displaystyle g (operatorname {E} (Y)) = eta _ {0} + f_ {1} (x_ {1}) + f_ {2} (x_ {2}) + cdots + f_ {m} (x_ { m}).,!}$

Funkce F_i mohou to být funkce se specifikovaným parametrickým tvarem (například polynom, nebo nepenalizovaná regresní křivka proměnné) nebo mohou být specifikovány neparametricky nebo semiparametricky, jednoduše jako „hladké funkce“, které odhadne neparametrické prostředky. Takže typická GAM by mohla použít vyhlazovací funkci scatterplot, jako je lokálně vážený průměr, pro F₁(X₁), a poté použijte faktorový model pro F₂(X₂). Tato flexibilita umožňující neparametrické přizpůsobení s uvolněnými předpoklady o skutečném vztahu mezi odpovědí a prediktorem poskytuje potenciál pro lepší přizpůsobení datům než čistě parametrické modely, ale pravděpodobně s určitou ztrátou interpretovatelnosti.

Teoretické základy

Bylo známo od padesátých let (přes Kolmogorov – Arnoldova věta o reprezentaci ) kteroukoli vícerozměrnou funkci lze reprezentovat jako součty a složení jednorozměrných funkcí.

${displaystyle f ({vec {x}}) = součet _ {q = 0} ^ {2n} Phi _ {q} vlevo (součet _ {p = 1} ^ {n} phi _ {q, p} (x_ {p}) ight)}$

Bohužel však Kolmogorov – Arnoldova věta o reprezentaci tvrdí existenci funkce této formy, neposkytuje žádný mechanismus, kterým by bylo možné sestrojit. Existují určité konstruktivní důkazy, ale mají tendenci vyžadovat velmi komplikované (tj. Fraktální) funkce, a proto nejsou vhodné pro modelování přístupů. Proto je zobecněný aditivní model^[1] klesne vnější součet a místo toho požaduje, aby funkce patřila do jednodušší třídy.

${displaystyle f ({vec {x}}) = Phi left (sum _ {p = 1} ^ {n} phi _ {p} (x_ {p}) ight)}$

kde ${displaystyle Phi}$ je plynulá monotónní funkce. Psaní ${displaystyle g}$ pro inverzi ${displaystyle Phi}$, to je tradičně psáno jako

${displaystyle g (f ({vec {x}})) = součet _ {i} f_ {i} (x_ {i})}$.

Když se tato funkce přibližuje očekávání určité pozorované veličiny, lze ji zapsat jako

${displaystyle g (operatorname {E} (Y)) = eta _ {0} + f_ {1} (x_ {1}) + f_ {2} (x_ {2}) + cdots + f_ {m} (x_ { m}).,!}$

Což je standardní formulace zobecněného aditivního modelu. Poté se ukázalo^{[1][jak? ]} že algoritmus backfitting bude pro tyto funkce vždy konvergovat.

Všeobecnost

Třída modelu GAM je vzhledem k tomu poměrně široká plynulá funkce je poměrně široká kategorie. Například kovariát ${displaystyle x_ {j}}$ mohou být vícerozměrné a odpovídající ${displaystyle f_ {j}}$ plynulá funkce několika proměnných nebo ${displaystyle f_ {j}}$ může být funkce mapující úroveň faktoru na hodnotu náhodného efektu. Dalším příkladem je proměnný koeficient (geografická regrese), například ${displaystyle z_ {j} f_ {j} (x_ {j})}$ kde ${displaystyle z_ {j}}$ a ${displaystyle x_ {j}}$ jsou oba kovariáty. Nebo když ${displaystyle x_ {j} (t)}$ je samo o sobě pozorováním funkce, můžeme zahrnout pojem jako ${displaystyle int f_ {j} (t) x_ {j} (t) dt}$ (někdy známý jako výraz regrese signálu). ${displaystyle f_ {j}}$ může být také jednoduchá parametrická funkce, kterou lze použít v jakémkoli zobecněném lineárním modelu. Třída modelu byla zobecněna v několika směrech, zejména mimo exponenciální distribuce odpovědí rodiny, mimo modelování pouze průměrných a nad jednorozměrná data.^[2][3][4]

Metody montáže GAM

Původní metoda přizpůsobení GAM odhadla hladké součásti modelu pomocí neparametrických vyhlazovačů (například vyhlazovacích splajnů nebo lokálních lineárních regresních vyhlazovačů) prostřednictvím algoritmus backfittingu.^[1] Backfitting funguje iterativním vyhlazením částečných zbytků a poskytuje velmi obecnou metodu modulárního odhadu, která je schopná použít širokou škálu vyhlazovacích metod k odhadu ${displaystyle f_ {j} (x_ {j})}$ podmínky. Nevýhodou backfittingu je, že je obtížné jej integrovat s odhadem stupně hladkosti modelových výrazů, takže v praxi je uživatel musí nastavit, nebo vybrat mezi skromnou sadou předdefinovaných úrovní vyhlazení.

Pokud ${displaystyle f_ {j} (x_ {j})}$ jsou reprezentovány pomocí vyhlazovací splajny^[5] pak lze stupeň hladkosti odhadnout jako součást přizpůsobení modelu pomocí zobecněné křížové validace nebo pomocí omezená maximální věrohodnost (REML, někdy známý jako „GML“), který využívá dualitu mezi vyhlazením spline a Gaussovými náhodnými efekty.^[6] Tento plný spline přístup nese ${displaystyle O (n ^ {3})}$ výpočetní náklady, kde ${displaystyle n}$ je počet pozorování proměnné odezvy, což je pro středně velké datové sady poněkud nepraktické. Novější metody řešily tyto výpočetní náklady buď přímým zmenšením velikosti základny použité pro vyhlazení (zmenšení pořadí)^{[7][8][9][10][11]} nebo vyhledáním řídkých reprezentací vyhlazení pomocí Markovova náhodná pole, které lze použít řídká matice metody výpočtu.^[12] Tyto výpočetně efektivnější metody používají GCV (nebo AIC nebo podobné) nebo REML nebo berou plně Bayesianský přístup pro odvození míry hladkosti komponent modelu. Odhad stupně hladkosti pomocí REML lze považovat za empirická Bayesova metoda.

Je třeba použít alternativní přístup se zvláštními výhodami ve vysoce dimenzionálním nastavení posílení, i když to obvykle vyžaduje bootstrapping pro kvantifikaci nejistoty.^[13][14] Bylo zjištěno, že GAM fit pomocí pytlování a posilování obecně překonávají GAMs fit pomocí metod spline.^[15]

Rámec snížený

Mnoho moderních implementací GAM a jejich rozšíření je postaveno na přístupu vyhlazování se sníženou hodností, protože umožňuje řádně podložený odhad hladkosti vyhlazování komponenty při poměrně skromných výpočtových nákladech a také usnadňuje implementaci řady rozšíření modelu způsobem, který je obtížnější s jinými metodami. Nejjednodušší je myšlenka nahradit neznámé plynulé funkce v modelu základními rozšířeními

${displaystyle f_ {j} (x_ {j}) = součet _ {k = 1} ^ {K_ {j}} eta _ {jk} b_ {jk} (x_ {j})}$

Kde ${displaystyle b_ {jk} (x_ {j})}$ jsou známé základní funkce, obvykle zvolené pro dobré aproximační teoretické vlastnosti (například B splajny nebo snížená hodnost tenké dlahy ) a ${displaystyle eta _ {jk}}$ jsou koeficienty, které lze odhadnout jako součást přizpůsobení modelu. Základní dimenze ${displaystyle K_ {j}}$ je zvolen tak velký, že očekáváme, že převýší data, která jsou k dispozici (čímž se zabrání zkreslení kvůli přílišnému zjednodušení modelu), ale dostatečně malý, aby si zachoval výpočetní účinnost. Li ${displaystyle p = součet _ {j} K_ {j}}$ pak budou výpočetní náklady na odhad modelu tímto způsobem ${displaystyle O (np ^ {2})}$.

Všimněte si, že ${displaystyle f_ {j}}$ jsou identifikovatelné pouze v rámci odposlechového termínu (můžeme přidat libovolnou konstantu do ${displaystyle f_ {1}}$ při odečtení od ${displaystyle f_ {2}}$ beze změny modelových předpovědí), takže k odstranění této nejednoznačnosti je třeba uvalit omezení na identifikovatelnost plynulých podmínek. Nejostřejší závěr o ${displaystyle f_ {j}}$ se obecně získá použitím omezení součtu k nule

${displaystyle sum _ {i} f_ {j} (x_ {ji}) = 0}$

tj. trváním na tom, že součet každého z nich ${displaystyle f_ {j}}$ vyhodnoceno při pozorovaných kovariančních hodnotách by mělo být nula. Taková lineární omezení lze nejsnadněji uložit reparametrizací ve fázi základního nastavení,^[10] takže níže se předpokládá, že to bylo provedeno.

Poté, co nahradil všechny ${displaystyle f_ {j}}$ v modelu s takovými základními expanzemi jsme z GAM udělali a Zobecněný lineární model (GLM), s modelovou maticí, která jednoduše obsahuje základní funkce vyhodnocené na pozorovaném ${displaystyle x_ {j}}$ hodnoty. Protože však základní rozměry, ${displaystyle K_ {j}}$, byly vybrány tak, aby byly o něco větší, než se předpokládá, že jsou pro data nezbytná, model je nadměrně parametrizován a převýší data, pokud je odhadován jako běžný GLM. Řešením tohoto problému je penalizovat odklon od hladkosti v procesu tvarování modelu, řízení váhy dané vyhlazovacím pokutám pomocí vyhlazovacích parametrů. Zvažte například situaci, ve které jsou všechny vyhlazování jednorozměrné funkce. Zápis všech parametrů do jednoho vektoru, ${displaystyle eta}$, předpokládejme to ${displaystyle D (eta)}$ je odchylka (dvojnásobek rozdílu mezi nasycenou pravděpodobností logu a pravděpodobností logu modelu) pro model. Minimalizace odchylky obvyklými iterativně převáženými nejmenšími čtverci by vedla k přeplnění, proto hledáme ${displaystyle eta}$ minimalizovat

${displaystyle D (eta) + součet _ {j} lambda _ {j} int f_ {j} ^ {prime prime} (x) ^ {2} dx}$

kde integrované derivátové tresty se čtvercovou sekundou slouží k penalizaci kroutí (nedostatek plynulosti) ${displaystyle f_ {j}}$ během lícování a parametry vyhlazení ${displaystyle lambda _ {j}}$ ovládat kompromis mezi dobrem uchycení modelu a hladkostí modelu. V příkladu ${displaystyle lambda _ {j} o infty}$ by zajistilo, že odhad ${displaystyle f_ {j} (x_ {j})}$ by byla přímka dovnitř ${displaystyle x_ {j}}$.

Vzhledem k základní expanzi pro každého ${displaystyle f_ {j}}$ pokuty za krutost lze vyjádřit jako kvadratické formy v modelových koeficientech.^[10] To je to, co můžeme psát

${displaystyle int f_ {j} ^ {prime prime} (x) ^ {2} dx = eta _ {j} ^ {T} {ar {S}} _ {j} eta _ {j} = eta ^ {T } S_ {j} eta}$,

kde ${displaystyle {ar {S}} _ {j}}$ je matice známých koeficientů vypočítatelných z trestu a základu, ${displaystyle eta _ {j}}$ je vektor koeficientů pro ${displaystyle f_ {j}}$, a ${displaystyle S_ {j}}$ je jen ${displaystyle {ar {S}} _ {j}}$ polstrovaný nulami, aby druhá rovnost platila, a můžeme psát penaltu ve smyslu celého vektoru koeficientu ${displaystyle eta}$. Mnoho dalších pokut za vyhlazení lze zapsat stejným způsobem a vzhledem k parametrům vyhlazování se nyní problém s přizpůsobením modelu stává

${displaystyle {hat {eta}} = {ext {argmin}} _ {eta} {D (eta) + suma _ {j} lambda _ {j} eta ^ {T} S_ {j} eta}}$,

které lze najít pomocí potrestané verze obvyklého iterativně vyvažované nejméně čtverce Algoritmus (IRLS) pro GLM: algoritmus se nezmění, až na to, že součet kvadratických pokut je přidán k funkčnímu objektu nejmenších čtverců při každé iteraci algoritmu.

Penalizace má několik účinků na závěr, ve srovnání s běžným GLM. Za prvé, odhady podléhají určitému zkreslení, což je cena, kterou je třeba zaplatit za omezení rozptylu odhadu penalizací. Pokud jsou však parametry vyhlazení vybrány vhodně, mělo by být (čtvercové) zkreslení vyhlazení zavedené penalizací menší než snížení rozptylu, které vytváří, takže čistým efektem je snížení střední chyby odhadu čtverce ve srovnání s ne penalizací. Souvisejícím účinkem penalizace je, že pojem stupňů volnosti modelu musí být upraven tak, aby zohledňoval působení sankcí při snižování variability koeficientů. Například pokud ${displaystyle W}$ je diagonální matice váh IRLS při konvergenci a ${displaystyle X}$ je matice modelu GAM, pak je efektivní stupeň volnosti modelu dán vztahem ${displaystyle {ext {trace}} (F)}$ kde

${displaystyle F = (X ^ {T} WX + součet _ {j} lambda _ {j} S_ {j}) ^ {- 1} X ^ {T} WX}$,

je efektivní matice stupňů volnosti.^[10] Ve skutečnosti sečteme jen diagonální prvky ${displaystyle F}$ odpovídající koeficientům ${displaystyle f_ {j}}$ dává efektivní stupně volnosti pro odhad ${displaystyle f_ {j}}$.

Bayesovské vyhlazovací předky

Vyhlazení zkreslení komplikuje odhad intervalů pro tyto modely a ukázalo se, že nejjednodušší přístup zahrnuje Bayesovský přístup.^{[16][17][18][19]} Pochopení tohoto bayesovského pohledu na vyhlazování také pomáhá porozumět REML a úplným Bayesovým přístupům k vyhlazování odhadu parametrů. Na určité úrovni jsou ukládány vyhlazovací pokuty, protože věříme, že plynulé funkce jsou pravděpodobnější než ty nejasné, a pokud je to pravda, mohli bychom tuto představu také formalizovat tak, že dáme přednost modelové krutosti. Může to být velmi jednoduchý

${displaystyle pi (eta) propto exp {- eta ^ {T} součet _ {j} lambda _ {j} S_ {j} eta / (2phi)}}$

(kde ${displaystyle phi}$ je parametr měřítka GLM zavedený pouze pro pozdější pohodlí), ale můžeme jej okamžitě rozpoznat jako a vícerozměrný normální předchozí se střední hodnotou ${displaystyle 0}$ a přesná matice ${displaystyle S_ {lambda} = součet _ {j} lambda _ {j} S_ {j} / phi}$. Vzhledem k tomu, že pokuta umožňuje některé funkce prostřednictvím nepenalizované (přímé čáry, vzhledem k příkladu pokut), ${displaystyle S_ {lambda}}$ je hodnost nedostatečná a předchozí je ve skutečnosti nesprávná, s kovarianční maticí danou Moore-Penroseova pseudoinverze z ${displaystyle S_ {lambda}}$ (nevhodnost odpovídá připisování nekonečné odchylky nepenalizovaným složkám hladké).^[18]

Nyní, pokud je tento předchozí kombinován s pravděpodobností GLM, zjistíme, že zadní režim pro ${displaystyle eta}$ je přesně to ${displaystyle {hat {eta}}}$ nalezeno výše potrestanými IRLS.^[18][10] Kromě toho máme výsledek velkého vzorku

${displaystyle eta | ysim N ({hat {eta}}, (X ^ {T} WX + S_ {lambda}) ^ {- 1} phi).}$

které lze použít k vytvoření důvěryhodných / důvěryhodných intervalů pro hladké komponenty, ${displaystyle f_ {j}}$Gaussovy hladkosti jsou rovněž základem pro plně Bayesiánský závěr s GAM,^[8] stejně jako metody odhadu GAM jako smíšených modelů^[11][20] to jsou v podstatě empirické Bayesovy metody.

Vyhlazení odhadu parametrů

Doposud jsme zacházeli s odhady a závěry vzhledem k vyhlazovacím parametrům, ${displaystyle lambda}$, ale také je třeba je odhadnout. Jedním z přístupů je plně Bayesiánský přístup, definování priorit na (log) vyhlazovacích parametrech a použití stochastické simulace nebo metod aproximace vysokého řádu k získání informací o zadní části modelových koeficientů.^[8][12] Alternativou je výběr vyhlazovacích parametrů k optimalizaci kritéria chyby predikce, například Generalized křížová validace (GCV) neboInformační kritérium Akaike (AIC).^[21] Nakonec se můžeme rozhodnout maximalizovat mezní pravděpodobnost (REML) získanou integrací modelových koeficientů, ${displaystyle eta}$ ze společné hustoty ${displaystyle eta, y}$,

${displaystyle {hat {lambda}} = {ext {argmax}} _ {lambda} int f (y | eta, lambda) pi (eta | lambda) d eta}$.

Od té doby ${displaystyle f (y | eta, lambda)}$ je jen pravděpodobnost ${displaystyle eta}$, můžeme to považovat za výběr ${displaystyle lambda}$ maximalizovat průměrnou pravděpodobnost náhodných losování z předchozího. Předchozí integrál je obvykle analyticky neřešitelný, ale lze jej aproximovat pomocí poměrně vysoké přesnosti Laplaceova metoda.^[20]

Vyhlazování odvození parametru je výpočetně nejnáročnější částí odhadu / odvození modelu. Například optimalizovat GCV nebo mezní pravděpodobnost obvykle vyžaduje numerickou optimalizaci pomocí Newtonovy nebo Quasi-Newtonovy metody, přičemž každá zkušební hodnota pro (log) vyhlazovací parametr vektoru vyžaduje penalizovanou IRLS iteraci k vyhodnocení odpovídající ${displaystyle {hat {eta}}}$ spolu s dalšími složkami skóre GCV nebo Laplaceovy přibližné mezní pravděpodobnosti (LAML). Dále získat deriváty GCV nebo LAML, které jsou nutné pro optimalizaci, zahrnuje implicitní diferenciaci k získání derivátů ${displaystyle {hat {eta}}}$ w.r.t. parametry vyhlazování protokolu, což vyžaduje určitou péči, aby byla zachována účinnost a numerická stabilita.^[20]

Software

Backfit GAM byly původně poskytovány gam funkce v S,^[22] nyní přeneseno do Jazyk R. jako gam balík. SAS proc GAM také poskytuje backfit GAM. Doporučený balíček v R pro GAM je mgcv, což znamená smíšený výpočetní prostředek GAM,^[10] který je založen na přístupu se sníženou hodností s automatickým výběrem parametrů vyhlazení. SAS proc GAMPL je alternativní implementace. V Pythonu existuje InterpretML balíček, který implementuje pytlování a posílení přístupu.^[23] Existuje mnoho alternativních balíčků. Mezi příklady patří balíčky R. mboost,^[13] který zavádí posilovací přístup; gss, který poskytuje metody vyhlazení celého spline;^[24] VGAM který poskytuje vektorové GAM;^[3] a gams, který stanoví Zobecněný aditivní model pro umístění, měřítko a tvar. `BayesX 'a jeho rozhraní R poskytuje GAM a rozšíření prostřednictvím MCMC a penalizovaných metod pravděpodobnosti.<sup>[25]</sup> Software `INLA 'implementuje plně Bayesianský přístup založený na Markovových reprezentacích náhodných polí využívajících metody řídké matice.^[12]

Jako příklad toho, jak lze modely v praxi odhadnout pomocí softwaru, zvažte balíček R. mgcv. Předpokládejme, že náš R pracovní prostor obsahuje vektory y, X a z a chceme odhadnout model

${displaystyle y_ {i} = eta _ {0} + f_ {1} (x_ {i}) + f_ {2} (z_ {i}) + epsilon _ {i} {ext {where}} epsilon _ {i } sim N (0, sigma ^ {2}).}$

V rámci R jsme mohli vydávat příkazy

knihovna (mgcv) # načíst balíčekb = gam (y ~ s (x) + s (z))

Společné s většinou funkcí modelování R. gam očekává, že bude dodán modelový vzorec, který specifikuje strukturu modelu, aby se vešel. Proměnná odezvy je uvedena nalevo od ~ zatímco specifikace lineárního prediktoru je uvedena vpravo. gam nastavuje základy a pokuty za hladké výrazy, odhaduje model včetně jeho vyhlazovacích parametrů a standardním způsobem R vrací namontovaný model objektu, které pak mohou být dotazovány pomocí různých pomocných funkcí, jako je souhrn, spiknutí, předpovědět, a AIC.

Tento jednoduchý příklad použil několik výchozích nastavení, která je důležité si uvědomit. Například se předpokládá Gaussova distribuční a identitní vazba a kritériem výběru vyhlazovacího parametru bylo GCV. Rovnoměrné výrazy byly také zastoupeny pomocí „penalizovaných tenkých deskových regresních splajnů“ a základní rozměr pro každou z nich byl nastaven na 10 (z čehož vyplývá maximálně 9 stupňů volnosti po zavedení omezení identifikovatelnosti). Druhý příklad ukazuje, jak můžeme tyto věci ovládat. Předpokládejme, že chceme model odhadnout

${displaystyle y_ {i} sim {ext {Poi}} (mu _ {i}) {ext {where}} přihlásit mu _ {i} = eta _ {0} + eta _ {1} x_ {i} + f_ {1} (t_ {i}) + f_ {2} (v_ {i}, w_ {i}).}$

pomocí výběru REML vyhlazovacího parametru a očekáváme ${displaystyle f_ {1}}$ být relativně komplikovanou funkcí, kterou bychom chtěli modelovat pomocí penalizovaného kubického regresního spline. Pro ${displaystyle f_ {2}}$ musíme se také rozhodnout, zda ${displaystyle v}$ a ${displaystyle w}$ jsou přirozeně ve stejném měřítku, takže izotropní hladší, jako např tenká deska spline je vhodné (zadáno pomocí `s (v, w) '), nebo zda jsou skutečně v různých měřítcích, takže potřebujeme samostatné vyhlazovací tresty a vyhlazovací parametry pro ${displaystyle v}$ a ${displaystyle w}$ jak poskytuje plynulejší tenzorový produkt. Předpokládejme, že jsme se v tomto případě rozhodli pro druhou možnost, pak by následující R kód odhadl model

b1 = gam (y ~ x + s (t, bs = "cr", k = 100) + te (v, w), family = poisson, method = "REML")

který používá základní velikost 100 pro vyhlazení ${displaystyle t}$. Specifikace distribuce a funkce odkazu používá objekty `rodiny ', které jsou standardní při montáži GLM v R nebo S. Všimněte si, že k lineárnímu prediktoru lze také přidat Gaussovy náhodné efekty.

Tyto příklady jsou zamýšleny pouze k poskytnutí velmi základní chuti způsobu, jakým je software GAM používán, podrobněji viz dokumentace k softwaru pro různé balíčky a odkazy níže.^{[10][24][3][22][13][25]}

Kontrola modelu

Stejně jako u každého statistického modelu je důležité zkontrolovat předpoklady modelu GAM. Zbytkové grafy by měly být zkoumány stejným způsobem jako u jakéhokoli GLM. To znamená, že zbytky odchylky (nebo jiné standardizované zbytky) by měly být zkoumány kvůli vzorům, které by mohly naznačovat podstatné porušení předpokladů nezávislosti nebo střední odchylky modelu. To obvykle zahrnuje vykreslení standardizovaných reziduí proti přizpůsobeným hodnotám a kovariátám, aby se hledaly problémy se střední odchylkou nebo chybějící vzor, ​​a může to také zahrnovat zkoumání Correlograms (ACF) a / nebo Variogramy zbytků ke kontrole porušení nezávislosti. Pokud je vztah střední hodnoty odchylky modelu správný, pak by měřítkové zbytky měly mít zhruba konstantní rozptyl. Všimněte si, že protože GLM a GAM lze odhadnout pomocí Kvazi-pravděpodobnost, z toho vyplývá, že podrobnosti rozdělení zbytků nad rámec vztahu střední odchylky mají relativně malý význam.

Jedním problémem, který je častější u GAM než u jiných GLM, je nebezpečí nesprávného závěru, že data jsou nahuštěna na nulu. Obtíž nastává, když data obsahují mnoho nul, které lze modelovat pomocí Poissona nebo binomika s velmi nízkou očekávanou hodnotou: flexibilita struktury GAM často umožní reprezentaci velmi nízké střední hodnoty v určité oblasti kovariančního prostoru, ale distribuce standardizované rezidua nebudou vypadat jako přibližná normálnost, kterou nás úvodní třídy GLM učí očekávat, i když je model naprosto správný.^[26]

Jednou další kontrolou, kterou GAM zavádějí, je potřeba zkontrolovat, zda jsou zvolené stupně volnosti vhodné. To je obzvláště akutní při použití metod, které automaticky neodhadují plynulost komponent modelu. Při použití metod s automatickým výběrem parametrů vyhlazení je stále nutné zkontrolovat, zda volba základní dimenze nebyla omezeně malá, i když je-li efektivní míra volnosti odhadu termínu pohodlně pod její základní dimenzí, je to nepravděpodobné. V každém případě kontrola ${displaystyle f_ {j} (x_ {j})}$ je založen na zkoumání vzoru reziduí s ohledem na ${displaystyle x_ {j}}$. To lze provést pomocí částečných zbytků překrytých na grafu ${displaystyle {hat {f}} _ {j} (x_ {j})}$, nebo pomocí permutace reziduí k vytvoření testů reziduálního vzoru (jako ve funkci `gam.check 'v R balíčku` mgcv').

Výběr modelu

Když se vyhlazovací parametry odhadují jako součást přizpůsobení modelu, pak se do procesu přizpůsobení vstřebalo mnoho z toho, co by se tradičně počítalo při výběru modelu: odhad vyhlazovacích parametrů si již vybral mezi bohatou rodinou modelů s různou funkční složitostí. Odhad vyhlazovacího parametru však typicky neodstraní z modelu hladký člen úplně, protože většina sankcí ponechává některé funkce nepenalizované (např. Přímé čáry jsou nepenalizovány výše uvedenou spline derivací). Zůstává tedy otázka, zda by měl být pojem v modelu vůbec. Jedním z jednoduchých přístupů k tomuto problému je přidat další trest ke každému hladkému termínu v GAM, který penalizuje komponenty plynulého, které by jinak byly nepenalizovány (a pouze ty). Každý extra trest má svůj vlastní vyhlazovací parametr a odhad pak probíhá jako dříve, ale nyní s možností, že podmínky budou zcela penalizovány na nulu.^[27] Ve vysokodimenzionálním nastavení může mít větší smysl pokusit se o tento úkol pomocí Laso (statistika) nebo Elastická regularizace sítě. Boosting také provádí výběr termínů automaticky jako součást přizpůsobení.^[13]

Alternativou je použití tradičních Postupná regrese metody pro výběr modelu. Toto je také výchozí metoda, když nejsou vyhlazovací parametry odhadovány jako součást tvarování, v takovém případě je každému vyhlazenému členu obvykle povoleno převzít jednu z malé sady předdefinovaných úrovní hladkosti v modelu a tyto jsou vybrány mezi v postupným způsobem. Krokové metody fungují tak, že iterativně porovnávají modely s konkrétními pojmy modelu nebo bez nich (nebo případně s různými úrovněmi složitosti pojmů) a vyžadují opatření vhodnosti modelu nebo významnosti pojmu, aby se rozhodlo, který model zvolit v každé fázi. Mohli bychom například použít p-hodnoty pro testování každého termínu pro rovnost na nulu, abychom se rozhodli o kandidátských podmínkách pro odebrání z modelu, a mohli bychom je porovnat Informační kritérium Akaike (AIC) hodnoty pro alternativní modely.

Výpočet hodnoty P pro vyhlazení není přímý kvůli účinkům penalizace, ale jsou k dispozici aproximace.^[1][10] AIC lze pro GAM vypočítat dvěma způsoby. Mezní AIC je založen na Mariginal Likelihood (viz výše) s integrovanými modelovými koeficienty. V tomto případě je trest AIC založen na počtu vyhlazovacích parametrů (a všech parametrů odchylky) v modelu. Avšak kvůli dobře známé skutečnosti, že REML není srovnatelný mezi modely s různými strukturami pevných efektů, nemůžeme obvykle použít takovou AIC k porovnání modelů s různými hladkými podmínkami (protože jejich nepenalizované komponenty fungují jako fixní efekty). Založení AIC na mezní pravděpodobnosti, ve které jsou integrovány pouze penalizované efekty, je možné (počet nepenalizovaných koeficientů se nyní přidá k počtu parametrů pro penalizaci AIC), ale tato verze mezní pravděpodobnosti trpí tendencí přehnaně hladký, který poskytl původní motivaci pro vývoj REML. Vzhledem k těmto problémům jsou GAM často porovnávány pomocí podmíněného AIC, ve kterém je v AIC použita pravděpodobnost modelu (nikoli mezní pravděpodobnost) a počet parametrů je považován za efektivní stupně volnosti modelu.^[1][21]

Ukázalo se, že naivní verze podmíněného AIC jsou za určitých okolností příliš pravděpodobné, že vyberou větší modely, což je obtíže způsobené zanedbáním vyhlazování nejistoty parametrů při výpočtu účinných stupňů volnosti,^[28] oprava účinných stupňů volnosti pro tento problém však obnoví přiměřený výkon.^[2]

Upozornění

Overfitting může být problém s GAM,^[21] zvláště pokud existuje nemodelovaná zbytková autokorelace nebo nemodelovaná nadměrný rozptyl. Křížová validace lze použít k detekci a / nebo snížení nadměrných problémů s GAM (nebo jinými statistickými metodami),^[29] a software často umožňuje zvýšit úroveň penalizace, aby se dosáhlo hladších záchvatů. Odhad velmi velkého počtu parametrů vyhlazování bude pravděpodobně také statisticky náročný a jsou známy tendence k tomu, aby kritéria chyby predikce (GCV, AIC atd.) Občas podstatně podhladila, zejména při střední velikosti vzorků, přičemž REML je v tomto ohledu o něco méně problematický považovat.^[30]

Kde je to vhodné, jednodušší modely jako např GLM může být vhodnější než GAM, pokud GAM podstatně nezlepší prediktivní schopnost (v sadách ověřování) pro danou aplikaci.

Viz také

• Aditivní model
• Algoritmus backfittingu
• Zobecněný aditivní model pro umístění, měřítko a tvar (GAMLSS)
• Zbytkové účinné stupně svobody
• Semiparametrická regrese

Reference

externí odkazy

• gam, balíček R pro GAMs backfittingem.
• gam, Modul Python v modulu statsmodels.gam.
• InterpretML, balíček Pythonu pro přizpůsobení GAM pomocí pytlování a posilování.
• mgcv, balíček R pro GAM využívající penalizované regresní křivky.
• mboost, balíček R pro podporu včetně aditivních modelů.
• gss, balíček R pro vyhlazení spline ANOVA.
• INLA software pro Bayesian Inference s GAM a dalšími.
• BayesX software pro MCMC a penalizované pravděpodobnostní přístupy ke GAM.
• Dělat magii a analyzovat sezónní časové řady s GAM v R
• GAM: Stříbrná střela Predictive Modeling