Hvorfor ANOVA og lineær regresjon er de samme Analysis

Hvis graduate statistisk trening var noe som min, lærte du ANOVA i en klasse og lineær regresjon i en annen. Mine professorer vil ofte si ting som "ANOVA er bare et spesialtilfelle av Regression", så gjør mye av hånd vinker når presset til å forklare.

Det var ikke før jeg begynte å konsultere at jeg innså hvor nært beslektet ANOVA og regresjon er. De er ikke bare relatert, de er det samme. Ikke en fjerdedel og en nikkel -. Forskjellige sider av samme sak

Så her er et veldig enkelt eksempel som viser hvorfor. Når noen viste meg denne, en lyspære gikk på, selv om jeg allerede visste både ANOVA og mulitple lineær regresjon ganske godt (og allerede hadde mine mestere i statistikken!). Jeg tror at det å forstå denne lille konseptet har vært nøkkelen til min forståelse av generell lineær modell som helhet -. Sine søknader er langt nå

Som et eksempel, jeg bruker en modell med et enkelt kategorisk uavhengig variable-- sysselsetting kategori - med 3 kategorier: ledelsesmessige, geistlige, og fengselsstraff. Den avhengige variabelen er tidligere erfaring i måneder. (Dette datasettet er employment.sav, en av de datasettene som følger gratis med SPSS).

Vi kan kjøre dette som enten en ANOVA eller en regresjon. I ANOVA, blir kategorisk variabel effekt kodet, noe som betyr at hver kategori middel er i forhold til den store middel. I regresjon blir kategorisk variabel dummy kodet **, noe som betyr at hver kategori er skjærings er sammenlignet med referansegruppen er skjæringspunktet. Siden skjærings er definert som middelverdien når alle andre prediktorer = 0, og det er ingen andre prediktorer, de tre avskjærer er bare betyr.

I begge analysene har Jobbkategori en F = 69,192, med ap < .001. Stor betydning

I ANOVA, finner vi hjelp av de tre gruppene er:.

Kontor: 85,039

custodial: 298,111

Leder: 77,619

I Regresjon, finner vi disse koeffisientene:

Intercept: 77,619

Kontor: 7,420

custodial: 220,492

skjærings er rett og slett gjennomsnittet av referansegruppen, Managers. Koeffisientene for de to andre gruppene er forskjellene i gjennomsnitts mellom referansegruppen og de andre gruppene.

Du vil legge merke til, for eksempel at regresjonskoeffisienten for Kontor er forskjellen mellom middel for Kontor , 85,039, og Intercept, eller bety for Manager (85,039 til 77,619 = 7,420). De samme verk for custodial.

Så en ANOVA rapporterer hver bety og en p-verdi som sier minst to er vesentlig forskjellig. En regresjon rapporter eneste gjennomsnitts (som et skjæringspunkt), og forskjellene mellom det ene og alle andre midler, men p-verdiene evaluere de konkrete sammenligninger.

Det er det samme modell, den samme informasjonen, men presentert på forskjellige måter. Forstå hva modellen forteller deg i hver vei, og du er bemyndiget.

Jeg foreslår at du prøver denne lille øvelsen med et datasett, og deretter legge i en andre kategorisk variabel, først uten, deretter med en interaksjon. Gå gjennom hjelp og regresjonskoeffisientene og se hvordan de legger opp

** Den dummy koding skaper to 1/0 variabler:. Kulturelle = 1 for den geistlige kategori, 0 ellers; Forvarings = 1 for forvarings kategori, 0 ellers. Observasjoner i Bedriftsøkonomi kategorien har en 0-verdi på begge disse variablene, og dette er kjent som referansegruppen
.