Test Chi-Quadrato¶
La Domanda¶
Lanci una moneta 100 volte. Ottieni 60 teste e 40 croci. La moneta è truccata? O è solo una normale fluttuazione?
Oppure, vuoi sapere se la "Preferenza Utente" (Android vs iOS) dipende dalla "Fascia d'Età" (Giovani vs Anziani). Hai una griglia di conteggi. Come fai a sapere se c'è uno schema, o se i numeri sono caduti così a caso?
Il Test Chi-Quadrato (\(\chi^2\)) risponde a queste domande confrontando ciò che hai osservato con ciò che ti aspettavi.
La Formula¶
Dove: * \(O_i\) = Conteggio Osservato (cosa è successo veramente) * \(E_i\) = Conteggio Atteso (cosa sarebbe dovuto succedere se tutto fosse stato noioso/casuale)
La Storia: Lo Standard di Pearson¶
Nel 1900, Karl Pearson (il padrino della statistica) voleva un modo universale per testare se i dati si adattavano a una curva. Prima di lui, la gente guardava semplicemente i grafici e diceva: "Mah, sembra abbastanza vicino".
Pearson voleva un numero. Capì che sommare semplicemente gli errori (\(O - E\)) non avrebbe funzionato perché positivi e negativi si sarebbero annullati. Provò a farne il quadrato (\(O - E\))^2, ma questo dava troppo peso ai grandi numeri. Un errore di 5 è enorme se ti aspettavi 10, ma minuscolo se ti aspettavi 1.000.000.
Quindi divise per il valore atteso per normalizzarlo. Questo creò una metrica che funzionava per qualsiasi tipo di dato categorico. Fu il primo vero test di "Bontà di Adattamento" (Goodness of Fit).
L'Intuizione¶
L'Errore Normalizzato¶
Pensa alla formula in questo modo:
- Trova l'errore: \((O - E)\).
- Fanne il quadrato: Rendilo positivo e punisci le grandi deviazioni di più.
- Scalalo: Dividi per \(E\) per metterlo in prospettiva.
Se \(\chi^2\) è piccolo, i tuoi dati osservati sono molto vicini a ciò che ti aspettavi. La moneta è equa. Le variabili sono indipendenti. Se \(\chi^2\) è grande, i tuoi dati osservati sono selvaggiamente diversi dall'aspettativa. La moneta è truccata. Le variabili sono collegate.
Perché "Chi-Quadrato"?¶
Perché se assumi che gli errori siano distribuiti normalmente (cosa che sono, approssimativamente, per grandi conteggi), allora il quadrato di una variabile normale ti dà una... variabile Chi-quadrato. La somma di variabili normali al quadrato è letteralmente la definizione della distribuzione Chi-quadrato.
Derivazione: Somma di Normali Standard¶
- Approssimazione Binomiale: Per una singola cella (come "Teste"), il conteggio \(O\) segue una distribuzione Binomiale. Per grandi \(n\), la Binomiale è approssimativamente Normale:
(La varianza di un conteggio Poisson/Binomiale è approssimativamente uguale alla media $E$).
- Z-Score: Se vogliamo standardizzare questo errore:
- Fanne il quadrato:
- Sommali: Se sommiamo questi valori \(Z^2\) attraverso tutte le categorie, otteniamo la statistica Chi-Quadrato.
I gradi di libertà dipendono da quante categorie hai meno i vincoli (di solito $k-1$).
Errori Comuni¶
- Usare Percentuali: Il test Chi-Quadrato funziona solo sui Conteggi (interi). Mai inserire percentuali o medie. Se hai il 50%, devi sapere se è 1 su 2 (senza senso) o 500 su 1000 (significativo).
- Campione Piccolo: Se il tuo conteggio "Atteso" per una qualsiasi categoria è inferiore a 5, l'approssimazione crolla. La matematica assume una curva normale, ma con conteggi come 1 o 2, questo non regge.
- Causalità: Come tutte le correlazioni, un test Chi-Quadrato significativo non significa che A causa B. Significa solo che non sono indipendenti.
Concetti Correlati¶
- Distribuzione Chi-Quadrato — La curva che consultiamo.
- p-value — La probabilità di vedere questo \(\chi^2\) per caso.
- Gradi di Libertà — Cruciali per leggere la tabella.