paologironi blog

Una delle domande più ricorrenti quando si progetta un A/B test è: quanti utenti mi servono per ottenere un risultato affidabile? La risposta non è un numero magico: dipende da quanto è grande l’effetto che vogliamo rilevare, dal tasso di conversione di partenza e dal livello di certezza statistica che desideriamo raggiungere.

Calcolare in anticipo la dimensione campionaria (sample size) è un passaggio fondamentale per evitare due errori classici: fermare il test troppo presto, dichiarando un vincitore che non c’è, oppure lasciarlo correre troppo a lungo, sprecando traffico e tempo. In altri termini, si tratta di trovare il punto di equilibrio tra risorse e rigore.

Chi ha letto l’articolo sul A/B Testing ricorderà che la power analysis è il metodo statistico che ci permette di determinare questa soglia. E chi ha approfondito gli intervalli di confidenza sa già che livello di significatività e potenza del test non sono concetti astratti, ma leve operative che influenzano direttamente la dimensione del campione.

Leggi tutto “Calcolatore Sample Size per A/B Test”

Abbiamo avuto modo di esaminare, nel corso di questo percorso, strumenti per descrivere i dati, per testare ipotesi, per costruire modelli. Ma c’è una domanda che precede tutte le altre, e che troppo spesso viene ignorata: questi dati sono affidabili?

In qualsiasi dataset — sessioni giornaliere, click organici, tassi di conversione — possono nascondersi valori che non si comportano come gli altri. Valori che si discostano in modo anomalo dal resto della distribuzione. In statistica li chiamiamo outlier, o valori anomali.

Un punto va chiarito subito: un valore anomalo non è necessariamente un errore. Può essere un errore di misurazione, certo (un tag di tracciamento rotto, un bot che gonfia le sessioni). Ma può anche essere il segnale più importante dell’intero dataset: un aggiornamento dell’algoritmo di Google, un contenuto che diventa virale, un problema tecnico che abbatte il traffico. La questione non è eliminare le anomalie, ma riconoscerle — e poi decidere cosa farne.

In questo articolo esaminiamo tre metodi statistici per identificare i valori anomali, dal più intuitivo al più formale. Per ciascuno vedremo la logica, i limiti e l’applicazione pratica con R.

Leggi tutto “Anomaly detection: come identificare valori anomali nei dati”

Abbiamo avuto modo di esaminare, nel corso dei precedenti articoli, l’inferenza statistica da una prospettiva precisa e coerente: formulare un’ipotesi, raccogliere dati, calcolare un p-value, costruire un intervallo di confidenza. Abbiamo condotto test delle ipotesi, confrontato varianti con l’A/B testing, e visto con il Teorema del Limite Centrale perché tutto questo funziona anche quando i dati non sono normali.

Questo approccio — che si chiama frequentista — ha una logica chiara: il parametro che vogliamo stimare è un valore fisso (anche se sconosciuto), e noi lo “inseguiamo” con i dati. Ma esiste un altro modo di pensare l’incertezza, un modo che permette di aggiornare le nostre convinzioni man mano che arrivano nuovi dati. Si chiama approccio bayesiano, e in questo articolo ne costruiamo le fondamenta.

Partiamo da un esempio concreto. Immaginiamo di aver appena lanciato una campagna di advertising e di non conoscere il vero tasso di click. Abbiamo un’opinione iniziale, basata sull’esperienza (“di solito i tassi di click stanno tra lo 0% e il 20%”), e poi arrivano i dati. L’approccio bayesiano ci permette di combinare la nostra opinione iniziale con i dati osservati per ottenere una stima aggiornata — e di ripetere questo processo ogni volta che arrivano nuove informazioni.

Leggi tutto “Statistica bayesiana: come imparare dai dati, un passo alla volta”

Abbiamo avuto modo di esaminare, nel corso dei precedenti articoli, come funziona il test delle ipotesi e come il t-test per due campioni ci permetta di confrontare due gruppi in modo rigoroso. Abbiamo anche costruito intervalli di confidenza, imparato a quantificare l’incertezza delle nostre stime, e visto con il Teorema del Limite Centrale perché tutto questo funziona anche quando i dati non sono normali.

Ma c’è una domanda che, nella realtà operativa di chi fa SEO e marketing, si presenta con una frequenza quasi quotidiana: quale variante funziona meglio? Quale title tag porta più click? Quale landing page converte di più? Quale meta description attira l’attenzione? Non è una domanda accademica: è la domanda che separa le decisioni basate sui dati dalle opinioni travestite da strategie.

La buona notizia è che per rispondere abbiamo già tutti gli strumenti. L’A/B testing non è altro che l’applicazione diretta dei concetti di inferenza statistica che abbiamo costruito passo dopo passo: test delle ipotesi, confronto tra gruppi, significatività. In questo articolo mettiamo tutto insieme.

Leggi tutto “A/B Testing: come condurre esperimenti statisticamente validi (e gli errori da evitare)”

Abbiamo avuto modo di esaminare, nel corso dei precedenti articoli, la distribuzione normale e le sue proprietà. E poi siamo andati avanti: abbiamo costruito intervalli di confidenza, condotto test delle ipotesi, calcolato margini di errore. In tutti questi passaggi, la distribuzione normale era lì, sempre presente, come un filo conduttore silenzioso.

Ma c’è una domanda che forse ci siamo posti senza trovare ancora una risposta soddisfacente: perché la distribuzione normale funziona così bene, anche quando i nostri dati non sono affatto normali? Chi ha detto che il traffico organico, i tassi di conversione o le durate delle sessioni seguano una distribuzione a campana? Nella maggior parte dei casi, non la seguono affatto.

La risposta sta in uno dei risultati più eleganti e potenti di tutta la matematica: il Teorema del Limite Centrale (in inglese Central Limit Theorem, spesso abbreviato in TLC o CLT). È il teorema che, in un certo senso, giustifica l’intera statistica inferenziale.

Leggi tutto “Il Teorema del Limite Centrale: perché la statistica funziona (anche quando i dati non sono normali)”