AB testing: cos’è e come funziona

Capita sempre più spesso di sentir parlare di ab test (o split test), ma in che cosa consistono esattamente? Scopriamolo insieme.

A/B Test: cos’è

Per farti capire meglio di cosa stiamo parlando, partiamo da un esempio concreto.

Ti sarà capitato, almeno una volta, di domandarti se fosse meglio scrivere un oggetto piuttosto che un altro in una mail, oppure se utilizzare un pulsante verde piuttosto che uno giallo in una landing page.

Ecco. È proprio qui che gli ab test arrivano in tuo soccorso perché, come suggerisce il nome, quando non sei convinto di cosa piacerà di più al tuo pubblico ed hai bisogno di dati su cui basare le tue osservazioni (non di semplici supposizioni), allora puoi condurre un esperimento, un ab test, appunto.

Attraverso questo tipo di test, potrai mettere a confronto due versioni (quella originale o di controllo A e quella variante B) dello stesso esperimento con solo un elemento differenziante che possa aiutarti a capire, attraverso dati quantitativi, quale versione abbia prodotto un risultato più soddisfacente.

Esistono anche A/B test che testano più elementi variabili nello stesso esperimento e nella stessa variante. In questo caso potrebbe rivelarsi utile, una volta completato il primo esperimento ed aver individuato la variante che ha riscosso maggior successo, procedere con un ulteriore ab test che modifichi un solo elemento in modo da ottenere un risultato più certo.

AB testing vs test multivariato: qual è la differenza?

Gli A/B test, quindi, sono strumenti utilissimi quando si parla di ottimizzazione del tasso di conversione e si distinguono dai test multivariati che, invece, confrontano più versioni contemporaneamente.

Un A/B test, infatti, confronta due versioni di uno stesso antefatto (una pagina, una mail, una campagna) dove viene variato un elemento soltanto.

Nei test multivariati, invece, gli elementi da testare sono diversi e in base alle combinazioni che possono venirne fuori escono differenti variazioni. Grazie al test multivariato ti sarà possibile avere una panoramica migliore delle varie combinazioni e dei singoli cambiamenti. Il rovescio della medaglia è che richiede volumi di traffico molto più alti per produrre dati affidabili. Per la maggior parte delle startup in early stage, l’AB testing rimane la scelta più pratica.

A/B test: come funziona

Per utilizzare al meglio un ab test, però, è sempre utile tenere a mente il processo di ideazione e implementazione ed alcune regole base, ovvero:

1. Definire l’obiettivo: qual è l’obiettivo dell’ab test? In parole povere qual è il risultato che vuoi raggiungere? Per esempio: vuoi aumentare l’iscrizione ad una newsletter? Incrementare le vendite di un prodotto? Definisci l’obiettivo dell’esperimento prima di procedere con la sua creazione.
2. Formulare un’ipotesi: fissato bene l’obiettivo in testa, come in ogni esperimento che si rispetti, è ora di formulare un’ipotesi chiara e precisa che possa produrre delle metriche misurabili.
3. Definire il target: a chi verrà sottoposto il test? È importante definire fin da subito il pubblico a cui sarà sottoposto l’ab test e dividerlo in maniera simmetrica e casuale in modo che i risultati siano imparziali.
4. Definire la variante: quale sarà l’elemento da testare? Nel caso in cui l’elemento variante sia uno solo, assicurati di avere due versioni identiche che si differenziano solo per quell’elemento.
5. Definire la durata: è importante testare le versioni nello stesso momento e per una durata tale da permetterti di ottenere dati rilevanti.
6. Analizzare i risultati: dopo aver condotto l’esperimento è importante capire se i risultati abbiano una rilevanza statistica o meno. Per fare questo puoi utilizzare un calcolatore. Tieni sempre sotto controllo i KPI che hai scelto prima di iniziare: cambiarli a posteriori invalida il test.

Quante visite servono per un AB testing?

Dipende dal punto di partenza. Se la tua pagina converte al 5% e vuoi rilevare un miglioramento dell’1%, ti servono circa 6.300 visite per variante con una confidenza statistica del 95%. Sotto quella soglia, il rischio è dichiarare un vincitore che in realtà non esiste.

Quanto deve durare un A/B test?

Almeno una o due settimane complete. In questo modo riuscirai a includere sia i giorni feriali che il weekend, evitando che il comportamento degli utenti in un singolo giorno di picco distorca i risultati. Se fermi il test prima perché una variante sembra in vantaggio, rischi di prendere una decisione basata su dati ancora poco significativi.

Cosa testare con l’AB testing

Non tutto vale la pena testare con le stesse priorità, soprattutto quando il traffico è limitato. Se stai cercando di migliorare la traction della tua startup, conviene iniziare dagli elementi che producono il maggior impatto con il minor numero di visite necessarie.

Elemento da testare	Impatto atteso	Visite per variante
Headline / titolo pagina	Alto	~2.000
Testo e colore del CTA	Alto	~2.000
Oggetto email	Alto	~500 invii
Immagine principale	Medio	~3.000
Layout del form di contatto	Medio	~4.000

Con poche centinaia di visite al mese, inizia da headline e oggetto delle email: sono gli elementi ad alto impatto che richiedono meno traffico per darti una risposta affidabile.

A/B test: errori da evitare

Gli errori più comuni quando si porta avanti un ab test sono principalmente:

• Non avere ben chiaro l’obiettivo. Avere obiettivi troppo vaghi come “vedere la reazione dei clienti” potrebbe avere effetti controproducenti durante il test. È necessario identificare obiettivi specifici e misurabili come per esempio “vedere se aumenta l’iscrizione alla newsletter”.
• Durata sbagliata dell’esperimento. I risultati di un ab test potrebbero risultare viziati se l’esperimento è condotto per un lasso di tempo troppo lungo o troppo breve.
• Condurre l’esperimento in tempi diversi. Sia l’originale che la variante devono essere testate nello stesso periodo per evitare risultati non attendibili.

Il problema del “peeking”

C’è un errore che non viene quasi mai nominato esplicitamente ma è tra i più frequenti: guardare i risultati a metà test e fermarsi appena una variante sembra in vantaggio. Questo comportamento, chiamato in gergo “peeking”, produce falsi positivi sistematici. La contromisura è semplice: decidi la durata prima del lancio e non guardare i dati intermedi fino alla scadenza. È uno degli errori di digital marketing che costa di più proprio perché sembra una buona idea sul momento.

A/B test: strumenti

Esistono diversi strumenti utili agli ab test. Google e Facebook, per esempio, ti danno la possibilità durante la creazione di campagne di creare ab test per testare.

Per quanto concerne l’email marketing, piattaforme come Mailchimp ti danno la possibilità di condurre ab test in maniera semplice e funzionale.

Quando, invece, hai la necessità di testare pagine web uno dei migliori strumenti è sicuramente Optimizely.

Un altro tool molto utilizzato per creare A/B test con l’obiettivo di capire quale campagna marketing può essere più performante è AdEspresso, startup creata dall’italiano Armando Biondi e acquisita dall’americana Hootsuite.

Confronto rapido tra i principali tool

Strumento	Cosa testa	Piano gratuito
Google Ads / Meta Ads	Campagne paid	Sì
Mailchimp	Email	Sì (fino a 1.000 contatti)
Optimizely	Pagine web e prodotto	No
VWO	Pagine web + heatmap	Prova gratuita
AdEspresso	Campagne social	No

In sintesi

• L’AB testing confronta due versioni di un elemento modificando una sola variabile alla volta. Cambiarne più di una insieme rende il risultato illeggibile.
• Per rilevare un miglioramento reale serve traffico sufficiente: indicativamente 6.300 visite per variante con confidenza del 95%.
• La durata minima consigliata è una o due settimane complete: non interrompere il test prima della scadenza che hai fissato.
• Se hai poco traffico, inizia da headline, CTA e oggetto delle email. Sono gli elementi ad alto impatto che richiedono meno visite.
• Guardare i dati a metà test e fermarsi se una variante è in vantaggio, il cosiddetto “peeking”, è l’errore metodologico più comune.

FAQ

Cos’è l’AB testing? È un esperimento controllato che mette a confronto due versioni dello stesso elemento, una pagina, un’email, un annuncio, modificando una sola variabile. L’obiettivo è capire quale versione funziona meglio sulla base di dati quantitativi, senza affidarsi a supposizioni.

Qual è la differenza tra AB testing e test multivariato? Nel test A/B si modifica un solo elemento alla volta. Nel test multivariato si testano contemporaneamente più variabili e le loro combinazioni, il che richiede volumi di traffico molto più alti. Per la maggior parte delle startup, l’AB testing è la scelta giusta.

Quanto deve durare un test A/B? Almeno una o due settimane complete, per includere sia i giorni feriali che il weekend e avere dati rappresentativi del comportamento ordinario degli utenti.

Quante visite servono per un AB testing? Dipende dal tasso di conversione di partenza. Come riferimento: per misurare un miglioramento dell’1% su una conversione del 5%, servono circa 6.300 visite per variante con il 95% di confidenza statistica.

Qual è lo strumento migliore per fare AB testing? Dipende da cosa vuoi testare. Per le campagne paid bastano Google Ads e Meta Ads. Per le email, Mailchimp è già sufficiente. Per le pagine web, Optimizely e VWO sono i riferimenti del settore.

Se stai costruendo la tua startup e vuoi iniziare a prendere decisioni basate sui dati fin dalle prime settimane, il programma Lancia la tua startup di Peekaboo affianca i founder dalla definizione del prodotto all’ottimizzazione dei primi canali di acquisizione.