14 febbraio 2026 · 15 min
Un +23% può essere una bugia servita in bella copia. Scopri perché molti A/B test sono compromessi ancor prima del primo click e come evitare di prendere decisioni basate su rumore, non su segnali. Impara a fare domande oneste, leggere il contesto e proteggere budget e reputazione.
Un A/B test che sembra funzionare può essere costruito male fin dall’inizio, anche quando i dati appaiono chiari e il team ragiona sulle percentuali. È una scena che hai già vissuto: dashboard aperta, tutti che guardano le colonne di Google Ads, Meta Ads o l’AB test interno del tool di turno. Variante B +23%, CTR che sale, CPA che scende. Qualcuno dice “è evidente, B vince”, qualcuno fa uno screenshot, parte il messaggio in Slack e il test viene “vinto” quasi per acclamazione.
Il problema? Nessuno rimette in discussione la base stessa dell’esperimento. Nessuno chiede: “Ma questo test è davvero valido o stiamo solo misurando il rumore?”. Finché le percentuali vanno nella direzione che speravamo, l’esperimento diventa automaticamente “giusto”. E così ti ritrovi a scalare campagne, cambiare creatività, riscrivere landing… partendo da un test che, se guardato da vicino, non stava in piedi nemmeno all’inizio.
La verità un po’ scomoda è questa: un sacco di A/B test sono già compromessi prima che parta il primo click. Non perché chi li imposta sia incapace, ma perché il sistema in cui operiamo (piattaforme, utenti, algoritmi, stagionalità) è molto più sporco e caotico di quanto vorremmo ammettere.
Se sei un marketer o un media buyer, ti sarà capitato: copi il framework “corretto”, segui le linee guida ufficiali del tool, crei due varianti – magari cambiando solo l’headline o il visual – e ti senti relativamente al sicuro. Eppure, il punto non è “hai fatto un test”, ma “hai fatto un test che aveva senso, in quel momento, con quel traffico, con quei dati?”.
#### Seguire la procedura standard non elimina gli errori invisibili
Molti si aggrappano alla procedura standard come se fosse una coperta di sicurezza. “Ho seguito tutti i passaggi, quindi il test è valido”. Te lo dicono anche i tool: step 1, step 2, step 3, poi clicca “Run Experiment” e sei a posto.
Il guaio è che gli errori più pericolosi sono proprio quelli che non compaiono in nessuna checklist. Non vedi che:
Formalmente hai fatto un A/B test “pulito”. Operativamente, hai mischiato talmente tante cose da rendere i risultati inutili, anche se sembrano precisi al secondo decimale. È un po’ come pesarti sulla bilancia mentre tieni in mano lo zaino e poi fare finta che “vabbè, tanto il peso in più è trascurabile”. Non lo è.
#### Cambiare una sola variabile non garantisce validità
Quante volte avrai sentito: “In un A/B test si cambia una sola variabile per volta”. Ok, concettualmente è anche giusto. Ma non basta.
Cambiare una sola variabile nella creatività o nella landing non significa che il resto del sistema sia stabile. Se durante il test:
allora, pur avendo cambiato “una sola variabile creativa”, il sistema in cui quella variabile vive è tutto tranne che costante. È come testare due sapori di gelato durante una settimana in cui il freezer va a singhiozzo: puoi anche cambiare solo la ricetta, ma la temperatura sballata ti rende i risultati sospetti.
Quindi sì, la regola “una sola variabile alla volta” è utile, però è solo una fetta del problema. E se ti fermi lì, ti stai raccontando una mezza storia.
#### Risultati numerici simili possono avere cause molto diverse
Un altro inganno classico: guardare due numeri simili e dare per scontato che significhino la stessa cosa. Due varianti con lo stesso CTR non raccontano per forza la stessa storia. Due CPA analoghi non implicano lo stesso tipo di utenti.
Magari:
Oppure, ancora più subdolo: due test diversi, in due periodi diversi, mostrano “+18% di conversion rate” e vengono trattati come se fossero equivalenti. Ma il contesto può rendere quel +18% reale in un caso, e completamente casuale nell’altro.
Lo stesso numero, su due basi diverse, non ha lo stesso peso. È come avere “10 vendite” su 100 visite o su 1.000 visite: la cifra è identica, il significato no. Eppure, nella fretta di avere un “winner”, questa differenza sparisce dalla conversazione.
Fin qui abbiamo parlato di principi. Ora andiamo nel concreto: dove si incastrano davvero gli A/B test nel lavoro di tutti i giorni? Nei dettagli operativi, quelli che “poi sistemiamo”, ma che spesso non vengono mai sistemati.
Le impostazioni della campagna, gli orari, le esclusioni, i segmenti di pubblico, i budget giornalieri: tutto ciò che sembra routine è in realtà il posto dove gli esperimenti si rompono in silenzio.
#### La segmentazione mal gestita distorce il senso dei risultati
Una segmentazione gestita male è uno dei modi più semplici per auto-ingannarsi. Tu pensi di testare “due creatività sullo stesso pubblico”, ma il pubblico non è affatto lo stesso.
Succede quando:
Così credi di aver trovato “la creatività migliore”, mentre in realtà hai solo trovato la creatività che si è agganciata al pubblico più facile da convertire.
Sai cosa? Non è solo un dettaglio. È l’essenza del problema. Se le tue varianti parlano a pubblici diversi, non stai facendo un A/B test, stai facendo un confronto tra mele e pere… e poi scrivi nel report che “le mele vincono”.
#### Periodi di test scelti in modo arbitrario producono illusioni di efficacia
Poi c’è la questione del tempo. Molti test partono “quando abbiamo finito le creatività” e finiscono “quando qualcuno si stufa di aspettare” o quando il calendario interno o del cliente impone una decisione.
Ma il tempo non è neutro:
Se scegli periodi di test a caso, rischi di misurare soltanto l’effetto della stagionalità o di un picco promozionale, e di spacciarlo per “effetto della variante”.
È un po’ come testare il nuovo menù di un ristorante solo a Natale e poi concludere che “il menù funziona tutto l’anno”. Forse funziona solo quando la gente ha già deciso di spendere di più.
#### Il traffico non omogeneo tra varianti rende ogni confronto sospetto
Un altro dettaglio che sfugge: la qualità e la distribuzione del traffico tra variant A e B. Non basta che i numeri totali di sessioni siano vicini. Serve capire chi arriva su cosa, e come ci arriva.
Alcuni esempi che creano guai:
Ti ritrovi quindi con una situazione del tipo: “La B converte il 40% meglio”, ma nessuno guarda che il 70% del traffico di B arriva da utenti già caldi o già esposti ad altri touchpoint.
In quel caso, non stai misurando l’efficacia della variante, ma il fatto che l’algoritmo abbia deciso – per ragioni sue – di favorirla. E se scali basandoti su quel risultato, ti porti dietro un errore che peggiora man mano che aumenti il budget.
Finora abbiamo parlato di errori tecnici. Ma il vero motore dei test sbagliati spesso non è la tecnica: è la pressione interna. Il cliente vuole “risposte entro fine mese”, il capo chiede “un test a settimana”, la sales deck del prossimo trimestre deve mostrare qualche freccia verde.
Così l’A/B test non è più uno strumento di apprendimento. Diventa una gara da truccare, o quantomeno da chiudere in fretta.
#### Concludere in fretta moltiplica i falsi positivi
Uno degli errori più diffusi è chiudere il test appena vedi una differenza “decente”: tipo +15%, +20%, quello che fa bella figura nello screenshot. Non aspetti che il test maturi, non verifichi la stabilità dei risultati, non controlli neanche bene la significatività statistica. Vedi il verde e ti basta.
In pratica, aumenti la probabilità di falsi positivi: risultati che sembrano vittorie ma sono solo casualità. È il classico effetto “ho pescato tre volte testa, quindi la moneta è truccata”.
Concludere in fretta ha un costo nascosto: inizi a basare le tue decisioni su successi apparenti. Ed è ancora peggio se poi racconti questi successi in azienda come se fossero verità scolpite nella pietra. Perché quel racconto, una volta entrato nelle slide, fa fatica a morire.
#### Sospendere troppo tardi complica l’attribuzione delle cause
Curiosamente, l’errore opposto fa danni quasi uguali: continuare a testare troppo a lungo, lasciando il test attivo “tanto per”.
Succede quando nessuno ha il coraggio di decidere. Il risultato è che, dopo un mese o due, il contesto è cambiato così tanto che non sai più cosa attribuire a che cosa:
A quel punto i dati del test sono un miscuglio di effetti diversi. Tu guardi il grafico e cerchi di estrarre una storia coerente, ma stai cercando ordine dove ormai c’è solo confusione accumulata.
#### Le aspettative interne dettano la narrativa, non i dati
C’è poi l’elefante nella stanza: spesso non sono i dati a guidare la lettura del test, ma le aspettative. Se tutti “tifano” per la nuova creatività, per il nuovo funnel, per la nuova strategia di bid, i numeri diventano malleabili.
In pratica, qualsiasi risultato viene piegato alla narrativa che avevamo già in testa. È un bias umano, non è cattiveria. Ma se non lo riconosci, l’A/B test smette di essere uno strumento di verifica e diventa un pretesto per confermare la storia che volevi raccontare fin dall’inizio.
Qui arriviamo a un punto delicato: molte guide, corsi, articoli sugli A/B test semplificano talmente tanto il quadro che ti fanno credere che il problema sia “imparare il metodo” una volta per tutte. Come se bastasse applicare una ricetta.
Peccato che il marketing reale, sulle piattaforme reali, con budget veri e clienti veri, sia meno lineare.
#### È diffusa l’idea che basti isolare una variabile per validare un test
La frase “isolare una variabile” è entrata talmente nel linguaggio comune che sembra la soluzione magica. Cambia solo il titolo. Cambia solo il bottone. Cambia solo l’immagine.
Ma “isolare” una variabile creativa non significa che quella variabile sia isolata nel sistema. Non puoi isolare la creatività dall’algoritmo di delivery, dalla competizione in asta, dal comportamento degli utenti che cambiano in base alle notizie del giorno, alla stagione, all’economia.
Dire “ho isolato una variabile” è rassicurante, ma spesso non è del tutto vero. Hai isolato la parte che controlli direttamente. Il resto, però, continua a muoversi.
#### Molti credono che più dati significhino sempre più verità
Altro mito: “bastano più dati”. L’idea che se fai girare il test abbastanza a lungo, se porti abbastanza volumi, la verità emergerà da sola. Non è sempre così.
Più dati su un test impostato male non portano chiarezza; portano solo una sicurezza più grande… nell’errore. È come misurare con un righello storto: puoi misurare cento volte, mille volte, ma la distorsione rimane.
E c’è anche la trappola opposta: volumi enormi che rendono ogni differenza “statisticamente significativa”, anche quando è irrilevante dal punto di vista del business. Ti ritrovi a discutere per ore di uno 0,3% di differenza su un click-through che, in termini di margine, non sposta nulla.
#### Quasi nessuno si chiede se il contesto renda un test irrilevante
Questa è forse la domanda meno fatta, eppure tra le più importanti: “Anche se questo test fosse perfetto… mi direbbe qualcosa di utile, in questo contesto?”.
Ci sono test che, anche fatti benissimo, sono irrilevanti:
Molti A/B test nascono vecchi. Sono nati perché “dovevamo testare qualcosa”, non perché c’era una reale incertezza da chiarire. È duro da ammetterlo, ma succede spesso.
A questo punto emerge una distinzione forte: seguire una checklist di A/B testing vs capire il sistema su cui stai testando. La checklist ti dice cosa fare. Il sistema ti dice perché quel “cosa” potrebbe avere senso… o no.
Pensaci: due marketer possono seguire la stessa procedura passo passo; uno impara qualcosa di utile, l’altro si illude.
#### Rispettare le buone pratiche non basta se il sistema reale è instabile
Puoi impostare tutto in modo formalmente impeccabile: stessa audience, rotazione equa, finestre temporali chiare, obiettivo ben definito. Se però l’ambiente è in pieno terremoto – budget che cambiano ogni due giorni, sito che va giù in certe ore, policy delle piattaforme che cambiano – le tue buone pratiche reggono fino a un certo punto.
È come fare un esperimento in laboratorio mentre qualcuno scuote il tavolo ogni pochi minuti. I tuoi strumenti sono corretti, la procedura pure, ma il rumore esterno ti rovina la pulizia del risultato.
Da qui una piccola contraddizione apparente: le linee guida servono, ma non ti salvano dalla realtà. Devi sapere quando un test, per quanto “giusto” su carta, è inaffidabile perché il terreno sotto i piedi si muove troppo.
#### Senza una minima ipotesi sui perché si rischia di fare test inutili
C’è poi un altro punto che spesso manca: l’ipotesi. Non nel senso accademico, ma proprio come domanda chiara del tipo: “Crediamo che X aumenterà Y perché Z”.
Se imposti un test solo per vedere “cosa succede”, senza almeno una spiegazione di base del perché pensi che una variante possa funzionare meglio dell’altra, ti manca un pezzo. Anche se il test ti dice che B funziona meglio di A, cosa te ne fai se non sai perché?
Senza ipotesi:
È il motivo per cui molti test, pur essendo corretti sul piano operativo, non spostano la cultura del team di un millimetro. Vi dicono chi ha vinto, ma non vi dicono perché.
Qui cambia la prospettiva. Finora abbiamo parlato di errori, limiti, illusioni. Ma non si tratta di smettere di testare. Si tratta di assumersi la responsabilità anche di quello che non controlliamo.
Sembra un paradosso: come fai a essere responsabile di ciò che non puoi controllare? Non significa diventare onnipotente, significa essere onesto su quanto margine di incertezza accetti nei tuoi esperimenti.
#### La vera questione è distinguere tra effetto reale e deviazione casuale
Alla base di tutto c’è una domanda sola: “Quello che vedo è un effetto reale o solo una deviazione casuale?”. Statistici e data scientist ci costruiscono carriere sopra, ma per un marketer la traduzione pratica è più semplice:
Non puoi avere la certezza assoluta, ma puoi aumentare la probabilità di non ingannarti. Come?
In pratica, non ti limiti al numerino magico, ma provi a leggere il disegno che c’è dietro.
#### Imparare a riformulare le domande prima di impostare un test è il passaggio che manca quasi sempre
Qui entra in gioco la parte più “matura” del lavoro di test: saper fare domande migliori prima di lanciare l’esperimento. È il passaggio che molti saltano. Non perché non siano capaci, ma perché la pressione a “fare” è più forte della pazienza di “capire”.
Invece di chiederti solo:
inizia a chiederti:
Questo cambio di domande è una piccola rivoluzione. Ti fa passare da test “cosmetici” a esperimenti che, anche se non portano un winner netto, ti lasciano in mano una comprensione più profonda del tuo sistema.
Arrivati qui, il punto diventa quasi semplice: un A/B test che merita il tuo tempo non è quello con la configurazione perfetta, ma quello che nasce da una domanda onesta.
Onesta verso i dati che hai, verso il contesto in cui lavori, verso i limiti delle piattaforme. Onesta anche verso i tuoi obiettivi: vuoi davvero imparare qualcosa o vuoi solo mostrare un “+23%” in una slide?
#### Riconoscere i limiti dei propri dati salva tempo e reputazione
Riconoscere che i tuoi dati sono limitati non è segno di debolezza. È un atto di lucidità che ti salva tempo, budget e reputazione.
Vuol dire ammettere che:
Paradossalmente, dire “questo test non è conclusivo” ti rende più credibile, non meno. Perché chi ti ascolta capisce che non stai barando con i numeri.
#### Ogni esperimento va progettato su una singola incertezza specifica, non per convalidare una convinzione
L’ultima cosa, ma forse la più pratica: ogni esperimento che funziona davvero, sul lungo periodo, è costruito attorno a una singola incertezza chiara. Non attorno a una convinzione da difendere.
Non “vogliamo dimostrare che la nuova creatività è migliore”. Piuttosto: “Non sappiamo se una proposta più diretta sul prezzo porta più lead qualificati rispetto a una proposta più soft sul valore. Vogliamo scoprirlo”.
Questa differenza sembra solo semantica, ma cambia tutto:
In sostanza, passi dal “testare per avere ragione” al “testare per capire”. E questo, nel tempo, cambia il modo in cui prendi decisioni, costruisci campagne, parli con i clienti.
Guardare davvero dentro un A/B test significa farsi più domande prima, non aspettarsi risposte facili dopo. Vuol dire smettere di trattare il test come un timbro di validazione e iniziare a vederlo come una conversazione con il sistema in cui lavori: pubblico, piattaforme, prodotto, contesto.
Gli errori di setup, la pressione a trovare un vincitore, le spiegazioni troppo semplici: ci saranno sempre. Ma se impari a riconoscerli, a rallentare mezzo passo prima di lanciare il prossimo esperimento, ogni test smette di essere un numero isolato e comincia a essere un pezzo di un quadro più grande.
Non ti serve fare più A/B test. Ti serve fare test che nascono da domande più oneste, più specifiche, più utili. Il resto – i grafici, le percentuali, gli screenshot da mandare al cliente – arriverà comunque. Ma stavolta avrà un senso.
Se l'hai trovato interessante, amerai:
La realizziamo per te. Nessun costo. Nessun impegno.
Richiedila ora