A/B-test med lav trafik: hvad er værd at teste i en lille webshop
Hvor meget trafik en A/B-test kræver, hvad der er værd at teste i en lille webshop, hvordan du undgår konklusioner af held, og hvad du gør ved lav trafik.
Vasile Dingă
.comparison-cards { display: flex; flex-direction: column; gap: 1.5rem; } .comparison-card { background: #fff; border-radius: 16px; padding: 20px; border: 2px solid #efefef; } .comparison-header { display: flex; justify-content: space-between; font-size: 16px; margin-bottom: 12px; } .comparison-row { display: flex; justify-content: space-between; padding: 8px 0; border-top: 1px solid #efefef; font-size: 14px; color: #1f2937; } .comparison-label { font-size: 14px; width: 30%; } .comparison-value { width: 65%; text-align: right; } @media (max-width: 600px) { .comparison-row { flex-direction: column; align-items: flex-start; } .comparison-value { text-align: left; margin-top: 4px; } } A/B-test lyder som den perfekte løsning: vis to versioner af en side, se hvilken der sælger mest, og behold vinderen. Problemet er, at en lille webshop med nogle tusinde besøg om måneden sjældent har ordrer nok til, at en test kan sige noget sikkert. Resultatet ser tydeligt ud efter en uge, og efter en måned er det væk. Herunder viser jeg, hvordan du finder ud af, hvad du kan teste, hvor meget trafik du skal bruge, hvordan du undgår at drage konklusioner af held, og hvad du gør i stedet, når mængden ikke rækker. Hvorfor lav trafik ændrer reglerne En A/B-test sammenligner to konverteringsrater. Med få ordrer opstår og forsvinder forskelle af ren tilfældighed. Hvis variant A har 12 ordrer og variant B har 18, ser B ud til at være 50% bedre. I virkeligheden opstår en sådan forskel ofte ved så små mængder, selv mellem to identiske sider. Derfor kigger du ikke på procenter, men på hvor mange ordrer der står bag dem. En praktisk regel, jeg bruger: hvis du ikke kan samle et par hundrede ordrer pr. variant inden for rimelig tid, giver en klassisk A/B-test på konverteringsraten dig ikke et svar, du kan stole på. Intuition for stikprøvestørrelse Hvor mange besøgende du skal bruge, afhænger af to ting: den konverteringsrate, du starter fra, og hvor stor en forskel du vil kunne opdage. Jo mindre…