Home > Všechny příspevky > Návody > Kompletní návod pro A/B testování

Kompletní návod pro A/B testování

Kompletní návod pro A/B testování a optimalizaci konverzního poměru

A/B testování je metoda, při které můžete porovnávat efektivitu dvou variant webových stránek na reálných návštěvnících za běžného provozu stránek. A na základě statistických testů zjistit, která varianta je pro vaše návštěvníky lepší. Uživatelé jsou rozděleni na dvě skupiny, z nichž každá vidí jinou variantu stránky. A/B testem poté změříte, jak se každá skupina uživatelů chová a která z nich dosahuje častěji cíle (konverze).

Proč A/B testovat?

Pro přivedení návštěvníků na web se nejčastěji používá PPC a SEO. Jak PPC, tak i SEO aktivity jsou finančně a časově náročné činnosti. A/B testování vám pomáhá zlepšit efektivitu samotného webu, na který (draze) přivádíte návštěvníky. Při využití A/B testování vzrůstá počet nákupů nebo leadů o desítky až stovky procent ročně. Cena za nástroj pro A/B testování je přitom jen malým zlomkem nákladů na přivedení návštěvnosti.

Příklad dopadu A/B testu

Příklad dopadu A/B testu

Pro koho je A/B testování vhodné?

A/B testování je vhodné pro všechny firmy, které používají webové stránky k dosahování nějakých cílů. Tyto cíle jsou většinou spojeny s prodejem produktů nebo služeb. Může se jednat o

  • nákup výrobku na e-shopu
  • registrace a platba softwarového řešení nebo služeb
  • vyplnění formuláře pro sběr e-mailu do newsletteru

Pro zhodnocení A/B testu se využívají statistické metody, proto je potřeba výsledek počítat z relevantního počtu konverzí. Je tedy nutné, aby vaše stránky měly minimálně sto a více konverzí měsíčně. Čím více konverzí, tím rychlejší a přesnější test je.

A naopak čím méně konverzí, tím váš test musí být odvážnější a testovaná varianta rozdílnější.

 

 

6 kroků ke správnému A/B testu

Nyní už víme, co je A/B testování a pro koho je vhodné. Teď se budeme věnovat tomu, jak tuto metodu provádět správně. Bohužel až příliš často se setkáváme se situacemi, kdy lidé vytvoří druhou variantu stránky, otestují to… a mají pocit, že je hotovo. Pokud však chcete, aby A/B testování mělo dopad na celý váš business, doporučujeme používat tento jednoduchý šestikrokový proces.

 

1. Analyzujte své stránky pro největší příležitosti

Prvním krokem při A/B testování by měla být analýza vaší stránky. Najděte místa jejichž optimalizací máte největší šanci na zvýšení výkonu stránek (zřejmě to tedy nebudou obchodní podmínky společnosti). Na internetu koluje spousta příkladů, kterak změna barvy tlačítka Objednat způsobila raketový růst konverzního poměru. Z našich zkušeností však vyplývá, že je nejlepší otestovat to, co je nejvíce vidět a co je nejvíce používané. Testujte zejména to, co vám přináší zisk (objednávkový proces, stránka produktu nebo služby, přihlášení k newsletteru).

Proto doporučujeme věnovat čas analýze svých vlastních stránek. Tato část vám může zabrat až 80 % práce. Kombinujte kvantitativní a kvalitativní analýzu. Použijte Google Analytics, abyste zjistili, která místa na vaší webové stránce jsou nejkritičtější (například příliš velká míra odchodu u košíku, velká míra okamžitého odchodu (bounce rate) u konkrétní landing page apod. Poté nahrávejte chování uživatelů nebo použijte heatmapy/clickmapy (např. pomocí nástroje Hotjar), které vám pomohou určit, který element stránky je potenciálně vhodný pro změnu a otestování. Pokud máte možnost, doporučujeme do kvalitativní fáze analýzy zařadit také metody dotazování návštěvníků. Ať to jsou feedback formuláře na stránce, využití NPS (Net promoter score) nebo přímo dotazování reálných návštěvníků nebo příslušníků cílové skupiny. Ještě o řád efektivnější je (guerrila) uživatelské testování. Stačí vám den a 5 uživatelů, a přijdete na věci, které vás nenapadly.

Pokud nevíte s čím začít, přikládáme malý list pro inspiraci:

  • Unique Value Proposition (výhoda oproti konkurenci)
  • Nadpis a hlavní claim (H1)
  • Podnadpis
  • Pozice formuláře
  • Délka/obsah registračního formuláře
  • Délka celé stránky (jsou všechny bloky na stránce nezbytné? Nematou?)
  • Barva call to action (např. registračního) tlačítka
  • Text na call to action tlačítku
  • Obrázky, které používáte na stránce
  • Hiearchie obsahu

 

Ve chvíli, kdy máte seznam testů, které byste rádi na vašem webu udělali přichází otázka: čím začít? S odpovědí může pomoci PIER framework. Každý test bodujeme na základě čtyř kritérií (každému kritériu přidělujeme 0-10 bodů), ty poté zprůměrujeme a máme metriku, podle které můžeme řadit testování.

 

Tato čtyři kritéria jsou Potential (Potenciál), Importance (Důležitost), Ease (Jednoduchost) a  Resuability (Recyklovatelnost).

Potenciál

Jaký potenciál může testovaná změna způsobit na stránce, kterou chcete testovat? Malé hodnocení bude mít test změny barvy tlačítka na landing page, která má velmi slušný konverzní poměr, velké hodnocení bude mít test optimalizace košíku, z něhož ztrácíme 90 procent návštěvníků.

Pro měření potenciálu můžete použít kvantitativní a kvalitativní analýzu, o které jsme se zmiňovali na začátku této kapitoly.

Důležitost

Jak důležitá je stránka, na které chceme změnu dělat? Malé hodnocení bude mít test změny nadpisu obchodních podmínek, velké hodnocení bude mít struktura landing page, na které chodí velká část naší placené návštěvnosti.

Pro měření důležitosti jsou vhodné metriky jako cena a velikost návštěvnosti a návratnost investic (ROI).

Jednoduchost

Jak jednoduché bude nastavit test? Malé hodnocení budou mít všechny testy, pro které potřebujete větší pomoc od programátorů (například změna řazení kroků v košíku), velké hodnocení budou mít změny, které zvládnete sami, například změna textu tlačítka nebo vyměnění obrázku.

Změřit jednoduchost nasazení můžete porovnáním času všech zúčastněných (vás, programátorů a případně grafiků)

Recyklovatelnost

Jak moc je možné výsledek testu aplikovat na jiné stránky. Ideální je například, pokud máte šablonu na vstupní stránky. Můžete test spustit na všech (a mít rychleji výsledek) a podle výsledku změnit všechny stránky naráz. Homepage máte jen jednu :).

 

PIER tabulka se seřazeným seznamem testů může vypadat například takto:

Potenciál Důležitost Jednoduchost Recyklovatelnost Skóre
Nadpis na PPC landing page 7 10 10 10 9,25
Změna řazení kroků v košíku 10 8 2 1 5,25
Přidání slevy za vyplnění e-mailu 8 7 7 5 6,75

 

Obecně nelze popsat, jak nastavit daná čísla. Každý business je jedinečný z mnoha hledisek a proto je třeba, abyste si je nastavili sami. Uvidíte, že jak budete s testováním postupovat, tak sami dokážete výšku metriky upravovat a zpřesňovat.

 

Ať používáte jakoukoliv metodu pro stanovení, co, kdy a jak testovat, vždy byste měli mít na paměti konečný cíl vašeho snažení. To znamená dělat takové změny, které vaší firmě přinesou v konečném důsledku peníze.

 

2. Vytvořte hypotézu

Hypotéza předchází samotnému testu. I když “statistická hypotéza” zní vědecky, jde v podstatě o jednoduchou úvahu:

 

Na základě dat/zpětné vazby/úvahy očekáváme, že změna bude mít dopad. To změříme pozorováním metriky po určité době.

 

Např. na základě dat o vyplňování formulářů očekáváme, že odstranění pole opakovat heslo přinese zvýšení registrací. Změříme to pozorováním konverzního poměru odeslání formuláře po jednom měsíci.

 

3. Vytvořte varianty webových stránek pro test

Varianty webových stránek lze vytvořit dvěma způsoby. První způsob vyžaduje určitou dávku technické zručnosti. Vytvoříte si kopii stránky, upravíte HTML/CSS kód (nebo při složitějších úpravách JavaScript) a nahrajete zpátky přes FTP server.

Pokud nemáte přístup k FTP serveru nebo nemáte technické znalosti, můžete použít vizuální editor. Vizuální editor je součastí našeho A/B testovacího nástroje Optimcore. Funguje tak, že zadáte adresu stránky, kterou chcete upravit, ta se automaticky nahraje do editoru a vy ji upravujete podobně, jako upravujete dokumenty ve Wordu. Změny vidíte přímo v editoru, na vaší stránce se projeví až ve chvíli, kdy spustíte test.

vizualnieditor

A/B testování je přístupné i pro netechnicky zdatné díky vizuálnímu editoru. Můžete vše jednoduše upravovat přímo na vaší stránce.

4. Definujte cíle testu

Cíl je většinou něco co chcete, aby návštěvník udělal. Tzv. konverze může být například odeslání formuláře s objednávkou nebo dosažení ponákupní stránky. Abyste dokázali změřit, která varianta testu je úspěšnější, musíte definovat, co je „úspěch“ neboli cíl.

Pro úspěšný test potřebujete alespoň jeden cíl a ve většině situací to i stačí. V některých případech ale využijete více cílů. Například pokud máte firmu, která nabízí základní verzi nějaké služby zdarma, uživatel si však může dokoupit prémiové služby. Registrace (neplatícího) uživatele může být jeden cíl a první platba uživatele druhý cíl. Nastavením více cílů tak můžete měřit vliv varianty některé ze stránek na více faktorů a učinit tak přesnější rozhodnutí.

 

5. Otestujte

Test je svým způsobem nejjednodušší část celého procesu. Stačí jen spustit test, ujistit se, že vše funguje správně a poté jen čekat, než testem projde dostatečně velký vzorek návštěvníků, aby se daly vyhodnotit závěry. Klíčové je ujistit se, aby se v průběhu testu neměnilo nic, co by na test mohlo mít negativní dopad.

Jedním z příkladů negativního dopadu je rychlá změna skladby uživatelů. Pokud například testujete stránku, která má standardně jen organickou návštěvnost a pro urychlení testu na ni přivedete i placenou návštěvnost (například pomocí PPC), tak měníte skladbu uživatelů (tito noví uživatelé se mohou chovat jinak, než ti původní).

6. Vyhodnocení

Při vyhodnocení jsou hlavními ukazateli dosažení statistické významnosti testu a dosažení dostatečného statistického vzorku (počtu návštěvníků, kteří projdou testem).

 

Statistická významnost testu:

Každý test vždy operuje s určitou mírou chybovosti. Většina testů se provádí na hladině statistické významnosti 95 procent. To zjednodušeně znamená, že existuje pětiprocentní pravděpodobnost, že test určil výsledky nesprávně (tzn. ve skutečnosti je lepší druhá stránka nebo jsou obě vyrovnané). Statistickou významnost si můžete stanovit sami, nedoporučujeme jít však pod 95 %. Statistická významnost významně ovlivňuje délku testu, resp. potřebnou velikost statistického vzorku (návštěvníků, kteří projdou testem). Čím vyšší statistická významnost, tím delší doba testu. Protože je potřeba nasbírat více dat, aby si byl test „jistý“ o správnosti výsledku.

 

Dosažení statistického vzorku

Protože statistická významnost je “pouze” matematický vzorec, je potřeba ještě úvahu nad vyhodnocením propojit s kontrolou dostatečného statistického vzorku. Obecné pravidlo zní, že by na každé variantě testu mělo dojít k nejméně 150 konverzím. I zde platí, že čím více, tím lépe – V rozumném případě bychom doporučili 200 a víc konverzí pro každou variantu testu.

 

Doba testu

Pokud testujete na velkých stránkách, může se stát, že potřebného vzorku uživatelů dosáhnete během několika hodin. Vzorek sice vypadá statisticky v pořádku, ale z hlediska průměrné návštěvnosti jste získali jen její krátký výsek. Zajistěte, aby testem prošla co největší část běžné návštěvnosti. Například, pokud posíláte jednou za dva týdny newsletter, zkuste se ujistit, že testem projdou i návštěvníci z newsletteru. Doporučujeme testovat minimálně 2 business cykly. Pokud je typický business cyklus (obvyklá doba od první návštěvy nového návštěvníka do jeho konverze) 30 dní, nemá smysl testovat jen po dobu dvou týdnů a poté se snažit výsledky vyhodnotit.

Dobrou praxí je také začínat a končit testy vždy ve stejnou dobu týdne. Ujistíte se tak, že test není vychýlen tím, že běžel přes 3 víkendy ale jen 2 plné pracovní týdny – pokud byste test spouštěli v pátek a zastavovali v pondělí.

Doporučujeme si dopředu definovat dobu trvání testu. Ve chvíli, kdy doba testu doběhne, test vyhodnoťte. A pokud za definovanou dobu není test průkazný a přitom již máme nasbíraný relevantní vzorek návštěv a konverzí, test je lepší zastavit a přejít na jinou hypotézu.

Průměrná doba testu je mezi dvěma až čtyřmi týdny, v závislosti na velikosti návštěvnosti, konverzního poměru a změny výkonu jednotlivých variant.

 

Obecně lze říci, že čím větší je rozdíl mezi testovanými variantami, tím větší budete mít jistotu a budete potřebovat méně konverzí/návštěvníků.

Snažte se z každého testu získat ponaučení nebo vhled do přemýšlení vašich zákazníků. Tuto informaci pak můžete aplikovat v jiných částech vašeho podnikání (například v kamenných pobočkách nebo na blogu).

 

 

Chyby, kterým se vyhněte

 

Malý statistický vzorek

Nikdy bychom neměli test ukončovat dříve. Ani když nám intuice říká, že rozdíl už je dostatečně velký. Vždy je potřeba počkat na dosažení potřebné hladiny statistické významnosti. I kdyby to znamenalo dělat test o několik týdnů déle. Statistika totiž nelže, a pokud ten zdánlivě jasný výsledek koresponduje s jistotou testu okolo sedmdesáti procent, tak již velká část testu nebude směrodatná. A to ovlivní celkovou kvalitu optimalizace vašich stránek.

Testování několika prvků současně

Častou chybou je testování několika prvků současně. Pokud v jednom testu změníte nadpis a zároveň barvu tlačítka a vyjde vám, že tato změna přinesla zlepšení o patnáct procent, nemůžete s jistotou říci proč. Mohlo za to tlačítko nebo nadpis? Pokud netestujete úplně nový koncept webové stránky, doporučujeme testovat vždy jen jeden konkrétní prvek.

 

Více testů současně

Stejně jako není vhodné testovat více prvků současně, není vhodné provádět současně na jedné stránce více testů. Pokud odhlédneme od softwarových komplikací, které s sebou několik testů přináší, i zde se nakonec potkáme s problémem, kdy nebudeme schopni určit, která změna mohla za daný výsledek. Proto i tady doporučuji provádět na jedné stránce jen jeden test.

Podobný požadavek platí i pro více testů na jednom webu. Nedokážeme průkazně určit vliv jednotlivých variant, pokud na hlavní stránce testujeme nový nadpis a na stránce s ceníkem současně testujeme nové call to action tlačítko.

 

Občas se však nevyhneme tomu, že musíme provádět více testů na webu naráz. V takové chvíli doporučujeme, aby se testy navzájem příliš nepotkávaly a zároveň aby měl každý test jiný cíl.

 

Peeking problem

Při spouštění testu doporučuji dopředu zvolit, po jakou dobu má běžet a ať se stane cokoliv, test do té doby nevypínat (samozřejmě v rámci rozumných mezí). Pokud každý den nahlížíte, jak vypadají výsledky testů, a čekáte na první příležitost, kdy se test dostane přes kýžených 95%, může vám to s velkou pravděpodobností přinést nepřesná data. Důvodem je to, že test, zvlášť při malém vzorku může dosahovat extrémních odchylek od reálného výsledku. Tak extrémních, že se může dostat na 95% hranici i ve chvíli, kdy to ještě výsledek není relevantní. Proto doporučujeme vyhodnocovat test až po uběhnutí předem stanovené doby testu.

Pozn. Peeking problém je záležitostí nástrojů, které používají frekventistický přístup ke statistice. Všechny nástroje (včetně Optimcore), které používají bayesiánskou statistiku, výrazně redukují tento druh problému. Pro více informací o rozdílu jednotlivých statistik doporučujeme tento článek.

 

 

Přístup k data driven principu

S data-driven přístupem můžete dělat rozhodnutí opřená o data a ne pouze o názory. Přijmutí toho přístupu s sebou sice občas nese lehký nezvyk (většinou jsme zvyklý důvěřovat sobě nebo názorům druhých), ale velmi rychle přináší výsledky.

 

Zbavte se hrocha

Zbavení se HiPPO (Highest Paid Person’s Opinion) neboli “názoru člověka s nejvyšším platem” je jedním z hlavních benefitů “data driven” přístupu. V běžné situaci se stává, že rozhodnutí se děje na základě úvahy nadřízených, kteří se domnívají, že mají největší vhled do problematiky. S daty z A/B testování v zádech jsou ale podobné úvahy a argumenty zbytečné. S A/B testováním nemusíme ztrácet čas na dlouhých “strategických” poradách a můžeme rozhodnout na základě reálného chování uživatelů.

 

Nepřestávejte testovat

Jelikož každý test zabere poměrně hodně času, je vhodné zajistit, aby se minimalizovala doba, kdy se na stránce nic netestuje. V některých firmách se tak tvoří tzv. testovací plán. V tom je zaznačeno, které testy a jak poběží za sebou. Tím se vyhnete zbytečným prodlevám mezi jednotlivými testy. Obecně lze argumentovat, že pokud testujeme jen sporadicky, dáváme konkurenci čas a prostor najít odpovědi dřív, než je dokážeme najít my.

 

Nedůvěřujte “ověřeným tipům”

Na internetu naleznete nepřeberné množství informací a příkladů o A/B testování. Například o tom, jak o víkendu je lepší používat zelenou barvu tlačítka, protože lidé chtějí více pohody a v týdnu červenou, protože spěchají a chtějí vše rychle vyřešit. Nebo o tom, že formulář je lepší mít na stránce, než v pop-up okně (protože to ušetří jedno kliknutí). Neberte tyto zkušenosti jiných firem doslova. To, co funguje na jiných stránkách, nemusí vůbec platit na vašich stránkách. Není problém se inspirovat, ale nikdy neberte výsledky cizího testu za vlastní.

 

Co dělá stránku vysoce konverzní?

V této části jsme se lehce inspirovali od přístupu Bryana Eisenberga, který rozdělil nejdůležitější prvky vysoce konverzní stránky do tří částí:

 

1. Relevance

Obsahuje stránka pouze relevantní informace, které odpovídají tomu, co uživatel hledá nebo potřebuje?

Zabezpečte, aby celá cesta, ve které se člověk, který něco hledá mění na návštěvníka a uživatele, byla co nejplynulejší.

 

2. Hodnota

Ujišťuje stránka uživatele o tom, že tady je to pravé místo na řešení jeho problému? Je naše hodnota dostatečně přesně a důkladně sdělena?

 

3. Call-to-action (výzva k akci)

Je zřejmé, jakou další akci má uživatel udělat? Má uživatel dost informací pro to, aby chtěl další akci udělat?

 

webnode

Webnode Landing page pro svatební weby

Na příkladu landing page Webnode si můžete všimnout absolutní snahy o relevanci. Člověk hledá “svatební web”, uvidí reklamu “vytvořte si statební web během sekundy”. Klikne na reklamu a poté uvidí landing page, kde vidí fotku nevěsty (svatební web drtivou většinou zajištují ženy, proto na ně cílíme i obrázkem) a zároveň si přečte text, který ji ujistí, že zde opravdu získá jednoduše stránky pro svou svatbu. Celá cesta by měla být ukončena tím, že po registraci nabídneme již přímo šablonu pro svatební web. Oli Gardner z Unbounce tomu říká „message match“.

V hodnotě zde není moc co řešit. Rozhodování pořídit si stránku je velmi krátké, typický uživatel to chce mít “z krku” co nejdřív. Proto nesdělujeme žádné technické informace a říkáme “pokud se registrujete, budete mít hned svůj vlastní web”.

Střídmost obsahu na stránce také nahrává výzvě k akci. Po příchodu na stránku vidí návštěvník jen hlavní claim, fotku a formulář. Claim si přečte, na fotku se podívá a pak už nezbývá nic jiného než vyplnit formulář.

 

 

fakturoid

Hlavní stránka aplikace Fakturoid

Fakturoid cílí na cílovou skupinu, která musí udělat složitější rozhodnutí: jak budou řešit své faktury. Protože toto rozhodnutí už není impulzivní, je potřeba více vysvětlit výhody fakturoidu.

Relevance je zajištěna hlavně výrazným nadpisem “online fakturace a účetnictví pro živnostníky a firmy”. V tu chvíli tedy návštěvník ví, že se ocitnul na správně stránce.

Hodnotově fakturoid vysvětluje ušetření času a také zdůrazňuje další funkce. Potvrzení hodnoty je pak ověřeno částí se spokojenými klienty.

Výzva k akci je zde také přesně definovaná. Na rozdíl od mnoha obecných call-to-action je jasně řečeno “začnete fakturovat”. Víte tedy přesně, jakou akci máte před sebou. Kdybychom chtěli být hnidopichy, pravděpodobně bychom doporučili otestovat výraznější, více kontrastní call-to-action tlačítka.

 

Závěr

 

A/B testování není všemocné a je to jen jeden díl skládanky nazvané zvyšování konverzního poměru. Pokud ho ale uchopíte správně, dá vám časem jasné odpovědi na to, co návštěvníci na vašem webu nebo eshopu chtějí vidět. Tím zvýšíte jak konverzní poměr, tak i celkové zisky. A/B testování je běh na dlouhou trať, často se vám stane, že A/B test dopadne nejednoznačně, tedy že obě varianty mají velmi podobný výkon. VWO při analýze testů zjistil, že jen každý osmý test poskytuje pozitivní výsledek. Ten ale potom průměrně zlepší sledovanou metriku o 48 %.

Jak říká optimalizátor Ondřej Ilinčev: „Netestujte blbosti. Je důležité udělat více testů pro prvek webu, který vám přináší peníze než slepě testovat 30 různých věcí. Pokud bych měl k dispozici 30 testů ročně pro e-shop, polovinu z nich použiju na testování objednávkového procesu.“

Pokud přijmeme tuto data-driven kulturu, nebudete se již rozhodovat na základě nepřesných domněnek a pocitů. Ale budete přesně vědět, která rozhodnutí jsou pro váš business opravdu a dlouhodobě správná.

 

 

Jaké by to bylo zvýšit konverzní poměr a obrat o 20 %? Dělejte lepší rozhodnutí s Optimcore.

Začněte testovat ještě dnes

Nebo si přečtěte případovou studii, jak cestovní kancelář Quality Travel zvýšila jedním testem konverzní poměr o 17 %.

 

 

Leave a Reply