Česky
Datart, člen portfolia skupiny HP TRONIC, je jedním z předních hráčů v oblasti maloobchodního prodeje spotřební elektroniky v České republice a na Slovensku. Ať už se jedná o kamenné prodejny, nebo prodej přes e-shopy, provází nás již neuvěřitelných 32 let. Je držitelem ocenění Mastercard Obchodník roku 2021 v kategorii elektro a Nejdůvěryhodnější značka obchodu 2020 a 2021. V roce 2022 zvýšila skupina HP TRONIC, jejíž součástí je i DATART, svůj obrat o 5 % na celkových 25,3 miliardy Kč. EBITDA dosáhla 942 milionu Kč.
V článku se dozvíte, že:
- se vždy najde důvod, proč testovat,
- spuštění testu musí být dokonalé,
- A/B testování může být skvělým začátkem,
- významných výsledků lze dosáhnout v relativně krátké době,
- testování občas překvapí.
Byla na začátku analytika, zvědavost, nebo intuice?
Několik významných klientů začínalo s Luigi’s Boxem na stejném místě jako Datart. Na začátku nasadili ve svém e-shopu nástroj Luigi’s Box Analytics. Vzhledem k tomu, že analytika již poskytovala mnoho informací, vyvstala otázka, zda může být Luigi’s Box stejně dobrým a spolehlivým partnerem v oblasti vyhledávání nebo automatického dokončování při používání nástroje Luigi’s Box Search, jako tomu bylo v případě analytiky.
Datart si uvědomuje, jak je vyhledávání pro jeho e-shopy důležité a co může ovlivnit jeho správné či nesprávné nastavení. Nezáleží jen na nákladech, ale také na generovaných příjmech, konverzním poměru, počtu dokončených nákupů nebo dalších ukazatelích. Zodpovědný přístup jistě zahrnuje testování a ověřování hypotéz. Datart inovuje, a to hned v několika oblastech. Dělá maximum pro zlepšení uživatelské zkušenosti a je pochopitelné, že hledá lepší řešení, která pomohou uživatelům a zároveň zvýší zisky.
Interně vyvíjeli vlastní vyhledávání a v určitém okamžiku bylo nutné ověřit, zda externí vyhledávání může být stejně dobré, ne-li lepší než to interní.
Nasazení testu není otázkou několika kliknutí
Ať už chceme testovat cokoliv, je důležité mít vše předem promyšlené. Například metodiku, porovnávané hodnoty, proveditelnost testu nebo způsob hodnocení. Na druhé straně jde také o technickou implementaci, náročnost a požadavky na vývojáře nebo případné technické specializaci či specifikaci. Test může probíhat jak na frontendové, tak na backendové integraci. V případě Datartu šlo o složitější a komplexnější backendovou integraci. Většina klientů je na podobné testování odborně i personálně připravena, takže řešení takových úkolů nepředstavuje velkou komplikaci.
Datart má naštěstí tým specialistů, kteří nepodcenili žádný z aspektů a krok za krokem poskytli informace, specifikace a upravili potřebné hodnoty pro správnou komunikaci s naším systémem prostřednictvím API.
Ještě před provedením A/B testu je třeba provést sadu testů, aby se vyloučily možné chyby, které by mohly zásadně ovlivnit výsledek takového testu.
Proč právě A/B testování?
Existuje mnoho způsobů, jak něco vyzkoušet nebo otestovat. Prvním způsobem je vyměnit jedno řešení za jiné a pozorovat, zda je nové řešení účinnější. Existuje zde však zásadní riziko. U klienta velikosti Datartu může i nepatrná odchylka v nízkých jednotkách procent znamenat vysoký pokles zisku, což je pro jakoukoliv společnost nepřijatelné.
Bezpečnější variantou je nejprve použít offline A/B test. Vezmou se stávající výsledky vyhledávání, například za určité období, a porovnají se s výsledky, které nabízí testovaný nástroj. Tuto metodu testování jsme vyvinuli a používáme ji již dlouhou dobu, čímž v podstatě eliminujeme riziko, že se při novém vyhledávání určitých frází zobrazí horší nebo žádné výsledky. Díky tomu je testování bezpečnější i pro velké klienty, kde vzhledem k počtu vyhledávání jednotlivých frází může mít i malá odchylka velký dopad.
Po offline A/B testu klienti plynule přejdou do „živého“ online A/B testu. Základem je metodika, podle které část návštěvníků přiřadíme k jedné verzi a část k druhé. Volí se poměr zobrazení jednoho a druhého řešení, který může být 50:50, ale klidně zpočátku například jen 80:20, aby se klient přesvědčil, že testovaná varianta je lepší nebo stejná jako původní varianta. Na závěr se oba výsledky proporcionálně porovnají, a pokud byly vstupní hodnoty, například počty relací, signifikantní, můžeme přistoupit k vyhodnocení.
Výsledek za méně než 2 týdny
Pokud bychom testovali případy s vysokými nároky nebo měli e-shop s nízkou návštěvností, mohlo by se stát, že by test trval příliš dlouho, protože nízký počet návštěv by nebyl dostatečně významný. Jednoduše by nebylo možné určit, které z porovnávaných řešení je vítězem testu.
Někteří klienti testují týden, jiní měsíce. S ohledem na množství návštěvnosti a počet konverzí můžeme odhadnout, jak dlouho bude test trvat. Výsledek pak ověříme pomocí statistické významnosti, abychom snížili riziko náhodného výsledku. Vše je vždy předem definováno, aby byl jasný začátek a konec testu, stejně jako metriky, které se mají porovnávat, a způsob vyhodnocení. Pravidla se v průběhu testování nesmí měnit.
V tomto případě jsme měli dostatek vstupních dat. Šlo o správné načasování a vyhodnocení testu. Test probíhal v Datartu od 1. do 12. září 2022. Za necelé dva týdny byla shromážděna potřebná data – a bylo možné test vyhodnotit a určit vítěze.
Luigi’s Box jako vítěz A/B testu
Srovnávací A/B test byl nasazen na české i slovenské verzi e-shopu. Je samozřejmé, že se oba testy v některých hodnotách liší, protože trh v každé zemi funguje při vyhledávání trochu jinak.
Poměr nasazení byl v obou testovaných e-shopech 50:50. Polovina uživatelů obdržela původní verzi vyhledávání a druhá polovina verzi s nástrojem Luigi’s Box Search.
Výsledky obou testů byly podle zvolené metodiky signifikantní.
Hlavní srovnávací metrikou byl „konverzní poměr“ – míra konverze od uživatelů, kteří použili vyhledávání.
Po vyhodnocení testů jsme zjistili, že v porovnání s původní verzí vyhledávání bylo použití Luigi’s Box Search prokazatelně lepší v obou jazykových verzích e-shopu.
Další zajímavou informací je skutečnost, že v některých kategoriích naše řešení eliminovalo nesprávné výsledky a vyhledávání bez výsledků. Pokud řešíte podobný problém s relevancí, může být Luigi’s Box tím pravým řešením.
Závěr
Vybrané metriky jasně ukázaly, že umělá inteligence a strojové učení, které Luigi’s Box používá, mohou zvýšit konverzní poměr, v tomto případě o 14–19 %. V závislosti na segmentu a stavu vyhledávání může být rozdíl v míře konverze ještě vyšší. Spolu se zvýšením konverzního poměru se samozřejmě zvýšil i prodej, což je žádoucí stav. Není divu, že po těchto výsledcích testování bude Datart následně používat Luigi’s Box Search jako své vyhledávání a našeptávač v obou testovaných e-shopech.
Na tomto příkladu je jasně vidět, že roky výzkumu a vývoje našeho nástroje mají pro klienta vysokou přidanou hodnotu.
