English
Datart, en medlem av HP TRONIC-gruppens portfölj, är en av de ledande aktörerna inom detaljhandeln av hemelektronik i Tjeckien och Slovakien. Oavsett om det är i fysiska butiker eller försäljning via e-butiker har Datart funnits med oss i 32 år. De är mottagare av Mastercard Merchant of the Year 2021-utmärkelserna i kategorin elektroteknik, och Most Trusted Brand 2020 och 2021. Under 2022 ökade HP TRONIC-gruppen, inklusive DATART, sin omsättning med 5 % till 25,3 miljarder CZK. EBITDA-vinst på 942 miljoner CZK.
I den här artikeln kommer du att lära dig att:
- det finns alltid en anledning till att testa
- implementeringen av testet måste vara perfekt
- ett A/B-test kan vara en bra start
- det är möjligt att arbeta för betydande resultat på relativt kort tid
- enstaka tester kan överraska
Var det analysen, nyfikenheten eller intuitionen i början?
Flera uppmärksammade kunder började med Luigi’s Box på samma plats som Datart. I början implementerade de Luigi’s Box Analytics på sin e-butik. Eftersom analysen redan hade gett mycket information var frågan om Luigi’s Box kunde vara en lika pålitlig partner inom sökning eller autoslutförande vid användning av Luigi’s Box Search som det var med analysen.
Datart inser hur viktig sökningen är för sina e-butiker och vad som kan påverka dess korrekta eller felaktiga inställning. Förutom kostnader finns det också andra viktiga mätvärden, såsom genererade intäkter, konverteringsfrekvens, antal genomförda köp. Ett ansvarsfullt tillvägagångssätt inkluderar säkert testning och verifiering av hypoteser. Datart innoverar, vilket kan ses inom flera områden. De gör sitt bästa för att förbättra användarupplevelsen, och förståeligt nog letar de efter bättre lösningar som hjälper användare och ökar vinsten samtidigt.
De utvecklade sin sökning internt, och vid något tillfälle var det nödvändigt att verifiera att extern sökning kunde vara lika bra, om inte bättre, än intern.
Att driftsätta ett test är inte några få klick bort
Oavsett vad vi vill testa är det avgörande att ha allt genomtänkt i förväg. Till exempel metodik, jämförda värden, testets genomförbarhet eller utvärderingsmetod. Å andra sidan, teknisk implementering, svårighetsgrad och krav på utvecklare eller någon teknisk specialisering eller specifikation. Testet kan köras på både frontend- och backend-integration. I fallet med Datart var det den mer komplicerade och komplexa backend-integrationen. De flesta kunder är professionellt och personligen förberedda för liknande tester, så att hantera sådana uppgifter brukar inte innebära några komplikationer.
Lyckligtvis har Datart ett team av specialister som inte underskattade några aspekter, gav steg-för-steg-information och specifikationer och justerade de nödvändiga värdena för att kommunicera med vårt system korrekt via API:et.
Redan innan du kör ett A/B-test behövs en uppsättning tester för att eliminera eventuella fel som avsevärt kan påverka resultatet av ett sådant test.
Varför ett A/B-test?
Det finns många sätt att prova eller testa något. Det första alternativet är att ersätta en lösning med en annan och undersöka om den nya lösningen är mer effektiv. Här uppstår dock en grundläggande risk. Med storleken på en kund som Datart kan även en liten avvikelse i låga procentenheter visa sig som ett betydande vinstfall, vilket är oacceptabelt för alla företag.
Men ett säkrare alternativ är att först använda det så kallade offline A/B-testet. Befintliga sökresultat, till exempel under en tid, jämförs med resultaten som erbjuds av det testade verktyget. Vi har utvecklat denna testmetod och har använt den länge, tack vare vilken vi i grunden eliminerar risken att en ny sökning efter vissa fraser skulle visa sämre eller inga resultat. Detta gör testningen säkrare även för mer framstående kunder, där en liten avvikelse kan ha en betydande inverkan med tanke på antalet sökningar efter enskilda fraser.
Efter ett offline A/B-test går kunder smidigt över till ett “live” online A/B-test. Grunden är en metodik där vissa besökare tilldelas en version och andra en annan. Visningsförhållandet mellan den ena och den andra lösningen väljs, vilket kan vara 50:50. Men i början, till exempel, bara 80:20, så att kunden kan försäkra sig om att den testade varianten är bättre eller samma som den ursprungliga varianten. I slutändan jämförs båda resultaten relativt, och om ingångsvärdena, till exempel antalet sessioner, var betydande, kan vi gå vidare till utvärderingen.
Resultatet på mindre än två veckor
Om vi skulle testa särskilda fall, eller om vi hade en e-butik med låg trafik, skulle testet ta för lång tid eftersom det låga antalet besök inte skulle vara tillräckligt betydande. Det skulle helt enkelt inte vara möjligt att avgöra vilken av de jämförda lösningarna som är testets vinnare.
Vissa kunder testar i en vecka, andra i månader. Med tanke på trafikens storlek och antalet konverteringar kan vi uppskatta hur lång tid testet kommer att ta. Därefter kommer vi att kontrollera resultatet genom statistisk signifikans för att minska risken för ett oväntat resultat. Allt är alltid definierat i förväg. Så att testets början och slut, såväl som de jämförda mätvärdena och utvärderingsmetoden, är tydliga. Reglerna får inte ändras “under spelets gång.”
I det här fallet hade vi tillräckligt med indata, bra timing och exakt utvärdering av testet. Testet i Datart ägde rum från 1 till 12 september 2022. På mindre än två veckor samlades den nödvändiga datan in – och det var möjligt att utvärdera testet och avgöra vinnaren.
Luigi’s Box som en A/B-testvinnare
Det jämförande A/B-testet driftsattes på de tjeckiska och slovakiska versionerna av e-butiken. Båda testerna skiljer sig åt i vissa värden, eftersom varje marknad i varje land fungerar annorlunda vid sökning.
På båda testade e-butikerna var driftsättningsförhållandet 50:50. Där 50 % av användarna fick den ursprungliga versionen av sökningen, och 50 % fick versionen med Luigi’s Box Search.
Resultaten av båda testerna var signifikanta enligt den valda metodiken.
Det huvudsakliga jämförande mätvärdet var “Konverteringsfrekvens” – konverteringsfrekvens från sökanvändare.
Efter att ha utvärderat testerna fann vi att, jämfört med den ursprungliga sökversionen, var Luigi’s Box Search påvisbart bättre på båda språkversionerna av e-butiken.
En annan intressant information är att vår lösning eliminerade felaktiga resultat och sökningar utan resultat för vissa kategorier. Luigi’s Box kan vara ett pålitligt svar om du löser ett liknande problem med relevans.
Slutsats
De valda mätvärdena visade att den artificiella intelligensen och maskininlärningen som används av Luigi’s Box kunde öka konverteringsfrekvensen, i detta fall med 14-19 %. Beroende på segment och sökstatus kan skillnaden i konverteringsfrekvens vara ännu högre. Tillsammans med ökningen av konverteringsfrekvensen ökade naturligtvis även försäljningen – vilket är det önskade läget. Efter sådana testresultat är det inte förvånande att Datart kommer att använda Luigi’s Box Search som sitt sök- och autoslutförandeverktyg på båda testade e-butikerna.
Detta exempel visar tydligt att vårt verktygs år av forskning och utveckling har ett högt mervärde för kunden.
