Spletna analitika ni enostavna reč. Ko zaključite s tehnično implementacijo analitičnega orodja in začnete zbirati podatke, se vaše delo šele dobro začne. Človeška narava, kompleksnost spleta, pomanjkanje pravih podatkov in premalo razmisleka o tem, kaj želite meriti in kaj vam bodo podatki povedali, se marsikdaj lahko kažejo v napačni interpretaciji podatkov.
Ljudje imamo o svetu že dokaj dobro oblikovano predstavo, ki pa ni vedno pravilna. Nič drugače ni pri spletu, podatkih in obnašanju uporabnikov. Ko predpostavke in prepričanja, ki so pogosto napačni, združimo s slabimi podatki ali slabo premišljenimi analitičnimi metodami, hitro pride do povsem fiktivnih rezultatov, uspehov, ugotovitev in premikov, zaradi katerih lahko sprejemamo napačne odločitve.
Vsak, ki se ukvarja z analiziranjem in optimizacijo oglaševanja, vam lahko iz rokava strese kup napak, presenečenj in čudnih pripetljajev, ki so se mu zgodile v karieri. Spodaj si lahko preberete nekaj mojih.
Kaj smo naredili narobe? Ta prikazen se v analitiko ni prikradla zaradi napačne implementacije ali interpretacije podatkov. Na projektu smo res beležili izjemno veliko oddanih spletnih prijav. Težava je nastala, ker je bila spletna prijava neobvezujoča – sledil ji je še en, offline korak potrditve, hkrati pa storitev ni bila na voljo vsem. Uporabniki so zato »testno« oddajali prijave, da so ugotovili, ali jim je storitev sploh na voljo. In seveda niso imeli vsi namena zaključiti prijave, poleg tega je vsi niti niso mogli.
Kako smo odkrili napako? Čisto iskreno? Rezultati so bili predobri, da bi bili resnični. Facebook se kot kanal ponavadi obnaša bolj kot orodje za ozaveščanje – dober je za promocijo in izpostavitev blagovne znamke, v večini primerov (ker vedno obstajajo izjeme) pa ne generira »last-click« transakcij. V tem konkretnem primeru jih je vsak teden pripeljal neobičajno veliko, zato smo zadevo malce bolj preučili.
Kako smo napako odpravili? Uporabnikom smo dali to, kar so želeli in potrebovali. Ločeno orodje, kjer lahko preverjajo, ali jim je storitev na voljo. In pričakovano smo takoj zaznali upad števila prijav na storitev. Ostale so tiste, ki štejejo. In optimizacija oglaševanja je lahko nemoteno potekala dalje, odločitve pa smo sprejemali na podlagi realnih in ne fiktivnih podatkov.
V življenju sem naredil že veliko analitičnih in oglaševalskih napak, tale je hkrati ena od največjih in najbolj poučnih.
Kaj smo naredili narobe? Določili smo povsem napačen cilj oglaševanja. Naša naloga je bila generiranje transakcij s strani novih uporabnikov. Vse obstoječe kupce smo izključili iz oglaševanja in potem merili transakcije, ki jih je generiralo oglaševanje. Logično.
Pozabili smo na dejstvo, da se v skoraj vseh primerih že več dni pred transakcijo zgodi registracija in oddaja naročila – takšna je narava izdelka. Šele nekaj dni po tem, ko kupec odda naročilo, opravi še plačilo. Ker je bilo naše oglaševanje osredotočeno na transakcije, smo seveda oglaševali tistim, ki so izdelek že kupili, niso pa ga še plačali. In vsi prihodki, ki smo jih zabeležili, bi se zgodili z ali brez oglaševanja.
Kako smo odkrili napako? Življenje oglaševalca me je naučilo, da je vsake toliko pametno iz Google Analytics izvoziti konkretne transakcije in podatke primerjati s podatki iz zalednega sistema (CRM, plačilni ali booking sistem ali kaj drugega). Šokiran sem ugotovil, da so skoraj vse transakcije iz oglaševanja opravili kupci, ki so bili pred tem že registrirani v sistemu in torej niso bili novi.
Kako smo napako odpravili? Poskrbeli smo, da je naročnikov sistem za oddajo naročila v Google Analytics pošiljal podatek ob vsakem naročilu izdelka, še preden je bila opravljena transakcija. Hkrati smo vse oglaševanje usmerili v generiranje oddanih naročil, optimizacijo na transakcije pa smo v celoti opustili.
Življenje oglaševalca me je naučilo, da je za preprečitev odstopanja in napak pametno primerjati podatke iz Google Analytics in drugih zalednih sistemov.
Kaj smo naredili narobe? V analitiki smo spremljali, kako razvrstitev izdelkov vpliva na stopnjo konverzije nakupa. Testiranje smo opravljali na dveh kategorijah, ki sta imeli največ obiskovalcev, da bi najhitreje dobili zadosten vzorec za odločitev. Izkazalo se je, da so izdelki, ki so razvrščeni od prvega do osmega mesta, najbolj prodajani. Seveda smo na podlagi rezultata testa prerazporedili izdelke v vseh kategorijah in na prvih osem mest postavili tiste, za katere smo si najbolj želeli, da bi jih prodali. Najbrž že veste, da prodaja teh izdelkov ni zrastla.
Trik se je skrival v dejstvu, da je algoritem v spletni trgovini avtomatsko razporejal izdelke tako, da so bili tisti z največjimi popusti uvrščeni najvišje, testne kategorije pa tega v času testa niso odražale. In seveda je bila prerazporeditev izdelkov brca v temo.
Kako smo odkrili napako? Porazen rezultat je botroval k temu, da smo še enkrat izvedli test in ugotovili, da se je najvišja stopnja konverzije premaknila nižje v kategorijo. Z nekaj truda in raziskovanja smo ugotovili, da imajo izdelki z najnižjo maržo največjo stopnjo konverzije, nizka marža pa pomeni visok popust. Sledil je trenutek:
Kako smo napako odpravili? Vrnili smo se na izhodiščno stanje, se potrepljali po ramenu in tisti dan nismo več odprli analitike ali Excela. Sprijaznili smo se tudi z dejstvom, da popusti prodajajo in da ni vedno vse v uporabniški izkušnji – kdaj ljudje samo želijo izdelek po najnižji ceni.
Kaj smo naredili narobe? Na podlagi A/B testa nakupnega procesa smo določili zmagovalno verzijo, ki je obetala veliko povišanje stopnje konverzije. Test smo izvajali 14 dni in bili prehitro zadovoljni z rezultatom, nismo pa upoštevali statistične signifikance.
Kako smo odkrili napako? Zelo enostavno. Ko smo zmagovalno verzijo A/B testa namestili na celotno spletno stran, je stopnja konverzije praktično čez noč padla na rekordno nizko stopnjo v zadnjih 8 mesecih. Še enkrat smo preverili A/B test, ugotovili, da je narava izdelkov, ki so bili kupljeni v zmagovalni različici, botrovala zelo visokemu odstopanju od povprečja in popačila rezultate testa.
Kako smo napako odpravili? Nismo je. Nad tem testom smo žal obupali. Zaradi premajhnega števila obiskovalcev nismo mogli v dovolj kratkem času opraviti testa, zaradi narave izdelka, sezonskih in drugih zunanjih vplivov pa testa nismo mogli časovno podaljšati. V praksi to pomeni, da nismo mogli zagotoviti zadostnega števila uporabnikov, da bi bil test statistično signifikanten, zato smo ga opustili. Včasih je vendarle bolje vreči puško v koruzo.
Kaj je skupnega vsem štirim napakam? Čeprav so zelo različne, so se vse zgodile zaradi dveh temeljnih razlogov: ko sem interpretiral oz. zbiral podatke, sem na podlagi svojih preteklih izkušenj prehitro predpostavljal ali zaključeval ali pa si nisem vzel dovolj časa, da bi temeljito razmislil, kaj testiram in predvsem, kateri ostali dejavniki uporabniškega obnašanja bi lahko vplivali na moj test.
V analizi rezultatov in spletnega obnašanja ni prostora za hitre odločitve, predpostavke in napol zamišljene teste, ki jim ne morete posvetiti dovolj časa. Če boste testiranje opravili hitro, bo najverjetneje hitra tudi analiza tega testa, oboje pa bo drastično povečalo verjetnost, da boste v analitičnem procesu naredili napako.