Optimalno inteligenten oblak: kako uporabiti statistični mehanizem za pametnejši in hitrejši A/B test

Optimizirano statistično orodje in strategije testiranja A/B

Če želite izvajati eksperimentalni program, ki bo vašemu podjetju pomagal pri preizkušanju in učenju, obstaja velika verjetnost, da ga uporabljate Optimalno inteligenten oblak - ali si vsaj pogledal. Optimizely je eno najmočnejših orodij v igri, vendar ga lahko kot vsako takšno orodje uporabite napačno, če ne razumete, kako deluje. 

Kaj naredi Optimizely tako močnega? Jedro njegovega nabora funkcij je najbolj informiran in intuitiven statistični mehanizem v orodju drugih proizvajalcev, ki vam omogoča, da se bolj osredotočite na pridobivanje pomembnih testov v živo-brez skrbi, da si napačno razlagate rezultate. 

Podobno kot tradicionalni slepi študij medicine, A / B testiranje bo naključno pokazal drugače tretmaji vaše spletne strani različnim uporabnikom, da nato primerjajo učinkovitost vsakega zdravljenja. 

Statistični podatki nam nato pomagajo sklepati o tem, kako dolgoročno je lahko učinkovito to zdravljenje. 

Večina orodij za testiranje A/B se opira na eno od dveh vrst statističnih sklepanj: frekvenčno ali Bayesovo statistiko. Vsaka šola ima različne prednosti in slabosti. Pogosti statistični podatki zahtevajo, da se velikost vzorca določi pred izvedbo poskusa, Bayesova statistika pa večinoma skrbi za sprejemanje dobrih usmeritev, ne pa za določitev posamezne številke vpliva, če naštejemo dva primera. Največja moč podjetja Optimizely je, da je to edino orodje na današnjem trgu, ki jemlje a najboljše iz obeh svetov pristop.

Končni rezultat? Optimizirano omogoča uporabnikom, da izvajajo poskuse hitreje, bolj zanesljivo in bolj intuitivno.

Da bi to v celoti izkoristili, je pomembno razumeti, kaj se dogaja v ozadju. Tukaj je 5 vpogledov in strategij, ki vam bodo pomagale uporabiti zmogljivosti Optimizelyja kot profesionalca.

Strategija #1: Zavedajte se, da niso vse meritve enake

V večini orodij za testiranje je pogosto spregledana težava, da več ko meritev dodate in sledite kot del testa, večja je verjetnost, da boste zaradi naključne naključja videli nekaj napačnih zaključkov (v statistiki se to imenuje »problem večkratnega testiranja«). ”). Da bi bili rezultati zanesljivi, Optimizely uporablja vrsto kontrol in popravkov, da bi bila verjetnost, da se to zgodi, čim nižja. 

Ti koraki in popravki imajo dve ucinki, ko nastavite preskuse v Optimizely. Najprej meritev, ki jo označite kot svojo Primarna metrika bodo najhitreje dosegli statistično pomembnost, vse ostale stvari so konstantne. Drugič, več ko meritev dodate preizkusu, dlje bodo vaše poznejše meritve dosegle statistično pomembnost.

Ko načrtujete poskus, Poskrbite, da boste vedeli, katera meritev bo vaš pravi sever v procesu odločanja, naj bo to vaša primarna metrika. Nato ohranite preostanek svojega seznama meritev vitkega, tako da odstranite vse, kar je preveč odveč ali tangencialno.

Strategija #2: Ustvarite lastne atribute po meri

Optimizely vam odlično ponuja nekaj zanimivih in koristnih načinov za segmentiranje rezultatov poskusa. Na primer, lahko preverite, ali so nekateri načini zdravljenja učinkovitejši na namizju v primerjavi z mobilnimi napravami, ali opazite razlike med viri prometa. Ko bo vaš program eksperimentiranja dozorel, si boste hitro zaželeli novih segmentov-ti so lahko specifični za vaš primer uporabe, na primer segmenti za enkratne nakupe v primerjavi z naročnino, ali pa na splošno kot »novi obiskovalci v primerjavi z obiskovalci, ki se vračajo« (kar, odkrito povedano, še vedno ne moremo ugotoviti, zakaj to ni zagotovljeno.

Dobra novica je, da lahko inženirji, ki poznajo Optimizely, preko polja Optimizely's Project Javascript ustvarijo poljubno število zanimivih atributov po meri, ki jih lahko obiskovalci dodelijo in segmentirajo. V podjetju Cro Metrics smo zgradili številne založniške module (na primer »novi v primerjavi z obiskovalci, ki se vračajo«), ki jih namestimo za vse naše stranke prek njihovega projekta Javascript. Izkoriščanje te sposobnosti je ključna razlika med zrelimi ekipami, ki imajo ustrezne tehnične vire, ki jim pomagajo pri izvajanju, in skupinami, ki si prizadevajo uresničiti ves potencial eksperimentiranja.

Strategija #3: Raziščite Optimizely's Stats Accelerator

Ena od pogosto pretiranih funkcij orodja za testiranje je možnost uporabe "večoročnih banditov", vrste algoritma strojnega učenja, ki se dinamično spreminja, kjer je vaš promet dodeljen med poskusom, da pošlje čim več obiskovalcev na "zmagovalno" možne variacije. Težava z večkrakimi razbojniki je, da njihovi rezultati niso zanesljivi kazalniki dolgoročne uspešnosti, zato je primer uporabe za te vrste poskusov omejen na časovno občutljive primere, kot so pospeševanje prodaje.

Optimalno pa je uporabnikom na višjih načrtih na voljo drugačna vrsta banditskega algoritma - Stats Accelerator (zdaj znana kot možnost »Pospeši učenje« znotraj Banditov). V tej nastavitvi namesto da bi poskušali dinamično dodeliti promet najuspešnejši različici, Optimizely dinamično razporedi promet različicam, ki bodo najhitreje dosegle statistično pomembnost. Tako se lahko hitreje učite in ohranite ponovljivost tradicionalnih rezultatov A/B testov.

Strategija #4: Dodajte emotikone svojim metričnim imenom

Na prvi pogled se ta zamisel verjetno sliši na mestu, celo neumna. Ključni vidik pri branju pravih rezultatov poskusa pa je, da se prepričate, da vaše občinstvo razume vprašanje. 

Včasih se kljub našim najboljšim prizadevanjem imena meritev lahko zmedejo (počakajte - ali se ta meritev sproži, ko je naročilo sprejeto, ali ko uporabnik odpre stran z zahvalo?), Ali pa ima poskus toliko meritev, da se pomikajo gor in dol po rezultatih stran vodi do popolne kognitivne preobremenitve.

Če imenom meritev dodate emojije (tarče, zelene kljukice, tudi velika denarna torba bi lahko delovala), lahko pride do strani, ki so veliko bolj pregledljive. 

Zaupajte nam - branje rezultatov se bo počutilo veliko lažje.

Strategija #5: Ponovno razmislite o svoji ravni statistične pomembnosti

Rezultati se štejejo za dokončne v okviru poskusa Optimizely, ko so doseženi statistični pomen. Statistični pomen je težak matematični izraz, v bistvu pa je verjetnost, da so vaša opazovanja rezultat resnične razlike med dvema populacijama in ne le naključna naključnost. 

Optimizirano poročane ravni statistične pomembnosti so "vedno veljavne" zaradi matematičnega koncepta, imenovanega zaporedno testiranje - zaradi tega so dejansko veliko bolj zanesljivi od tistih drugih orodij za testiranje, ki so nagnjena k najrazličnejšim težavam, če jih preberete prehitro.

Vredno je razmisliti, kakšno raven statistične pomembnosti menite, da je pomembna za vaš program testiranja. Medtem ko je 95% konvencija v znanstveni skupnosti, preizkušamo spremembe spletnih mest in ne cepiv. Druga pogosta izbira v eksperimentalnem svetu: 90%. Ali ste pripravljeni sprejeti malo več negotovosti, da bi hitreje izvajali poskuse in preizkušali več idej? Bi lahko uporabili 85% ali celo 80% statistično pomembnost? Če namerno razmišljate o svojem razmerju med tveganjem in nagrado, lahko sčasoma izplačate eksponentne dividende, zato dobro premislite.

Preberite več o Optimizely Intelligence Cloud

Teh pet hitrih načel in vpogledov bo pri uporabi Optimizely zelo koristno upoštevati. Kot pri vsakem orodju je tudi to, da dobro razumete vse prilagoditve v zakulisju, zato se lahko prepričate, da orodje uporabljate učinkovito in učinkovito. S tem razumevanjem lahko dobite zanesljive rezultate, ki jih iščete, kadar jih potrebujete. 

Kaj menite?

Ta stran uporablja Akismet za zmanjšanje nezaželene pošte. Preberite, kako se vaš komentar obravnava.