Optimalizált intelligenciafelhő: A statisztikai motor használata az A/B teszt intelligensebb és gyorsabb teszteléséhez

Optimalizált statisztika a motorról és az A/B tesztelési stratégiákról

Ha kísérleti programot szeretne futtatni, hogy segítse az üzleti tesztelést és tanulást, akkor nagy valószínűséggel használja Optimally Intelligence Cloud - vagy legalább megnézted. Az Optimizely az egyik legerősebb eszköz a játékban, de mint minden ilyen eszköz, rosszul is használhatja, ha nem érti a működését. 

Mitől olyan hatékony az Optimizely? Funkciókészletének középpontjában a harmadik fél által készített eszköz leginformáltabb és intuitív statisztikai motorja található, amely lehetővé teszi, hogy jobban összpontosítson a fontos tesztek élő közvetítésére-anélkül, hogy attól kellene tartania, hogy rosszul értelmezi az eredményeket. 

Hasonlóan a hagyományos vak tanulmányokhoz az orvostudományban, A / B tesztelés véletlenszerűen mást mutat kezelések webhelyéről különböző felhasználóknak, hogy összehasonlítsák az egyes kezelések hatékonyságát. 

A statisztikák ezután segítenek következtetéseket levonni arról, hogy ez a kezelés hosszú távon mennyire lehet hatékony. 

A legtöbb A/B tesztelőeszköz kétféle statisztikai következtetés egyikére támaszkodik: gyakori vagy Bayes -féle statisztikák. Minden iskolának különböző előnyei és hátrányai vannak - A gyakori statisztikák megkövetelik a minta méretének rögzítését a kísérlet lefolytatása előtt, és a Bayes -i statisztikák elsősorban a jó irányú döntések meghozatalával törődnek, ahelyett, hogy egyetlen számot is megadnának a hatásról, hogy két példát említsek. Az Optimizely szuperképessége az, hogy ma ez az egyetlen eszköz a piacon, amely a mindkét világ legjobbja megközelítés.

A végeredmény? Az optimalizálás lehetővé teszi a felhasználók számára a kísérletek gyorsabb, megbízhatóbb és intuitívabb futtatását.

Ahhoz azonban, hogy ezt teljes mértékben kihasználhassuk, fontos megérteni, mi történik a színfalak mögött. Íme 5 betekintés és stratégia, amelyek segítségével profi módon használhatja az Optimizely képességeit.

1. stratégia: Ne feledje, hogy nem minden mutató egyenlő

A legtöbb tesztelőeszközben gyakran figyelmen kívül hagyott probléma az, hogy minél több mutatót ad hozzá és követ nyomon a teszt részeként, annál valószínűbb, hogy véletlenszerű véletlenek miatt téves következtetéseket fog látni (a statisztikákban ezt „többszörös tesztelési problémának” hívják ”). Annak érdekében, hogy eredményei megbízhatóak maradjanak, az Optimizely számos ellenőrzést és korrekciót használ annak érdekében, hogy ennek esélye a lehető legkisebb legyen. 

Ezeknek a vezérlőknek és korrekcióknak két következményük van, amikor teszteket állít be az Optimizely alkalmazásban. Először is az Ön által kijelölt mutatót Elsődleges mutató leggyorsabban éri el a statisztikai szignifikanciát, minden más állandó. Másodszor, minél több mutatót ad hozzá egy kísérlethez, annál hosszabb ideig tart a későbbi mutató statisztikai szignifikanciájának elérése.

Egy kísérlet tervezésekor, győződjön meg arról, hogy a döntéshozatali folyamat során melyik mutató lesz a valódi észak, legyen az elsődleges mutató. Ezután tartsa karcsúvá a mutatók listájának többi részét, távolítsa el a túlzottan felesleges vagy érintőleges elemeket.

2. stratégia: Készítse el saját egyéni tulajdonságait

Az Optimizely kiválóan alkalmas arra, hogy számos érdekes és hasznos módszert kínál a kísérleti eredmények szegmentálására. Például megvizsgálhatja, hogy bizonyos kezelések jobban teljesítenek -e asztali számítógépen és mobilon, vagy megfigyelheti a forgalmi források közötti különbségeket. A kísérleti program érettségi után azonban gyorsan új szegmensekre vágyik-ezek az Ön esetére vonatkozhatnak, például az egyszeri és az előfizetési vásárlások szegmensei, vagy olyan általánosak, mint az „új és visszatérő látogatók” (amelyek őszintén szólva még mindig nem tudunk rájönni, hogy ez miért nem biztosított a dobozból).

A jó hír az, hogy az Optimizely Project Javascript mezőjén keresztül az Optimizely -t ismerő mérnökök tetszőleges számú érdekes egyéni attribútumot építhetnek fel, amelyekhez a látogatók hozzárendelhetők és szegmentálhatók. A Cro Metricsnél számos készletmodult építettünk (például „új vs. visszatérő látogatók”), amelyeket minden ügyfelünk számára telepítünk a Project Javascript segítségével. Ennek a képességnek a kihasználása kulcsfontosságú különbségtétel az érett csapatok között, akik megfelelő technikai erőforrásokkal rendelkeznek a végrehajtásukhoz, és azok között a csapatok között, akik küzdenek a kísérletezésben rejlő lehetőségek teljes kiaknázásáért.

3. stratégia: Fedezze fel az Optimizely statisztikai gyorsítóját

A gyakran túlzottan tesztelt teszteszköz egyik jellemzője a „többkarú banditák”-egy olyan gépi tanulási algoritmus-használata, amely dinamikusan megváltoztatja a forgalom elosztásának helyét egy kísérlet során, hogy minél több látogatót küldhessen a „győztesnek” a lehető legváltozatosabb. A többkarú banditákkal az a probléma, hogy eredményeik nem megbízható mutatói a hosszú távú teljesítménynek, ezért az ilyen típusú kísérletek felhasználási módja az időérzékeny esetekre korlátozódik, mint például az értékesítési promóciók.

Optimalizálva azonban más típusú bandita algoritmus áll rendelkezésre a magasabb terveket használó felhasználók számára - a Stats Accelerator (a Banditson belül a „Tanulások felgyorsítása”). Ebben a beállításban ahelyett, hogy a forgalmat dinamikusan a legjobban teljesítő variációhoz próbálná hozzárendelni, az Optimizely dinamikusan a forgalmat azokhoz a változatokhoz rendeli hozzá, amelyek a leggyorsabban érik el a statisztikai szignifikanciát. Így gyorsabban tanulhat, és megőrizheti a hagyományos A/B teszteredmények megismételhetőségét.

4. stratégia: hangulatjelek hozzáadása a metrikus nevekhez

Első ránézésre ez a gondolat valószínűleg helytelenül hangzik, sőt értelmetlenül. A megfelelő kísérleti eredmények elolvasásának egyik legfontosabb eleme azonban annak biztosítása, hogy a közönség megértse a kérdést. 

Néha minden erőfeszítésünk ellenére a metrikák nevei zavarossá válhatnak (várjon - ez a mutató aktiválódik, amikor a megrendelést elfogadják, vagy amikor a felhasználó meglátogatja a köszönőoldalt?), Vagy egy kísérlet olyan sok mutatóval rendelkezik, amelyek felfelé és lefelé görgetnek oldal teljes kognitív túlterheléshez vezet.

Ha hangulatjeleket ad hozzá a mutatók nevéhez (célok, zöld pipa, akár a nagy pénztárca is működhet), akkor sokkal jobban olvasható oldalak jöhetnek létre. 

Bízzon bennünk - az eredmények kiolvasása sokkal könnyebb lesz.

5. stratégia: Gondolja át újra statisztikai jelentőségét

Az eredményeket az Optimizely kísérlet kontextusában véglegesnek tekintik, amikor elérték statisztikai jelentőség. A statisztikai szignifikancia nehéz matematikai kifejezés, de lényegében az a valószínűsége, hogy megfigyelései két populáció közötti valódi különbség eredménye, és nem csak véletlenszerű. 

Az Optimizely által közölt statisztikai szignifikanciaszintek „mindig érvényesek”, az úgynevezett matematikai koncepciónak köszönhetően szekvenciális tesztelés - ez valójában sokkal megbízhatóbbá teszi őket, mint más tesztelőeszközökét, amelyek hajlamosak mindenféle „bekukkantási” problémára, ha túl korán olvassa el őket.

Érdemes megfontolni, hogy a statisztikai szignifikancia milyen szintjét tartja fontosnak a tesztelési program szempontjából. Míg a tudományos közösség 95% -a megegyezés, a webhelyek változásait teszteljük, nem a vakcinákat. Egy másik gyakori választás a kísérleti világban: 90%. De hajlandó elfogadni egy kicsit több bizonytalanságot annak érdekében, hogy gyorsabban fusson a kísérletekben, és több ötletet teszteljen? Használhat 85% vagy akár 80% statisztikai szignifikanciát? A szándékos kockázat-nyereség egyenleg exponenciális osztalékot fizethet idővel, ezért ezt alaposan gondolja át.

További információ az Optimizely Intelligence Cloud szolgáltatásról

Ez az öt gyors alapelv és betekintés hihetetlenül hasznos lesz szem előtt tartani az Optimizely használata során. Mint minden eszköz esetében, ennek lényege, hogy meggyőződjön arról, hogy jól ismeri a kulisszák mögötti testreszabásokat, így megbizonyosodhat arról, hogy az eszközt hatékonyan használja. Ezekkel az ismeretekkel megkaphatja a keresett megbízható eredményeket, amikor szüksége van rájuk. 

Mit gondolsz?

Ez az oldal Akismet-et használ a levélszemét csökkentése érdekében. Ismerje meg, hogyan dolgozik a megjegyzésed.