Vi på Signific har haft förmånen (och ibland huvudvärken) att ha varit med och byggt både experimentverktyg från scratch samt utvärderat och implementerat verktyg åt våra kunder. Våra konsulter har erfarenhet från bolag som Spotify, Volvo, Polestar och King men även startups och organisationer helt nya inom experiment.
Den största samlade lärdomen är att det inte är en viss storlek eller stack som passar alla.
När vi hjälper våra kunder välja, implementera och accelerera deras användning av experimentverktyg utgår vi alltid från deras behov, övriga teknikstack och målbild kring experiment. Utifrån det kan vi snabbt komma fram till en lösning som funkar både idag och som går att växa med framöver.
Fyra aspekter vi sett som viktiga när en står inför att välja rätt verktyg för att kunna experimentera
1. Hur experimenterar vi idag?
Självklart bör ert val av experimentverktyg utgå från hur ni vill kunna experimentera. Innan ni går in på tekniska detaljer brukar det vara bra att börja med en överflygning av hur experiment görs idag, och utifrån det kunna identifiera behov framöver. Här är några frågeställningar att börja med:
- Vilka typer av experiment har vi genomfört?
- Vilken del av vår verksamhet genomför experiment?
- Vilka webbplatser / appar / användargränssnitt är nuvarande och potentiella fall för experimentering?
- Hur många experiment genomför vi per vecka/månad?
- Vad är svårt / ineffektivt med hur vi experimenterar idag?
2. Hur ser vår teknikstack ut i övrigt?
Experimentverktyg eller -plattformar implementeras sällan bäst i ett vakuum, utan kräver tighta integrationer med er övriga stack. Ni vill kunna experimentera över flera delar av kundresan och använda samma data som övriga organisationen. I många fall finns det en rad verktyg implementerade redan och det brukar ofta vara bra att skapa sig en tydlig bild av dessa innan en börjar utvärdera experimentlösningar. Vi brukar börja med några sittningar kring dessa områden:
- Översikt av den generella arkitekturen för webb, e-handelsplattform, CRM, analysverktyg etc.
- Översikt av datastacken: datakällor, insamling, lagring, transformation, modellering, orkestrering.
Med detta som bakgrund kan ni dyka in i detaljerna nedan och ha med som kravställning på eventuella verktyg och tjänster.
3. Detaljerad djupdykning i metrics och spårning
En stor skillnad hos bolag med en bättre experimentstack är hur lätt det är att få tillgång mått som faktiskt betyder något för verksamheten.
Ofta är det mått som er CFO bryr sig om såsom intäkt, vinst, customer lifetime value, kundretention etc.
För att lyckas med experiment vill ni med all sannolikhet kunna utvärdera era tester på dessa mått, men givetvis också produkt- och användarmått. Undersök därför hur ni kan göra dessa verksamhetskritiska mått tillgängliga i er experimentstack. Rent praktiskt brukar vi alltid gå igenom:
- Vilka core metrics är mest relevanta för produkt-/affärsutveckling och experimentering hos er?
- Hur räknas måtten ut och hur samlas datat in?
En annan aspekt som ofta är klurig runt experiment är definitionen av användare, besökare och event och hur dessa kan kopplas ihop. Att skapa sig en tydlig bild av hur spårningen i era tjänster ser ut är A och O för att kunna följa upp de mått ni vill åt. Här brukar detaljerade mät- och spårningsplaner vara en bra start att utgå ifrån.
4. Feature flagging & randomization
Ett ofta klurigt område att få till, är hur själva A/B-testerna lanseras. Hos en del bolag, produkter och CMS finns möjligheter att släppa förändringar med så kallade feature flags som gör att vissa användare får tillgång till en viss feature/förändring gradvis. Att få experimentverktygen att samverka med feature flaggningen är oftare lättare sagt än gjort och något vi hjälpt många bolag med.
Relaterat till detta är att få koll på hur användare delas upp i olika grupper – i experimentjargong kallat randomization. Även här finns det verktyg, både open source och SaaS som kan vara till hjälp, men det kan vara förvånansvärt svårt att få till faktiskt jämförbara och rätt fördelade grupper. Särskilt om ni kör flera experiment parallellt och över längre tid. Mer specifikt brukar vi gå igenom
- På vilka ID:s behöver vi dela upp användare?
- Hur sätts dessa ID:n när en användare interagerar med tjänsterna?
- Vilka kodbaser behöver randomisering och lagring av dessa IDs integreras med?
Där har ni fyra områden som vi sett som viktiga för att välja och optimera en bra experimentstack. Utifrån dessa kan ni fatta bäst beslut kring buy vs. build, open source vs SaaS och övergripande implementation som hjälper er bli en lärande organisation.
Vill du prata om hur er uppsättning av experimentverktyg kan förbättras?
Vi tar gärna en kaffe och delar erfarenheter kring att välja rätt verktyg som funkar både för produkt-, data/IT- och marknadsavdelningar som vill jobba mer datadrivet.
Hör av dig till vår grundare max@signific.se så pratar vi mer!