AB-testing op anabole steroiden: behavioral conjoint

Om vooruit te komen in de digitale wereld moet je experimenteren. Daar is iedere online expert het wel over eens. Identificeer de knelpunten op je website op basis van grondige analyse en onderzoek. Bedenk vervolgens hypotheses hoe je zou kunnen verbeteren en test de hypotheses op hun succes. Hoe meer experimenten, hoe meer je leert en hoe succesvoller je wordt. De meest gebruikte testmethode is AB testing. Bij een AB-test ontwikkel je 2 versies van een webpagina, die op 1 punt van elkaar verschillen, bijvoorbeeld de call-to-action. De twee varianten met huidige en nieuwe call-to-action worden random gepresenteerd aan de bezoekers. Na het bereiken van voldoende statistische significantie wordt een conclusie getrokken of de hypothese is aanvaard of verworpen. Er zijn veel tools in markt die dit proces volledige ondersteunen en het leven van de conversie specialisten makkelijker maken. Elke zichzelf serieus nemende organisatie is ermee bezig en heeft een CRO-afdeling die zich dagelijks bezig is met experimenteren en optimaliseren. Uiteraard een goede zaak en erg leuk bovendien. Als je de verhalen leest is het allemaal koek en ei.

Nadelen van AB-testen

Maar er zijn wel degelijk nadelen aan deze vorm van optimaliseren. Wat doe je als je weinig traffic hebt of wanneer je complexere items wilt testen, zoals proposities, waar je meerdere afhankelijke variabelen hebt en vaak ook een directe connectie met backoffice systemen ? En zou je die propositie ook niet willen vergelijken met de concurrentie? Dat doen klanten toch ook? Of misschien heb je alleen een globaal idee waarvan je wilt weten of het zou kunnen werken? In de meeste gevallen is het dan best lastig een AB-test online te zetten en snel een betrouwbaar resultaat te boeken. Je kunt gebruik maken van andere analysemethoden zoals de Baysian statistics, maar daarmee blijven de meeste nadelen bestaan:

  • Beperkt verkeer, dus het dus het kan lang duren voordat je een statistisch significant resultaat hebt
  • Minder geschikt voor complexere tests meer meerdere afhankelijke variabelen en interactie effecten
  • Vergelijken met concurrentie buiten het eigen domein is niet mogelijk
  • Weinig ruimte voor globale ideeën of out-of-the box oplossingen
  • Hoger financieel risico als meer ICT inspanning nodig is voor het opzetten van de test (bijv. prijsaanpassing in backoffice)
  • Onderaan de backlog, omdat op voorhand je niet zeker bent van de uitkomst of succes van je test
  • Vrij lange leercurve omdat je maar 1 hypothese tegelijk kunt testen in een AB-test en het aantal simultaan uit te voeren test vaak beperkt is
  • Vaak toch arbeidsintensief om test op te zetten, te analyseren en te implementeren
  • Lange doorlooptijd tot en met implementatie van het resultaat

De oplossing: behavioral conjoint

Hoe kun je deze nadelen het hoofd bieden? Hoe kun je sneller leren, complexer testen en toch leren? De oplossing is de behavioral conjoint. Deze door wetenschappers ontwikkelde onderzoeksmethode is een variant van de Impliciete Respons Tijd test (IRT). Neurowetenschappers gebruiken deze methode al meer dan 40 jaar om gedrag te voorspellen en (impliciete) voorkeuren te meten. In vergelijkende onderzoeken bleken de resultaten steeds sterkere voorspellers van werkelijk gedrag te zijn dan expliciete methoden zoals opinieonderzoek en vragenlijsten. Wij hebben met dit type onderzoek dezelfde ervaring. Voorspellingen blijken overeen te komen met het praktijk resultaat. Zo scoorden de top 3 in een incentive test in de echte campagne exact in dezelfde volgorde. En er zijn meer voorbeelden uit onze testpraktijk waar we de methode hebben gebruikt, zoals in energiemarkt, online boekenwinkel, verzekeringsbedrijf, telecommarkt etc.

Hoe werkt deze test?

Deelnemers verrichten online een keuzetaak of categoriseringstaak onder tijdsdruk. Zo worden bijvoorbeeld 2 alternatieven getoond waar consumenten verplicht een keuze uit moeten maken binnen een vooraf ingestelde tijd (variërend van 2 tot 8 seconden). Dit kunnen simpele stimuli zijn zoals beelden of woorden, maar ook complexere zoals proposities met alle elementen erin zoals USP’s, prijzen, beeld etc. Door de tijdsdruk is het niet mogelijk een goede rationele overweging te maken (systeem 2). De keuze wordt vooral gemaakt door de onderbuik (systeem 1), op gevoel dus. Aangezien systeem 1 een dominante factor is in ons gedrag en keuze is dit een betere voorspeller van de werkelijkheid dan expliciet onderzoek. Vanzelfsprekend is het ook mogelijk een combinatie te maken van dit type onderzoek met traditioneel kwalitatief of kwantitatief onderzoek.

Respondenten krijgen tijdens een test een aantal keuzeblokken voorgelegd met in elk blok ca. 30-40 steeds random gepresenteerde keuzes. Zo maakt 1 respondent makkelijk 90 keuzes per test van ca. 7-10 minuten. Met 100 respondenten hebben we dan al 9.000 waarnemingen. Vaak is 150 tot 200 dan ruim voldoende voor statistisch significante resultaten. Daarnaast kun je in een behavioral conjoint meerdere hypotheses tegelijk toetsen en interactie-effecten meten, een van de grootste beperkingen van de AB-Test. In een volgende blog zullen we dieper ingaan op de wetenschappelijke achtergrond van deze testmethode. Het onderzoek wordt volledig online uitgevoerd en kan zelfs op mobiel worden gedaan. Daardoor is het schaalbaar, makkelijk herhaalbaar en is de distributie simpel. Gewoon een link mailen naar de deelnemende respondenten. IRT’s zijn ook uitermate geschikt voor andere typen onderzoek, zoals merken, verpakkingen, communicatiemiddelen etc.

Voorbeeld IRT Behavior Conjoint

Sneller, complexer, goedkoper!

Behavioral Conjoints kunnen binnen enkele dagen resultaat leveren. Indien goed voorbereid kan dat zelfs nog op dezelfde dag. Handig na een brainstorm bijvoorbeeld als je direct wilt doorpakken op een van de ontwikkelde concepten. Dat is natuurlijk echt heel veel sneller dan bij een AB-test, waarbij de doorlooptijd al snel in de weken of maanden kan lopen. De output van een test kan bijvoorbeeld ook gebruikt worden via AB-tests in de praktijk te valideren. Zo zijn er vele voordelen van de behavioral conjoint:

  • Lagere kosten: korte doorlooptijd en beperkte investering van de organisatie
  • Minimale capaciteit: voor uitvoering is minimale capaciteit van de organisatie of ICT vereist
  • Lagere risico’s: minder investeringen en tijd verloren aan niet succesvolle AB-tests
  • Grotere impact en meer learnings: in een enkele test kan je al 20 hypotheses testen, die ook complexer zijn
  • Meer vrijheid: de test biedt flexibiliteit en ruimte voor creativiteit en out-of-the-box experimenteren die normaal niet aan bod zouden komen omdat het idee te wild is en de risico’s te groot zijn.

Hoe kom je aan deelnemers?

Er zijn verschillende manieren om deelnemers te werven. Welke je gebruikt is afhankelijk van het doel dat je hebt. Zo kun je intern werven onder bestaande klanten of prospects met een research opt-in, leden van een klantpanel of bezoekers van je website. Extern kan je via een panelbureau deelnemers werven. Voordeel is dat je heel specifieke doelgroep criteria kunt gebruiken. Dat laatste is natuurlijk wel iets duurder.

De behavioral conjoint is een uiterst krachtige testmethode die nog niet heel bekend is bij digitale marketeers. Het is een AB-test met een flinke dosis anabole steroïden!  Een instrument dat in de portfolio van elk conversie team of UX researcher zou moeten zitten. Dat is zeker nog niet het geval, maar als je het verschil wilt maken kun je er niet omheen.

Wil je meer weten over het door ons gebruikte platform, cases zien of een demo boeken, neem dan contact op met ons via sergio@braynz.nl of 06 1505 1707

Het tweede artikel van Felix Hermsen gepubliceerd op Frankwatching!

Zou het niet geweldig zijn als je tijdens het creatieproces van marketinguitingen al weet hoe sterk een concept gaat scoren in de praktijk? En waardoor dat komt? In dit artikel leg ik uit hoe je kunt toewerken naar een fact based-ontwikkelingsproces, resulterend in blije consumenten en meer conversie. Laten we bij het begin beginnen: hoe werkt fact based marketing in de praktijk en waar kan het effectiever? Lees het hier op Frankwatching!

Bij een groot telecombedrijf is een mooi abonnement samengesteld. Jij als propositie of marketing manager bent aangesteld om een passende propositie maken. Een propositie manager moet hiervoor veel keuzes maken. Niet alleen de aantrekkelijkheid van de propositie is van belang, maar ook een risico inschatting om er zeker van te zijn dat er genoeg abonnees binnen komen. Dus de vraag is, hoe bouw je een nieuwe propositie op? De prijs, de inhoud van het abonnement, maar ook natuurlijk het bedrijfslogo zijn belangrijk. En hoe positioneer je dit alles? Of de propositie echt succesvol is weet je eigenlijk pas nadat je de nieuwe propositie in de markt hebt gezet. Organisaties lopen hierbij risico’s door flinke investeringen te moeten doen in middelen en ICT zonder vooraf te weten hoe succesvol het wordt. En hoewel de propositie manager met veel ervaring en deskundigheid een propositie kan samenstellen blijft de vraag elke keer: zal de propositie aanslaan?

Lees meer

Benieuwd hoe een nieuwe vorm van marktonderzoek uitgevoerd wordt en hoe het tot conversieverhoging leidt? Lees dan snel verder. Deze blog gaat over marktonderzoek in de praktijk en hoe wetenschap tot marketingsucces leidt. Er wordt gestart met een praktijkvoorbeeld om vervolgens meer te vertellen over wat keuze experimenten zijn, hoe het werkt en waarvoor het ingezet kan worden.

Lees meer