AB-testing op anabole steroiden: behavioral conjoint

Om vooruit te komen in de digitale wereld moet je experimenteren. Daar is iedere online expert het wel over eens. Identificeer de knelpunten op je website op basis van grondige analyse en onderzoek. Bedenk vervolgens hypotheses hoe je zou kunnen verbeteren en test de hypotheses op hun succes. Hoe meer experimenten, hoe meer je leert en hoe succesvoller je wordt. De meest gebruikte testmethode is AB testing. Bij een AB-test ontwikkel je 2 versies van een webpagina, die op 1 punt van elkaar verschillen, bijvoorbeeld de call-to-action. De twee varianten met huidige en nieuwe call-to-action worden random gepresenteerd aan de bezoekers. Na het bereiken van voldoende statistische significantie wordt een conclusie getrokken of de hypothese is aanvaard of verworpen. Er zijn veel tools in markt die dit proces volledige ondersteunen en het leven van de conversie specialisten makkelijker maken. Elke zichzelf serieus nemende organisatie is ermee bezig en heeft een CRO-afdeling die zich dagelijks bezig is met experimenteren en optimaliseren. Uiteraard een goede zaak en erg leuk bovendien. Als je de verhalen leest is het allemaal koek en ei.

Nadelen van AB-testen

Maar er zijn wel degelijk nadelen aan deze vorm van optimaliseren. Wat doe je als je weinig traffic hebt of wanneer je complexere items wilt testen, zoals proposities, waar je meerdere afhankelijke variabelen hebt en vaak ook een directe connectie met backoffice systemen ? En zou je die propositie ook niet willen vergelijken met de concurrentie? Dat doen klanten toch ook? Of misschien heb je alleen een globaal idee waarvan je wilt weten of het zou kunnen werken? In de meeste gevallen is het dan best lastig een AB-test online te zetten en snel een betrouwbaar resultaat te boeken. Je kunt gebruik maken van andere analysemethoden zoals de Baysian statistics, maar daarmee blijven de meeste nadelen bestaan:

  • Beperkt verkeer, dus het dus het kan lang duren voordat je een statistisch significant resultaat hebt
  • Minder geschikt voor complexere tests meer meerdere afhankelijke variabelen en interactie effecten
  • Vergelijken met concurrentie buiten het eigen domein is niet mogelijk
  • Weinig ruimte voor globale ideeën of out-of-the box oplossingen
  • Hoger financieel risico als meer ICT inspanning nodig is voor het opzetten van de test (bijv. prijsaanpassing in backoffice)
  • Onderaan de backlog, omdat op voorhand je niet zeker bent van de uitkomst of succes van je test
  • Vrij lange leercurve omdat je maar 1 hypothese tegelijk kunt testen in een AB-test en het aantal simultaan uit te voeren test vaak beperkt is
  • Vaak toch arbeidsintensief om test op te zetten, te analyseren en te implementeren
  • Lange doorlooptijd tot en met implementatie van het resultaat

De oplossing: behavioral conjoint

Hoe kun je deze nadelen het hoofd bieden? Hoe kun je sneller leren, complexer testen en toch leren? De oplossing is de behavioral conjoint. Deze door wetenschappers ontwikkelde onderzoeksmethode is een variant van de Impliciete Respons Tijd test (IRT). Neurowetenschappers gebruiken deze methode al meer dan 40 jaar om gedrag te voorspellen en (impliciete) voorkeuren te meten. In vergelijkende onderzoeken bleken de resultaten steeds sterkere voorspellers van werkelijk gedrag te zijn dan expliciete methoden zoals opinieonderzoek en vragenlijsten. Wij hebben met dit type onderzoek dezelfde ervaring. Voorspellingen blijken overeen te komen met het praktijk resultaat. Zo scoorden de top 3 in een incentive test in de echte campagne exact in dezelfde volgorde. En er zijn meer voorbeelden uit onze testpraktijk waar we de methode hebben gebruikt, zoals in energiemarkt, online boekenwinkel, verzekeringsbedrijf, telecommarkt etc.

Hoe werkt deze test?

Deelnemers verrichten online een keuzetaak of categoriseringstaak onder tijdsdruk. Zo worden bijvoorbeeld 2 alternatieven getoond waar consumenten verplicht een keuze uit moeten maken binnen een vooraf ingestelde tijd (variërend van 2 tot 8 seconden). Dit kunnen simpele stimuli zijn zoals beelden of woorden, maar ook complexere zoals proposities met alle elementen erin zoals USP’s, prijzen, beeld etc. Door de tijdsdruk is het niet mogelijk een goede rationele overweging te maken (systeem 2). De keuze wordt vooral gemaakt door de onderbuik (systeem 1), op gevoel dus. Aangezien systeem 1 een dominante factor is in ons gedrag en keuze is dit een betere voorspeller van de werkelijkheid dan expliciet onderzoek. Vanzelfsprekend is het ook mogelijk een combinatie te maken van dit type onderzoek met traditioneel kwalitatief of kwantitatief onderzoek.

Respondenten krijgen tijdens een test een aantal keuzeblokken voorgelegd met in elk blok ca. 30-40 steeds random gepresenteerde keuzes. Zo maakt 1 respondent makkelijk 90 keuzes per test van ca. 7-10 minuten. Met 100 respondenten hebben we dan al 9.000 waarnemingen. Vaak is 150 tot 200 dan ruim voldoende voor statistisch significante resultaten. Daarnaast kun je in een behavioral conjoint meerdere hypotheses tegelijk toetsen en interactie-effecten meten, een van de grootste beperkingen van de AB-Test. In een volgende blog zullen we dieper ingaan op de wetenschappelijke achtergrond van deze testmethode. Het onderzoek wordt volledig online uitgevoerd en kan zelfs op mobiel worden gedaan. Daardoor is het schaalbaar, makkelijk herhaalbaar en is de distributie simpel. Gewoon een link mailen naar de deelnemende respondenten. IRT’s zijn ook uitermate geschikt voor andere typen onderzoek, zoals merken, verpakkingen, communicatiemiddelen etc.

Voorbeeld IRT Behavior Conjoint

Sneller, complexer, goedkoper!

Behavioral Conjoints kunnen binnen enkele dagen resultaat leveren. Indien goed voorbereid kan dat zelfs nog op dezelfde dag. Handig na een brainstorm bijvoorbeeld als je direct wilt doorpakken op een van de ontwikkelde concepten. Dat is natuurlijk echt heel veel sneller dan bij een AB-test, waarbij de doorlooptijd al snel in de weken of maanden kan lopen. De output van een test kan bijvoorbeeld ook gebruikt worden via AB-tests in de praktijk te valideren. Zo zijn er vele voordelen van de behavioral conjoint:

  • Lagere kosten: korte doorlooptijd en beperkte investering van de organisatie
  • Minimale capaciteit: voor uitvoering is minimale capaciteit van de organisatie of ICT vereist
  • Lagere risico’s: minder investeringen en tijd verloren aan niet succesvolle AB-tests
  • Grotere impact en meer learnings: in een enkele test kan je al 20 hypotheses testen, die ook complexer zijn
  • Meer vrijheid: de test biedt flexibiliteit en ruimte voor creativiteit en out-of-the-box experimenteren die normaal niet aan bod zouden komen omdat het idee te wild is en de risico’s te groot zijn.

Hoe kom je aan deelnemers?

Er zijn verschillende manieren om deelnemers te werven. Welke je gebruikt is afhankelijk van het doel dat je hebt. Zo kun je intern werven onder bestaande klanten of prospects met een research opt-in, leden van een klantpanel of bezoekers van je website. Extern kan je via een panelbureau deelnemers werven. Voordeel is dat je heel specifieke doelgroep criteria kunt gebruiken. Dat laatste is natuurlijk wel iets duurder.

De behavioral conjoint is een uiterst krachtige testmethode die nog niet heel bekend is bij digitale marketeers. Het is een AB-test met een flinke dosis anabole steroïden!  Een instrument dat in de portfolio van elk conversie team of UX researcher zou moeten zitten. Dat is zeker nog niet het geval, maar als je het verschil wilt maken kun je er niet omheen.

Wil je meer weten over het door ons gebruikte platform, cases zien of een demo boeken, neem dan contact op met ons via sergio@braynz.nl of 06 1505 1707

BBC Three Super Brands Fashion

Stel je hebt vier identieke broers die allemaal een T-shirt dragen van dezelfde kleur met een symbool erop. Je stelt kinderen de volgende vragen over deze broers:

  • Wie is het meest sportief?
  • Wie is het coolst?
  • Met wie wil je in het team?
  • Met wie zou je het liefst vrienden willen worden!

Het resultaat? Heel grappig! Bekijk het hieronder….

Zie hier het resultaat!

Dit fragment is afkomstig uit een aflevering uit de serie Superbrands van de BBC. De hele aflevering over fashion kun je hier bekijken. Er is ook een hele leuke aflevering over superfoods en een over technologie. Wat mij betreft leuker en leerzamer dan een serie kijken!

Merken en associaties spelen een heel belangrijke rol in de beïnvloeding van consumenten. Daarnaast zijn speciale neuromarketing tools nodig om de kracht van het merk in zijn totaliteit te meten. Braynz is specialist in meten van merken en maakt dashboards op basis van KPI’s als mentaal marktaandeel, mentale penetratie, mentaal netwerk omvang en sterkte. Dit levert de inzichten op die brand managers nodig hebben de juiste acties te nemen. Meer weten? Neem contact op of lees ons artikel in het Insights Magazine van de NMSBA over het meten van het mentaal marktaandeel.