Naar
boven

Meer AdWords rendement in 2012 met A/B testen (2)

In deel 1 van dit tweeluik over het A/B testen van Adwords advertenties hebben we gekeken naar het belang van testen, met welke variabelen je kunt testen en de duur van een A/B test. Nu is het tijd om de testresultaten te beoordelen. Hoe gaat dit in zijn werk?

Resultaten A/B testen beoordelen

Cruciaal is om bij het vergelijken van de prestaties van twee advertenties uit te gaan van de periode waarin beide advertenties actief zijn. Bij je 1e A/B test is dat vaak het geval. Echter, als je vervolgtesten doet, draait de ‘winnaar’ van de vorige testronde opnieuw mee in de test. Veel bedrijfstakken hebben te maken met seizoensinvloeden. We willen niet dat deze de testresultaten vertekenen.

Wat doe je dus met twee advertenties waarvan er een van 15 november tot en met vandaag (laten we zeggen 1 maart) heeft gedraaid en de ander van 23 januari tot en met vandaag? Dan vergelijken we de prestaties in de periode van 23 januari t/m vandaag. Op dit punt worden veel fouten gemaakt, dus let goed op! Een test waarbij de prestaties van een advertenties worden meegeteld in een periode waarin de andere advertentie niet actief was, is van geen waarde. De 1e advertentie kan bijvoorbeeld een hoge CTR hebben gehad in de periode voor sinterklaas en kerst, waardoor het lijkt alsof deze veel beter presteert dan de advertentie die later is toegevoegd. Met als gevolg dat je advertentie 1 tot winnaar uitroept. Terwijl kijkend naar de periode waarin beide advertenties actief zijn, wellicht blijkt dat advertentie 2 een hogere CTR heeft.

In Adwords halen we de gegevens op van de relevante meetperiode. Stel dat blijkt dat advertenties 1 een CTR heeft van 1,39% en advertentie 2 een CTR van 1, 07%. Advertentie 1 is de winnaar, nietwaar? No so fast. Om de winnaar te bepalen moeten we weten of het testresultaat statistisch significant is. Met andere woorden, of we met een behoorlijk mate van zekerheid (90 ”“ 95%) kunnen concluderen dat een bepaalde advertentievariant stelselmatig beter scoort dan een andere variant. Nu is statistiek voor veel (online) marketeers niet het sterkste punt. Geen paniek, want er zijn hulpmiddelen. Een mooi voorbeeld daarvan is de website www.dmcalculator.nl. Hier kan je eenvoudig uitrekenen of je test een statistisch significant resultaat heeft opgeleverd.

Klik op de site op de button ‘Start de DM calculator’. Er verschijnt nu een nieuw venster, dat 4 mogelijkheden biedt. Kies voor de 4e optie (Bereken de significantie van het verschil tussen 2 testuitkomsten). Hier voer je voor beide advertenties het aantal Vertoningen en de CTR in. Neem deze gegevens over uit het tabblad ‘Advertenties’ in Adwords, na het selecteren van de juiste periode.

Voortbordurend op het voorbeeld van zojuist, met twee advertenties met een CTR van respectievelijk 1,39% en 1,07%. Stel dat het aantal vertoningen 3089 en 1246 was. Met de DM calculator kunnen we nu uitrekenen of het verschil tussen deze twee resultaten statistisch significant is. Onderstaande afbeeldingen geven dit weer.

De conclusie in dit voorbeeld luidt dat er nog geen sprake is van een statistisch significant verschil in de prestaties van de twee advertenties. De betrouwbaarheidsfactor ligt op 0,86. Pas bij een factor van 1,96 of hoger is er sprake van minstens 95% betrouwbaarheid.

Kijken we een maand later, dan zijn de cijfers als volgt:

Advertentie 1
CTR: 1,12%
Vertoningen: 10.745

Advertentie 2
CTR: 1,46%
Vertoningen: 12.397

Bij berekening blijkt het verschil in prestaties nu wel statistisch significant te zijn. Maar, in tegenstelling tot de 1e indruk, blijkt dat de 2e advertentie degene is met de beste prestaties.

We hebben een winnaar! En nu?

Nadat duidelijk is geworden dan een bepaalde advertentie beter presteert, onderbreek je de advertentie met de ‘slechtste’ prestatie. Vervolgens voeg je een nieuwe advertentie toe. Deze laat je het opnemen tegen de ‘winnaar’ van de vorige test. Noteer wanneer de nieuwe advertentie actief wordt en vergelijk over een aantal dagen/weken/maanden de resultaten van deze advertentie met de vorige winnaar. Blijf vooral testen! Als je van testen een gewoonte maakt, zie je de effectiviteit van je Adwords campagnes gestaag verbeteren. Performance verbeteringen van 20% tot meer dan 100% vormen geen uitzondering.

Adverteer jij al via Google AdWords? Download dan zeker deze gratis whitepaper!

Ook succesvol adverteren met Google AdWords?

Bekijk onze cursus Google AdWords, onze Google AdWords dienst of vul onderstaand formulier in:


Over de auteur:

Dit artikel is geschreven door .

Marco Dekkers
Marco Dekkers is een online marketing specialist met een lange staat van dienst. Sinds 1999 houdt hij zich in diverse functies bezig met internet. Als marketeer legt hij zich toe op vernieuwing en resultaatgerichte marketing.
1 reactie op "Meer AdWords rendement in 2012 met A/B testen (2)"
  • Bianca zegt:
    14 Aug, 2013 om 10:45

    Erg duidelijk artikel Marco, bedankt! Ik zou al bijna afgaan op de CTR en direct kiezen. Nu heb ik uitgerekend met de calculator of er een significant verschil is, maar de betrouwbaarheid is maar 0,46!! Betekent dit dat we nog te weinig gegevens hebben om te kunnen beslissen welke advertentietekst het beste werkt? De campagne loopt namelijk al vanaf half april. (heb nu een periode gedaan van 15 april tm 29 juli, gezien daarna het budget is veranderd in adwords, ik dacht verschillende variabelen zal ook niet meehelpen aan de betrouwbaarheid?)

    Ben benieuwd of het verstandig is om nu al advertentieteksten er uit te gooien en nieuwe aan te maken als A-B test.

    Groet,

    Bianca

    Reageren

Reageren