Weggegooid geld?

Wereldwijd wordt er jaarlijks meer dan 40 miljard dollar aan opiniepeilingen en marktonderzoek uitgegeven. In Europa en de Verenigde Staten alleen al gaat het om een bedrag van 15 miljard dollar. Volgens strategisch marketeer Frank Wouters is het meeste weggegooid geld. Althans als we zijn boek De illusies van marktonderzoek en opiniepeilingen mogen geloven.

In dit boek doet Wouters een poging zijn stelling te onderbouwen dat het hoog tijd wordt om de marketing die wordt onder-wezen en toegepast, door hem genoemd ’traditionele marketing’, te vervangen door een andere, nieuwe vorm van marketing. Wouters is er sterk van overtuigd dat de huidige ’traditionele marketing’ gebaseerd is op verkeerde principes. Daardoor zou de discipline ook geen enkele vooruitgang meer boeken. De voorlopige nieuwe term die Wouters introduceert, op zoek naar een definitieve term, is ‘herziene marketing’. Maakt Wouters zijn hoge verwachtingen voor de noodzaak voor een ‘herziene marketing’ waar?

Fundamentele marketing
Net zoals je onkruid moet wieden om bloemen te laten bloeien, moeten we volgens Wouters de obstakels die het zicht op fundamentele marketing belemmeren uit de weg ruimen. Het alternatief voor ’traditionele marketing’ is volgens hem een afgebakend systeem waarbinnen we kunnen beoordelen wat werkt en wat niet. Sommige principes van de ’traditionele marketing’ staan volgens Wouters de toepassing van de herziene in de weg.

De winst die we met ‘herziene marketing’ boeken is volgens hem tweevoudig. Ten eerste besparen we middelen door geen marktonderzoek meer te doen. Middelen die we vervolgens kunnen gaan inzetten om de markt te creëren, in plaats van ze te meten. In de tweede plaats levert het winst op omdat oude begrippen, zoals marktonderzoek en doelgroep, een illusie in stand houden die de hele mindset van mensen die met marketing bezig zijn in de verkeerde richting duwen. Volgens Wouters zijn opiniepeilingen en marktonderzoeken die peilen naar meningen weggegooid geld. Volgens hem wordt het hoog tijd de aandacht te verleggen van het meten van meningen naar het beïnvloeden daarvan.

Illusies
Wouters beschrijft zestien cognitieve illusies over marktonderzoek en opiniepeilingen. Het gaat om opvattingen over de werkelijkheid waar geen grond voor bestaat. Zo wordt het bij marktonderzoeken meestal niet erg nauw genomen met over- en ondervertegenwoordigingen. Ook worden er standaard fouten gemaakt bij het trekken van steekproeven, het berekenen van de uitkomsten en geen rekening gehouden met foutmarges. De zestien illusies zijn volgens Wouters fundamentele gebreken. Het zijn geen gebreken die te wijten zijn aan een slechte uitvoering van marktonderzoek en opiniepeilingen, maar onderdeel van het instrument. Het zijn onvermijdbare, in de methode gebakken defecten. Hij noemt er talloze voorbeelden van.
Mij heeft Wouters met zijn voorbeelden niet weten te overtuigen. Aan de ene kant gaat het toch vooral om opvattingen die bij het grote publiek bestaan over marktonderzoek en opiniepeilingen. Aan de andere kant gaat het om opvattingen die bij journalisten leven die niet bekend zijn met de beperkingen van marktonderzoek en opiniepeilingen. De essentie is volgens Wouters dat het bij marktonderzoek vaak gaat om bedrijven die van onderzoek afhankelijk zijn, zich richten op de commerciële markt en winstgevendheid, en het niet altijd nauw nemen met wetenschappelijke standaarden. Wat dat betreft heeft Wouters een sterk argument. Dat is niet op alle onderdelen zo.

Opiniepeilingen
Terwijl Wouters in illusie 9 (marktonderzoek is wetenschappelijk) het belang van falsificatie beschrijft en aangeeft dat ’traditionele marketing’ zich niets aantrekt van falsificatie, hanteert Wouters het begrip zelf overigens ook niet. Zo zegt hij dat opiniepeilingen nutteloos zijn omdat ze niet zouden meten wat mensen denken. Op pagina 83 onderbouwt hij dit wel op zeer bijzondere wijze. Zo zegt hij dat exitpolls bij verkiezingen afwijkingen te zien geven die ‘dramatisch groot zijn’. Een voorbeeld dat hij noemt is de exitpoll van Ipsos over de Europese verkiezingen in 2014.

Volgens Wouters zat Ipsos, en ook Maurice de Hond die tot hetzelfde resultaat kwam, er in 40 procent van de gevallen naast. De onderbouwing die Wouters daarvoor levert is dat vier van de tien politieke partijen een zetel extra of minder kreeg dan was geprognotiseerd. Had Wouters zich wat meer in opinieonderzoek verdiept, dan had hij geweten dat het hier ging om de verdeling van een enkele restzetel en het niet om een afwijking in het aantal stemmen. Daarbij komt dat zowel Ipsos als De Hond bij de presentatie van hun onderzoek hadden aangegeven dat de werkelijke uitkomst voor de vier partijen door de verdeling van de rest-zetel zou kunnen verschillen. Met nog wat meer kennis van zaken had Wouters ook nog kunnen weten dat de schattingen van exitpolls in feite zeer dicht bij de werkelijke uitslag liggen. Onderzoek naar 50 jaar exitpolls heeft uitgewezen dat als er sprake is van verschil deze voor de meeste partijen tussen de 0,1 en 0,5 procentpunt ligt, met een enkele uitschieter naar 1 procentpunt.

Confirmation bias
De door Wouters gegeven voorbeelden van exitpolls, er staan meer voorbeelden van in het boek, kunnen worden gezien als schoolvoorbeelden van de confirmation bias. Dat is de oervorm van alle denkfouten. Het is de neiging om informatie die tot je komt zo te interpreteren dat die met je bestaande opvatting overeenkomt. Anders gezegd: we selecteren informatie die in overeenstemming is met onze opvatting en filteren informatie die daarmee in tegenspraak is weg. Of we gaan er niet eens naar op zoek.
Dat Wouters in deze val trapt is niet gek. In het inleidende hoofdstuk zegt hij dat hij al ruim twintig jaar met marketing bezig is en dat tot nu toe niemand zijn ongelijk heeft kunnen aantonen. Dat zal dan misschien wel waar voor wat betreft de illusies die de discipline in stand houden en de door hem en anderen gevoelde behoefte om de ’traditionele marketing’ te vervangen door een ‘herziene marketing’. De voorbeelden die hij op het gebied van (politieke) opiniepeilingen heeft gezocht en gevonden kwamen blijkbaar wel heel erg goed uit om zijn stelling te onderbouwen. Jammer. Het boek is door dit soort voorbeelden, die makkelijk te weerleggen zijn, niet overtuigend. Ze ontsieren de terechte kritiek die op tal van marktonderzoeken mogelijk is.

Frank Wouters,’De illusies van marktonderzoek en opiniepeilingen’, Reality Bites, 139 pagina’s, 2017.