De beroepsrespondent anno 2015

Volgend jaar is het 10 jaar geleden dat het NOPVO werd uitgevoerd. Aanleiding was een toenemende vrees onder marktonderzoekers dat we op een niet duurzame manier omgingen met access panels voor online vragenlijsten.

Tekst gaat verder onder de afbeelding
Panel | Blauw Research

2015 Een shovel deze keer?

Onder toenemende prijsdruk voelden wij dat we het panelbeheerders wel eens heel lastig maakten om data van hoge kwaliteit te leveren. Het NOPVO liet zien dat 62% van alle respondenten lid was van meerdere panels en dat men gemiddeld lid was van 2,73 panels. Voornaamste oorzaak hiervan was dat panels uit dezelfde bronnen werden gerekruteerd. Gemiddeld kregen panelleden ongeveer 5 uitnodigingen per maand wat leidde tot 4,4 ingevulde vragenlijsten per panellid. 5% van alle in Nederland ingeschreven panelleden (circa 45.000 Nederlanders) was verantwoordelijk voor 1/3 van alle ingevulde vragenlijsten. En naarmate respondenten meer ervaring hadden met het invullen van vragenlijsten reageerden ze anders op bijvoorbeeld reclame- en merkbekendheid. 

Dat was wel even schrikken. Heel nobel dat een panel zijn panelleden tijdelijk niet meer uitnodigde voor onderzoek over een bepaald onderwerp na het invullen van een vragenlijst daarover. Maar die andere 1,73 panels waar dat lid bij ingeschreven stond deden dat natuurlijk gewoon wel. Wat betekende dat wel niet voor onze merk- en reclametrackers?  

Toen begon de discussie aan wie dit nu eigenlijk lag. Aan de 'panelboeren' die hun zaakjes niet op orde hadden, de bureaus die de verkeerde panels inschakelden of hun eigen panel verkeerd beheerden, of de opdrachtgevers die niet bereid waren te betalen voor kwalitatief hoogwaardige data en het een probleem van de bureaus vonden. Ergens in die discussie pakte iedereen z'n schep, zocht mooi zacht zand, groef een gat en opeens .......was het 2015! 

2015 
Vorige week bezocht ik op uitnodiging van Contextmapp het congres MRWM (Market Research in the Mobile World) in London. Ik was helaas niet zo onder de indruk van de presentaties. Veel over de noodzaak om vragenlijsten korter en meer voor mobiel geschikt te maken en aan wie dat dan lag waardoor dat niet lukte (opdrachtgevers die lange vragenlijsten opdragen of bureaus die geen goede mobiel geschikte alternatieven aanbieden). Het leek verdacht veel op een eerder gevoerde discussie.... 

Totdat Pete Cape, Global Knowledge Director van SSI het podium betrad. Toen werd het alsnog interessant. Niet zozeer door wat hij zelf zei, maar wel door wat de 12 op het podium uitgenodigde panelleden te vertellen hadden. 

Gemiddeld namen zij deel aan 80-100 vragenlijsten per maand. En zij waren lid van ongeveer 10-12 access panels! Je hoorde dat de zaal kort z'n adem inhield. Voor deze beroepsrespondenten was een geldelijke beloning vanzelfsprekend. Of zoals een panellid het verwoordde: "We all value our time, right?" Een enkeling deed wel eens mee zonder financiële compensatie, maar dan alleen wanneer het onderwerp van de vragenlijst van maatschappelijk belang was. 

Tevens maakten ze dagelijks mee dat ze verschillende uitnodigingen voor dezelfde vragenlijst ontvingen. Niet gek wanneer je bij zoveel panels ingeschreven staat. En het verdelen over meerdere panels wordt vaak toegepast om de benodigde steekproef in de gegeven tijd te behalen. Een mooie gelegenheid voor deze panelleden om te kijken hoe men zich kan kwalificeren voor de vragenlijst. Lukte dat de eerste keer niet, dan koos men bij de volgende poging een andere antwoordcategorie. En men had er geen enkele moeite mee dezelfde vragenlijst een derde keer in te vullen. Wederom ingehouden adem en zelfs even wat overgeslagen hartslagen in de zaal. 

Een shovel deze keer? 
Nu was dit panel overduidelijk goed geselecteerd voor een schokeffect en een pittige discussie. En complimenten aan SSI dat ze het als access panel provider aandurven om deze discussie wederom aan te zwengelen. Hoe lang blijven we onszelf nog voor de gek houden dat het meten van met name merk- en campagnebekendheid in panels een goede weergave is van de achterliggende populatie. Deze mensen vullen 3 vragenlijsten per dag in! Ik las laatst dat de gemiddelde invultijd bij SSI momenteel op 23 minuten ligt (bron). Dat houdt ruwweg in dat respondenten een uur per dag bezig zijn met het invullen van vragenlijsten! Dat betekent dat een gemiddeld panellid waarschijnlijk langer bezig is geweest met het invullen van vragenlijsten dan ik tijdens mijn 15 jaar als marktonderzoeker! Ik hoop dat we als industrie er in slagen om uit deze neerwaartse spiraal van sneller en goedkoper (beter praten we maar niet meer over) komen. Laten we gezamenlijk inspanningen doen om het nut van deelnemen aan onderzoek te bewijzen aan consumenten. Dit door transparant te zijn waar het onderzoek voor dient en eerlijke feedback te geven wat er met de resultaten is gedaan. En als het onderzoek eigenlijk alleen dient omdat er KPI's gemonitord moeten worden omdat er nu eenmaal targets en bonussen op staan, misschien moeten we dan maar accepteren dat consumenten massaal afhaken omdat het voor hen geen enkele waarde toevoegt. Of we graven gewoon wat dieper en wachten rustig tot het 2026 wordt.... 

Ivo Langbroek, is innovation officer bij Blauw Research