Beleid evalueren met meer nuance: de kracht van QCA

Een traditionele effectmeting kijkt meestal naar het gemiddelde resultaat: hoeveel minder CO₂ is er uitgestoten, hoeveel meer bedrijven zijn gaan innoveren, hoeveel sneller ging de digitalisering. Maar het probleem met gemiddelden is dat ze weinig zeggen over de verschillen tussen bedrijven, sectoren of regio’s. En dus blijft de vraag vaak onbeantwoord: waarom werkt het beleid bij sommige doelgroepen wél en bij anderen niet?

Bij ERAC gebruiken we daarom regelmatig een andere aanpak: Qualitative Comparative Analysis (QCA). Deze methode helpt om verder te kijken dan gemiddelden en inzicht te krijgen in de mechanismen áchter succes of falen. QCA is vooral geschikt voor beleidsevaluaties waarbij het effect van beleid samenhangt met meerdere factoren en waarbij verschillen tussen doelgroepen er echt toe doen.

QCA verschuift de blik van het klassieke of beleid werkt naar een meer contextuele benadering:

In plaats van één gemiddelde conclusie (“subsidie werkt”), krijg je zo meerdere, verfijnde inzichten. Dat maakt QCA zo waardevol voor beleidsmakers: het levert concrete handvatten op om beleid aan te scherpen, beter te richten of zelfs opnieuw vorm te geven.

QCA is een vergelijkende casestudy-methode. Elke ‘case’ is bijvoorbeeld een bedrijf dat gebruik heeft gemaakt van een regeling. De methode kijkt niet naar het individuele effect van één maatregel, maar zoekt naar combinaties van factoren (zogenoemde configuraties) die samen leiden tot een gewenst resultaat. Denk bijvoorbeeld aan bedrijven die succesvol zijn verduurzaamd. QCA onderzoekt dan welke kenmerken deze bedrijven gemeenschappelijk hebben. Die kenmerken kunnen te maken hebben met:

• Het beleid zelf (zoals het wel of niet ontvangen van subsidie), en
• Contextuele factoren (zoals bedrijfsgrootte, sector, innovatiekracht, etc.).

Zo’n combinatie van kenmerken vormt een configuratie. QCA laat vaak zien dat er meerdere configuraties zijn die tot hetzelfde succes leiden. Dat betekent: er is niet één manier waarop beleid werkt, maar meerdere paden naar resultaat.

Voorbeeld: verduurzaming met en zonder subsidie
Stel, we willen weten wat bedrijven ertoe aanzet om te verduurzamen. Een traditionele analyse zou misschien zeggen: “Elke €100 aan subsidie leidt gemiddeld tot 2% minder CO₂-uitstoot.” Maar wat vertelt dat een beleidsmaker écht? QCA laat juist zien wanneer subsidie werkt – en wanneer niet. Bijvoorbeeld:

Configuratie 1: Bedrijven die subsidie ontvingen én al een interne duurzaamheidsstrategie hadden, zijn succesvol verduurzaamd. Hier is subsidie een noodzakelijke, maar niet voldoende voorwaarde.

Configuratie 2: Bedrijven in een innovatieve sector verduurzaamden ongeacht subsidie. Voor hen maakt subsidie weinig verschil.

Configuratie 3: Bedrijven die géén subsidie ontvingen, maar onder druk stonden van klanten of ketenpartners, gingen juist verduurzamen omdat ze het móesten. Daar werkte de afwezigheid van subsidie als stimulans.

Zo’n analyse levert veel rijkere inzichten op dan een gemiddeld effect. Je leert welke bedrijven baat hebben bij subsidie en welke niet. Daarmee kun je beleid veel gerichter inzetten.

QCA is bij uitstek geschikt voor beleidscontexten waarin je te maken hebt met:

• Relatief kleine aantallen deelnemers (bijvoorbeeld N=25);
• Een complex samenspel van factoren;
• De behoefte aan kwalitatieve duiding: je wilt weten waarom iets werkt.

De kracht van QCA ligt in de combinatie van kwantitatieve gegevens (bijvoorbeeld surveys) en kwalitatieve inzichten (zoals interviews of projectverslagen). Door beide te combineren, kan de onderzoeker configuraties interpreteren en omzetten in begrijpelijke en bruikbare beleidslessen.
Bovendien houdt QCA rekening met een aantal realiteiten waar traditionele methoden vaak geen ruimte voor laten:

Een van de grote voordelen van QCA is dat het per configuratie een soort ‘beleidsrecept’ oplevert. Het laat zien wat de nodige ingrediënten zijn om een bepaald resultaat te behalen – in een specifieke context.

Daarnaast kun je met QCA ook ‘faalrecepten’ in kaart brengen: welke combinaties van factoren leiden juist níet tot het gewenste resultaat? Dat maakt het mogelijk om barrières of belemmeringen te identificeren en gericht weg te nemen.

Hoewel QCA krachtige inzichten oplevert, vraagt het ook om zorgvuldige toepassing.
Een paar belangrijke aandachtspunten:

• Beperk het aantal factoren tot ongeveer 4-6. Te veel factoren maken configuraties moeilijk te interpreteren.
• Denk in aanwezig/afwezig (kwalitatieve drempels), in plaats van graduele verschillen. QCA werkt met grenswaarden: een kenmerk is er wel of niet.
• De grenswaarden worden bepaald op basis van inhoudelijke argumenten – bijvoorbeeld op basis van beleidsdoelen of expertkennis.

QCA werkt het best als het ingebed is in een bredere evaluatie-aanpak, waarin zowel kwalitatieve als kwantitatieve data worden verzameld en geanalyseerd. De methode kan goed gecombineerd worden met andere analysemethoden, maar is ook als zelfstandige methode inzetbaar.

Ik werk samen met ERAC aan beleidsevaluaties waarin we QCA inzetten om meer inzicht te krijgen in wat werkt, voor wie, en onder welke omstandigheden. Die samenwerking brengt het beste van twee werelden samen: de beleidspraktijk en de methodologische diepgang.

Of het nu gaat om verduurzaming, innovatie of financieringsinstrumenten – QCA biedt handvatten om beleid gerichter en effectiever in te zetten. Wilt u weten of QCA geschikt is voor uw beleidsevaluatie?
Neem contact op met mij op, ik denk graag met u mee.