Economische Ranglijstjes: Ranking the stars of onder de motorkap kijken?

Een ranglijstje alleen zegt niet zoveel, vinden Jip Leendertse en Erik Stam. Gebruik de diagnose achter een ranking en neem een kijkje onder de motorkap.

Economische ranglijsten proberen de kracht of prestaties van een economie in één cijfer te vangen. Voorbeelden zijn de Global Competitiveness Index en de Entrepreneurial Ecosystem Index. Het uitkomen van deze ranglijstjes gaat vaak gepaard met veel publiciteit en ze helpen steden, regio’s, of landen met een hoge score om te pronken. Voor hen heeft het proces van ‘ranking the stars’ dus voordelen. Tegelijkertijd kan een slechte score urgentie bieden. Het gaat zo slecht, onze economie heeft steun nodig. Wat is nu echt de waarde van economische ranglijstjes?

Om maar met de deur in huis te vallen: zo’n ranglijstje is waardeloos voor de verbetering van de economie! Eén cijfer levert weinig handelingsperspectief op, en ‘ranking the stars’ heeft naast een marketingwaarde maar beperkt nut. Toch is er wel nuttig gebruik mogelijk. Bijna elke index is het resultaat van het samenvoegen van heel veel verschillende gegevens. De praktische waarde zit in die onderliggende data, in het optillen en kijken onder de motorkap. 

Kritiek op ranglijstjes
Het eerste probleem met ranglijsten is het feit dat ze een complexe werkelijkheid platslaan in één cijfer. Zoals je de kwaliteit van een auto niet kan beoordelen met de behaalde snelheid, zo kan je een economie niet beoordelen met de plek op een ranglijst. Ten tweede impliceren de ranglijsten een zero-sum game: mijn winst is jouw verlies. Dit klopt letterlijk: als alle regio’s een beetje beter worden, maar sommige iets meer dan anderen, dan komt er toch er een lijstje uit met winnaars en verliezers. De interne validiteit hiervan klopt wel, omdat lijstjes een relatieve positie geven: de plek op de startopstelling, ongeacht het niveau van de overige auto’s.

Misleidend
Maar de externe validiteit kan zelfs misleidend zijn, winnen bij de MotoGP is niet hetzelfde als in de Formule 1. Ten derde, lijstjes zorgen voor een risico op systeemgedrag. Zo is de Ease of Doing Business Index van de World Bank recent stopgezet vanwege manipulatie van deze lijst voor politieke doeleinden. Het is cruciaal om niet te proberen om de ranking score te verbeteren maar de condities voor economische ontwikkeling. Ten slotte, de ranglijstjes zijn vaak gebaseerd op de best beschikbare data, die vaak een min of meer imperfecte weergave van de werkelijkheid zijn. 

De ranglijstjeshandleiding
Toch kunnen de ranglijstjes nuttig zijn als je de motorkap optilt. De waarden op de lijstjes zijn vaak opgebouwd uit duizenden datapunten. De data achter de eindscore geeft nuttige informatie voor de diagnose van een economie. Wat zijn de sterke en zwakke plekken van de economie, welke onderdelen verdienen beleidsprioriteit? Dit laten we zien aan de hand van de Entrepreneurial Ecosystem Index (zie ook de Europese versie). 

Deze Entrepreneurial Ecosystem Index beoogt de kwaliteit van regionale ecosystemen voor ondernemerschap te meten. Een ecosysteem voor ondernemerschap bestaat uit een combinatie van met elkaar verbonden actoren en factoren die productief ondernemerschap in een bepaald geografisch gebied mogelijk maken. Er is veel onderzoek gedaan naar welke actoren en factoren er precies een rol spelen en daaruit komen tien elementen naar voren.

Scala aan verschillende data
Met een team struinen wij figuurlijk stad en land af naar data die (onderdelen van) deze elementen het beste meten. Uiteindelijk voegen we de best beschikbare data samen om elk element te scoren en de elementen vervolgens samen te voegen in een index. De index slaat dus een scala aan verschillende data plat in één getal. De achterliggende data zijn verre van perfect: ze zijn veelal de minst slechte beschikbare, en er zijn flinke verbeteringen denkbaar. Puur kijken naar de index score is dus niet genoeg en kan zelfs misleidend zijn.

Maar door met data zichtbaar te maken hoe het met de verschillende onderdelen van het ecosysteem voor ondernemerschap (of welk onderwerp dan ook) gaat bieden we de mogelijkheid om de eigen economie beter te begrijpen. Oftewel, het nut van een ecosysteem index ligt in het gebruik van de onderliggende data en hoe die kunnen helpen in het beter begrijpen van (1) de economie, (2) hoe deze verbeterd kan worden, (3) of de beoogde verbeteringen ook behaald worden, en (4) waarom wel en waarom niet? 

Naar aanleiding van het verschijnen van de ‘Entrepreneurial Ecosystem Index’ schreef Cees-Jan Pen een stuk over het nut van deze lijstjes met de belangrijke kritiek: ‘Het blijft aan de lezer zelf te komen met regionale acties en aanknopingspunten’. Hij riep Innovation Origins op om de onderzoekers uit te dagen om hier meer duiding over te geven. Hierbij ons antwoord op de vraag: 

Wat kan de lezer (of monteur) wel doen?
Ons advies bestaat bewust niet uit een lijstje van acties voor elke regio. In plaats daarvan is ons advies procesmatig. Gebruik de diagnose achter een ranking, het kijkje onder de motorkap, als het startpunt. Ga met elkaar, ondernemers, bedrijven, ROMs, provincies, gemeentes, universiteiten, hogescholen etc., om tafel zitten en bespreek de diagnose: Welke zwakke elementen herkent men (of juist niet)? Waar komt dit door? Hoe kan het beter? Zijn alle stakeholders het met elkaar eens of verschillen we/ze van mening? Hoe kunnen we samen deze regio verbeteren. Of om in de auto metafoor te blijven: Welke reparaties of verbeteringen aan de auto zijn nodig en welke monteur kan dat bereiken?

Door gebruik te maken van deze dialoog is het mogelijk om de diagnose te verdiepen en vervolgens om te zetten in verbeterpunten. Stel de interventies (zowel formeel als informeel beleid) vervolgens samen op basis van deze dialoog en dus niet op basis van de ranking. Trek geen conclusies maar gebruik ons (en ander) onderzoek om het gesprek te starten. Dan zorgen wij dat dat over een paar jaar, de impact van genomen interventies weer te meten zijn. Zodat deze vernieuwde diagnose weer gebruikt kan worden voor een nieuwe dialoog.

Is een snelle auto wel het doel?
Ten slotte: Is economische groei het hoogste doel van de regio? Cees-Jan Pen roept ook op om naar brede welvaart te kijken. Een oproep waar wij volledig achter staan en ook hard mee bezig zijn. De focus moet veel meer op ondernemerschap dat bijdraagt aan brede welvaart en het realiseren van maatschappelijke missies, en hoe ecosystemen dat (on)mogelijk maken. Van de metaforische snelle auto’s willen we naar duurzame auto’s. Dit vraagt echter om verder onderzoek hoe een ecosysteem voor ondernemerschap bijdraagt aan brede welvaart en het realiseren van maatschappelijke missies, en het meetbaar maken van de voortgang op het behalen van deze missies. Twee flinke uitdagingen die we in de komende jaren onder andere oppakken in het ESMEE project (Enabling Societal Missions through Entrepreneurial Ecosystems). 

Deze blog was eerder geplaatst als opiniestuk bij Innovation Origins https://innovationorigins.com/nl/economische-ranglijstjes-ranking-the-stars-of-onder-de-motorkap-kijken/