18 april 2014

MKBA-bluf

MKBA's (maatschappelijke kosten-baten analyses) mogen zich in een toenemende populariteit verheugen. Het zijn handige hulpmiddelen om aan te tonen dat uitgaven zichzelf terugverdienen, of juist niet. Steeds vaker komen er berichten voorbij over onderzoek waarin bijvoorbeeld is becijferd dat investeren in groen leidt tot lagere gezondheidskosten.

Maar soms lijkt het alsof een MKBA een doel op zichzelf is. Een project heeft dan blijkbaar pas waarde als de effecten tot achter de komma zijn doorgerekend en er een 'prijskaartje' aan kan worden gehangen. Het stadsdeel Amsterdam-West liet onderzoek doen naar de effecten van het Buurt Praktijk Team (BPT) in de Columbusbuurt, onderdeel van de Baarsjes. Sinds 2011 heeft een aantal partijen daar de krachten gebundeld: jeugdzorg, opbouwwerkers, de buurtcoƶrdinator, de politie en leerplicht-ambtenaren. Het doel is om problemen vroegtijdig te signaleren en overlast tegen te gaan, maar ook om activiteiten in de buurt te organiseren.

Als je de uitkomst van de door onderzoeksbureau Ecorys uitgevoerde MKBA mag geloven, is de totale investering van ruim 600.000 euro voor het BPT meer dan verantwoord. Over de periode 2011-2016 is er een verhouding baten/kosten berekend rond de 2,0. Een waarde van 1,0 betekent dat de opbrengst precies gelijk is aan de kosten. Het BPT is de investering dus letterlijk dubbel waard. Dat klinkt indrukwekkend. En dat was natuurlijk ook de bedoeling: aantonen dat de aanpak werkt en navolging verdient. 

Soms is een buurtfeest gewoon een buurtfeest
De manier waarop het onderzoek is uitgevoerd roept veel vragen op.
Een aantal trends in de periode 2007-2011, toen het BPT dus nog niet bestond, is vergeleken met de ontwikkeling in de jaren 2011-2013. Wat meteen opvalt is de korte onderzoeksperiode. Zo kort dat ontwikkelingen gemakkelijk op toeval of incidenten gebaseerd kunnen zijn: drie koude winters maken nog geen ijstijd. Toch wordt de driejarige trend gebruikt om te voorspellen wat er in de periode 2014-2016 zal gebeuren. 

Het aantal inbraken is bijvoorbeeld gedaald sinds 2011. Voor de berekeningen gaat de MKBA er vanuit dat 20% van die daling is toe te schrijven aan het BPT. Waar dat percentage precies vandaan komt, is niet duidelijk. De onderzoekers schrijven zelf al dat er meerdere redenen voor de daling van de inbraakcijfers kunnen zijn, zoals de strengere Amsterdamse aanpak van veelplegers. Het is dus een 'zachte' aanname. Maar aan die zachte aanname wordt vervolgens een hard bedrag in euro’s gekoppeld: een inbraak kost de samenleving € 1.413. Dit bedrag komt uit een landelijk SEO-onderzoek uit 2007 naar de kosten van criminaliteit. In hoeverre dit cijfer aansluit bij de realiteit in de Columbusbuurt, is niet bekend. De totale bijdrage van het BPT aan de daling van het aantal inbraken in de periode 2011-2016 komt volgens de rekenmethode op €140.000. De opbrengst voor de wijdere omgeving moet volgens de onderzoekers met 25% tot 40% naar beneden worden bijgesteld omdat er een verplaatsingseffect wordt verwacht naar andere buurten.

Dezelfde methode is toegepast op geweldsmisdrijven. Ook die vertonen een dalende trend sinds 2011. Hier wordt de grootste 'klapper' gemaakt, mede omdat de bijdrage van het buurtteam aan de daling op 60% wordt gesteld. Het effect van het BPT zou, los van verplaatsingseffecten, daarmee meer dan een miljoen euro waard zijn. 

Van overlast is in het eerder genoemde SEO-onderzoek niet berekend hoeveel geld het de samenleving precies kost. In de MKBA wordt daarom gemakshalve dezelfde norm voor overlast aangehouden als voor vandalisme: 733 euro per geval. In feite wordt daarmee beweerd dat hangende of schreeuwende jongeren de samenleving 733 euro per melding kosten. De totale baten van het BPT dankzij minder overlast in de periode 2011-2016: €64.000. En dankzij minder vandalisme: € 51.000.

Met diefstal is iets bijzonders aan de hand. Die is in de jaren 2011-2013 niet gedaald in de Columbusbuurt maar juist gestegen. Het is een aanwijzing dat niet alles in de wijk beter is geworden sinds het aantreden van het BPT. De ongunstige diefstalcijfers worden daarom eenvoudigweg overgeslagen in het onderzoek. Als er dingen beter gaan in de wijk, is dat dus mede te danken aan de komst van het BPT, maar als er dingen slechter gaan opeens niet meer. Wanneer de logica van het onderzoek consequent wordt gevolgd, zouden er in de jaren 2011 en 2012 meer diefstallen moeten zijn gepleegd omdat het BPT werd ingesteld en zouden de kosten van die verslechtering in de MKBA moeten worden meeberekend. Maar dat gebeurt niet. 

Is dit nu een echte MKBA of een staaltje onderzoeksbluf? Een grondige economische analyse is het in elk geval niet. Het is op zijn best een ruwe schatting, gebaseerd op losse aannames, een losse toepassing van resultaten uit ander onderzoek en gevonden statistische verbanden (wat iets anders is dan oorzakelijke verbanden, zoals iedereen die met statistieken werkt moet weten). 

Het is natuurlijk mooi dat de leefbaarheid in de buurt gemiddeld is verbeterd, een trend die past bij de opgaande lijn die de Baarsjes de laatste jaren laat zien. Zo'n buurtteam doet ongetwijfeld nuttig werk, dat op een of andere manier zal moeten worden geĆ«valueerd. Maar de vraag is of een MKBA, die zelf ook weer geld kost, daarvoor het juiste middel is. Moet elke overheidsinvestering  krampachtig worden verdedigd met opgeklopte, quasi-exacte 'baten'?  Niet elke verbetering kan in cijfers worden gevangen. Soms is een buurtfeest gewoon een buurtfeest, soms is een goed gesprek met bewoners gewoon een goed gesprek met bewoners. Je ziet het al voor je, een buurtwerker die op een groep hangjongeren afstapt met de tekst ‘Nu ophouden jongens, dit gedrag kost de samenleving 733 euro!’ 

Geen opmerkingen: