Om te kunnen aantonen of de doelstellingen zijn gerealiseerd, gebruik je indicatoren. Een indicator beantwoordt de vraag: “Wat moeten we meten om te weten of onze doelstelling werd verwezenlijkt?”.
Om de planlast binnen de perken te houden, plaatsen we indicatoren alleen bij de operationele doelstellingen. Als er veel operationele doelen werden uitgewerkt, kan je binnen dat geheel nog selecteren. Om die selectie te maken moet je bepalen welke operationele doelen kritische succesfactoren zijn voor de strategische doelstelling.
Er zijn verschillende soorten indicatoren. We focussen hier op twee types: resultaatsindicatoren en inspanningsindicatoren. Wanneer je wil aantonen dat het operationele doel werd bereikt of iets veranderde bij het doelpubliek, dan gebruik je resultaatsindicatoren. Inspanningsindicatoren tonen enkel aan of het werk dat je had ‘beloofd’ te doen, werkelijk hebt uitgevoerd. In de context van impactgedreven werken gaat het bij een inspanningsindicator over de output van wat onder een operationeel doel werd gerealiseerd. Bij een resultaatsindicator omschrijf je de outcome van de activiteiten bij die doelstelling.
Procesindicatoren zijn een soort tussenvorm: je kan rapporteren over de processtappen (het proces zelf als resultaat én als inspanning) en over de uitkomst van het proces (resultaat).
Als je erin geslaagd bent een operationeel doel START SMART te formuleren, dan is het eenvoudig er een indicator bij te plaatsen. Medewerkers die niet betrokken zijn bij het planningsteam kunnen ook hier een waardevolle inbreng hebben vanuit hun concrete praktijkervaring én hun afstand tot het reeds geleverde planningswerk.
Een indicator schetst een beeld van de mate waarin een doelstelling werd gerealiseerd. Maar vanaf wanneer is ons werk geslaagd te noemen? Bij elke indicator hoort een norm die aangeeft wat we – bij wijze van spreken – minimaal willen realiseren.
Een andere mogelijkheid om het resultaat van een doelstelling te verwoorden is door de competenties die het aanbod/de activiteit/het initiatief bij de deelnemers ontwikkelt, te formuleren. Gedragsveranderingen bij deelnemers als indicator formuleren is echter een heikele kwestie. Welke waarde en betekenis ze aan een initiatief toewijzen kan je navragen of evalueren. Je kan ook peilen naar wat de invloed was op hun gedrag. De resultaten verwerk je dan wel best kwalitatief en beschrijvend.
Voorbeeld
De ideale doelstelling bestaat niet. Wel kan je streven naar een balans in de verschillende aspecten van je doelstelling: een START SMART formulering, motivering en het correct resultaat van het overleg in het planningsteam.
Strategische doelstelling 1: Er zijn substantieel meer vrijplaatsen, publieke ruimtes in steden, gemeentes en wijken multifunctioneel inzetbaar. Ze zijn gekend en worden in stijgende mate gebruikt.
Operationele doelen bij 1:
• Eerste jaar: Beschikbare vrijplaatsen, publieke ruimtes zijn geïnventariseerd en hun gebruik is beschreven.
• Tweede jaar: Op basis van de inventaris zijn blinde vlekken in de spreiding van deze plaatsen vastgesteld en onderzocht wat daar aan stimuleringsinitiatieven mogelijk is.
• Volgende jaren: Er zijn meer plaatsen ter beschikking die gebruikt worden door lokale en spontane initiatieven.
Mogelijke indicator: Het aantal spontane buurtinitiatieven dat gebruik maakt van deze infrastructuur is merkbaar gestegen. Nulmeting aan de hand van inventaris gedurende het eerste jaar.
Normen en meten of verifiëren
De Australische auteur Paul Bullen stelt met “Counting and Measuring in Community Services” (1999) het volgende vast: “We are part of a count and mea- sure culture. There are spoken and unspoken assumptions: if it can be measured it’s real; and if it can’t be measured it’s not so real”.
Niet al het werk dat we doen kan kwantitatief gemeten of ‘geteld’ worden. We maakten al duidelijk dat een groot deel van het sociaal-cultureel volwassenenwerk bestaat uit interventies die veranderingsprocessen als doel hebben. Om het resultaat van dat werk te omschrijven, kan je kwalitatieve indicatoren en normen opstellen. Beleidsmakers e.d. zijn echter erg gevoelig voor cijfers. Daarom zoek je best naar een mix van zowel kwantitatieve als kwalitatieve indicatoren.
Om goede normen en indicatoren te vinden, zal het planningsteam een antwoord moeten geven op de volgende vragen:
• Wat moeten we weten, welk resultaat beogen we?
• Op welke vlakken/domeinen/thema’s beogen we resultaten?
• Hoe kunnen we de beschreven verandering(en) meten, verifiëren of aantonen?
Methode, frequentie, bron, norm
Bij het vastleggen van de indicator zijn er nog een aantal keuzes die je best maakt (Let wel: hieronder gebruiken we het woord ‘meten’ ook als term voor het verkrijgen van kwalitatieve gegevens):
• Het bepalen van de meetmethode. Welk instrument zal de organisatie gebruiken om de verandering te meten? Moet het team nog iets ontwikkelen of bestaat er al iets? Kunnen de bestaande instrumenten worden aangepast of uitgebreid om de nodige gegevens te verkrijgen? Hoe pakte het team dat aan in het vorige beleidsplan?
• Het vastleggen van de meetfrequentie en het meetmoment. Een gepland meetmoment zorgt ervoor dat metingen altijd onder dezelfde voorwaarden plaatsvinden. Bij het starten van een nieuwe meting moet je een nulmeting uitvoeren aan het begin van de beleidsperiode.
• Het vastleggen van de meetbron. Om ervoor te zorgen dat de metingen iedere keer op dezelfde manier plaatsvinden, is het goed ook de bron van de meetgegevens weer te geven. Dit is een antwoord op de vraag: waar moet de ‘meter’ de gegevens halen die nodig zijn voor het uitvoeren van de metingen?
• Het vastleggen van de meetnorm is hetzelfde als het trekken van een grens. De organisatie bepaalt welke resultaten zij wil realiseren, of wat de precieze ‘omvang’ of ‘maat van verandering’ is die ze nastreeft. Concreet zoekt het team een antwoord op de vraag: welke waarde moet onze meting opleveren aan het einde van de periode die in onze doelstelling wordt beschreven? Of wanneer zijn we tevreden met wat de metingen ons tonen?
Je vorige beleidsplan kan een inspiratiebron zijn. Maak een opsomming van de indicatoren en ga na hoe goed en bruikbaar ze waren. Bekijk welke indicatoren werden bijgestuurd gedurende de beleidsperiode. De bruikbare indicatoren kunnen gerecycleerd worden indien ze aansluiten bij de nieuwe doelstellingen. Bovendien bieden ze de mogelijkheid om tijdreeksen te maken en evolutie(s) in de werking vast te stellen.
Evenwicht
Bij het vastleggen van de norm spelen de ambities van de organisatie een belangrijke rol, maar ook haar zin voor realisme en praktische haalbaarheid is bepalend. Het is niet de bedoeling meer tijd te steken in het meten van je resultaten dan in de werking van je organisatie. Ervaring leert dat te strenge of te moeilijk haalbare normen tot frustratie en demotivatie leiden. Te lage normen leiden dan weer tot een afname van de kwaliteit en verveling. Passende normen kiezen voor je organisatie is dus een kwestie van een goed evenwicht vinden tussen beide polen.
Na het uitwerken van de indicatoren bij de operationele doelen worden ze best, samen met de doelstellingen, overgemaakt aan de raad van bestuur. Die heeft het laatste woord in de keuze van de toekomstperspectieven van de organisatie. Ook hier is een ruimere consultatie van medewerkers en betrokkenen zinvol.
