Indicatoren staan in voor de verifieerbaarheid van de uitvoering van de doelstellingen. Het zijn de beschrijving van de meet- of verificatiegegevens die de organisatie zal moeten verzamelen om aan te tonen dat de betrokken doelstelling werd verwezenlijkt. Een indicator beantwoordt de vraag: “Wat moeten we meten om te weten of onze doelstelling werd verwezenlijkt?”, of: “Hoe gaan we aan het einde van de rit na en/of tonen we aan en/of bewijzen we dat we bereikt hebben wat we beloofd hadden?”
Als je erin geslaagd bent een operationeel doel en haar bijkomende acties START SMART te formuleren, dan is het vrij makkelijk er een indicator bij op te stellen. Hoe meer tijd het planningsteam besteedt aan het START SMART-formuleren van de acties, hoe sneller je een goede indicator vindt. Als de doelstelling juist zit, kunnen we daaraan vrij eenvoudig koppelen wat we willen weten om te bepalen of we geslaagd zijn in ons opzet, en hoe we de juiste dingen gaan meten om net dat te weten te komen.
De praktijkervaring leert dat het minder tijdrovend is de doelstellingen en acties SMART’er te maken dan een goede indicator te zoeken. Medewerkers die niet betrokken zijn bij het planningsteam kunnen hier een waardevolle inbreng hebben vanuit hun concrete praktijkervaring én hun afstand tot het reeds geleverde planningswerk.
Een indicator geeft een aanwijzing over de mate waarin we een doelstelling hebben gerealiseerd. Maar wanneer en met welke ‘mate’ zijn we tevreden? Vanaf wanneer is ons werk geslaagd te noemen? Bij elke indicator hoort een norm die aangeeft wat we – bij wijze van spreken – minimaal willen realiseren. (Soms wordt die ook ‘meetnorm’ genoemd.)
In de tekst hieronder gaan we in op allerlei aspecten van goede indicatoren:
Het belang van sterke indicatoren
Types van indicatoren
Meetbaarheid van indicatoren
Werkbaarheid van indicatoren
Evenwicht in indicatoren
Belang van sterke indicatoren
Indicatoren geven een aanwijzing over een bepaalde situatie en een richting van evolutie. Verschillende indicatoren samen geven een groter beeld over verschillende aspecten van een activiteit of zelf over een hele reeks van activiteiten.
- Om te kunnen aantonen dat een doelstelling werd bereikt, voegt men een ‘meetbare factor’ toe aan de doelstelling… en dat zijn de indicatoren.
- Indicatoren geven de gewenste resultaten/effecten weer die je in je doelstelling aanhaalt: ze zijn als het ware de toets van ‘S’ en ‘M’ van het SMART anagram.
- Ook om tussentijds al na te gaan of beloftes zullen kunnen ingelost worden, werkt men met indicatoren… grote voordeel is dan dat je tijdig weet waar het misloopt en/of waar je desgevallend moet bijsturen. Indicatoren helpen je dus niet alleen op het einde van de rit bij het nagaan of je in je opzet bent geslaagd, maar kunnen je onderweg ook al een grote dienst bewijzen.
- Vergeet niet, een indicator is een indicatie (what’s in a name)! Een aanwijzing waaruit je (tussentijdse) conclusies kan trekken, maar geen conclusie op zich!
Types indicatoren
Indicatoren bestaan in alle maten en gewichten. De meest voorkomende soorten vind je hier kort opgelijst. De ene reeks is al meetbaarder dan de andere en in vele gevallen genieten de ‘echte meetbare indicatoren de voorkeur. In het socioculturele werk echter, wordt er, omwille van de eigenheid van de werkingen van de organisaties evenwel vaak met minder makkelijk meetbare indicatoren gewerkt.
- Kwantitatieve indicatoren vs. kwaliteitsindicatoren (meten is niet altijd ‘tellen’ van de omstandigheden, maar kan ook peilen naar de inhoudelijke kwaliteit).
- Resultaatsindicatoren vs. inspanningsindicatoren: Als het erop aan komt aan te tonen dat het operationele doel heeft gewerkt en iets heeft bereikt of veranderd bij het doelpubliek, zijn resultaatsindicatoren het meest overtuigend. Inspanningsindicatoren tonen enkel of men zijn werk heeft gedaan zoals in de planning ‘beloofd’. Procesindicatoren is een soort tussenvorm: je kunt rapporteren over de processtappen (het proces zelf als resultaat én als inspanning) en over de uitkomst van het proces (resultaat).
- Directe indicatoren vs. indirecte indicatoren (waarbij directe indicatoren meteen aangeven wat de organisatie wil meten, en indirecte dat onrechtstreeks doen: vb. meten van tevredenheid: direct = evaluatieformulieren, indirect = klachtenprocedure).
- Gemengde indicatoren.
Meten is weten
Om goede normen en de indicatoren te vinden zal het planningsteam voor de operationele doelstellingen een antwoord moeten geven een aantal vragen.
“We are part of a count and measure culture. There are spoken and unspoken assumptions: if it can be measured it’s real; and if it can’t be measured it’s not so real.” (Paul Bullen)
Niet al het werk dat we doen kan kwantitatief gemeten worden of ‘geteld’. We maakten al duidelijk dat een groot deel van het jeugdwerk bestaat uit interventies die veranderingsprocessen als doel hebben. Om het resultaat van dat werk te omschrijven kunnen ook eerder kwalitatieve indicatoren en normen opgesteld worden.
We mogen evenwel niet uit het oog verliezen dat de buitenwacht, en zeker beleidsmakers, erg gevoelig zijn voor cijfers, onder invloed van een bepaalde vorm van ‘managerisme’. Daarom verdient het aanbeveling om bij het uitwerken van indicatoren en de bijbehorende normen een goede mix of dosering te vinden van zowel kwantitatieve als kwalitatieve indicatoren.
Om goede normen en de indicatoren te vinden zal het planningsteam voor de operationele doelstellingen een antwoord moeten geven op de volgende vragen:
- Wat moeten we weten, welk resultaat beogen we?
- Op welke vlakken/domeinen/thema’s beogen we resultaten?
- Hoe kunnen we de beschreven verandering(en) meten, verifiëren of aantonen?
Methode, frequentie, bron, norm
Bij het vastleggen van de indicator moeten nog enkele bijkomende beslissingen worden genomen (Let wel: hieronder gebruiken we het woord ‘meten’ ook als term voor het verkrijgen van kwalitatieve gegevens.)
- Het bepalen van de meetmethode. Welk instrument zal de organisatie gebruiken om de verandering te meten? Moet het team nog iets ontwikkelen of bestaat er al iets? Kunnen de bestaande instrumenten worden aangepast of uitgebreid om de gezochte gegevens te verkrijgen? Hoe deden we dat in het aflopende beleidsplan? Kortom: wat is effectief bruikbaar om de gegevens te verzamelen?
- Het vastleggen van de meetfrequentie en het meetmoment.Heel belangrijk is het vastleggen van het aantal keren dat er tussentijds gemeten wordt én het tijdstip waarop dat gebeurt. Tussentijdse metingen zijn handig om tendensen te kunnen bekrachtigen of af te zwakken, om bij te sturen als nodig. Het juiste moment kiezen om te meten of toch consequent om hetzelfde moment meten zorgt voor gelijkaardige meetomstandigheden hetgeen de resultaten alleen maar te goede komt.
- Het vastleggen van de meetbron. Door vast te leggen welke bronnen je aansnijdt om aan je gegevens voor de meting te komen, maak je het niet alleen duidelijk voor wie de meting uitvoert met welk materiaal gewerkt wordt, maar zorgt er tegelijk voor de tussentijds metingen met gelijksoortige gegevens worden gedaan om betrouwbaarheid van de vaststellingen te verantwoorden. Dit is een antwoord op de vraag: waar moet de ‘meter’ de gegevens halen die nodig zijn voor het uitvoeren van de metingen?
- Het vastleggen van de meetnorm. Het vastleggen van de meetnorm is hetzelfde als het trekken van een grens. De organisatie bepaalt zéér precies welke resultaten zij wil realiseren, of wat de precieze ‘omvang’ of ‘maat van verandering’ is die ze nastreeft. De meetnorm zal afhankelijk zijn van de ambities die men koestert in verhouding tot de realiteitszin die men aan de dag legt (want niets zo frustrerend als onhaalbare normen of normen die zonder uitdaging gehaald worden.
Concreet zoekt ze een antwoord op de vraag: welke waarde moet onze meting opleveren aan het einde van de periode die in onze doelstelling wordt beschreven? Anders geformuleerd: waar ligt voor ons de lat tussen oké en niet oké? Nog anders: wanneer zijn we tevreden met wat de metingen ons tonen?
In deze context is een nulmeting bijvoorbeeld erg belangrijk om vast te leggen welke procentuele stijging men ambieert tegenover de huidige situatie (of de situatie na een eerste tendensmeting)
Een vorig beleidsplan kan een inspiratiebron zijn. Maak een opsomming van de indicatoren en ga na hoe goed en bruikbaar ze waren. Ga na welke indicatoren werden bijgestuurd gedurende de beleidsperiode. De argumenten van toen zijn aanknopingspunten om betere indicatoren te vinden en te formuleren. De bruikbare of goede indicatoren kunnen gerecycleerd worden als ze aansluiten bij de nieuwe doelstellingen. Bovendien bieden ze de mogelijkheid om tijdreeksen te maken en evolutie(s) in de werking vast te stellen.
Evenwicht
Dit is een van de moeilijke keuzemomenten in de beleidsplanning. Vandaar ook het grote belang van het kunnen beschikken over de juiste gegevens over de huidige situatie als de organisatie de wenselijke situatie in de toekomst wil bepalen. Het is bijvoorbeeld erg moeilijk in te schatten hoe tevreden de vrijwilligers in 2020 moeten zijn als men niet weet hoe (on)tevreden ze nu zijn!
In het vastleggen van de norm spelen de ambities van de organisatie een belangrijke rol. Maar ook haar zin voor realisme en praktische haalbaarheid is bepalend. Het is niet de bedoeling meer tijd te steken in het meten dan in de werking! De ervaring leert dat te strenge of te moeilijk haalbare normen tot frustratie en demotivatie leiden, te lage normen tot een afname van de kwaliteit. Het kiezen van passende normen voor een organisatie is dus een kwestie van een goed evenwicht tussen beide polen.
Na het uitwerken van de indicatoren bij de operationele doelen worden ze het best, samen met de doelstellingen, overgemaakt aan de raad van bestuur. Ook hier is een ruimere consultatie van medewerkers en betrokkenen zinvol.
