Een sterke onderzoeksfase vraagt om een doordachte en oprechte onderzoekende houding. Vaak genoeg laten we die onderzoekende grondhouding los en verwerven we kennis veelal om onze intuïtie te bevestigen. Met ons buikgevoel in de richting van een bepaald antwoord sturen we ons onderzoek in de richting van bepaalde resultaten die onze intuïtieve keuzes bevestigen. Maar onderzoek kan enkel vaststellingen doen en zaken aantonen, het kan je niet zeggen wat je moet doen.
Een oprechte onderzoekende houding houdt in dat je:
- kritisch afstand neemt van wat vanzelfsprekend lijkt.
- vooroordelen aan de kant schuift ten voordele van onbevangenheid.
- nieuwsgierig bent en op onderzoek uitgaat.
Het is een kwaliteitsprincipe dat men pas tot haalbare (verbeter)projecten kan komen als ze gebaseerd zijn op objectiveerbare gegevens. Dit doe je door gegevens te verzamelen via verschillende bronnen en aandacht te schenken naar het verzamelen van feiten en van objectiveerbare of intersubjectieve informatie.
Het uiteindelijke doel van zo’n objectiverende aanpak bij beleidsontwikkeling is het creëren van de mogelijkheid om de gebruikelijke denk- en beslissingspatronen te doorbreken. Zeker in kleinere organisaties voert vaak dezelfde kleine kring van mensen de discussies. Daardoor kunnen evidenties en gewoonten ontstaan die de keuze- en oplossingsmogelijkheden beperken. Door andere (objectieve en intersubjectieve) informatie in de discussie binnen te brengen, verruimt of verfijnt men de definitie van de situatie of het probleem, en vergroot men het aantal mogelijke oplossingen. Tijdens het proces zou dit ertoe moeten leiden dat stokpaardjes niet langer de discussie beïnvloeden, dat persoonlijke ideeën een minder grote rol spelen en dat de toekomst van de organisatie een objectievere basis krijgt. Ook bij de invoering van het beleidsplan zal deze manier van werken vruchten afwerpen, omdat de betrokkenen eenduidiger zullen inzien op welke grond de beleidskeuzes werden gemaakt.
Goed onderzoek vertrekt vanuit goede onderzoeksvragen. Wie de juiste vragen stelt kan op zoek naar de juiste bronnen en de juiste methode om de informatie te verzamelen.
Belangrijk is het daarbij ook steeds aandacht te hebben voor de gegevens verzameling en daarbij ook al een beetje rekening te houden met de analyse methode die je gaat hanteren.
Je doorloopt dus 4 stappen in de beginfase van fase 3:
Onderzoeksvragen
Verwondering en vraagstelling staan centraal. Je blijft vragen stellen om tot vaststellingen te komen. Een valkuil is om te veel vast te houden aan het bestaande of je eigen buikgevoel, waardoor je het onderzoek gaat (onbewust) sturen. Laat dus je beleidskeuzes en visieontwikkeling achterwege tot wanneer je onderzoek is afgerond. Enkel zo baseer je keuzes op onderzoek in plaats van onderzoek op keuzes.
Een cruciaal element in een sterk onderzoek zijn de juiste onderzoeksvragen. Zonder goede vragen kan je immers ook geen sterke antwoorden verkrijgen. Neem je tijd om vragen op te stellen die voor jouw organisatie van belang zijn. Daarbij is het belangrijk om een doel voor ogen te hebben. Onderzoek heeft immers een doelstelling met daar aan gekoppeld een vraagstelling. Stel jezelf dus eerst de vraag wat je wil bereiken met je onderzoek: wil je beschrijven, evalueren, verklaren, voorspellen, vergelijken, verbetersuggesties doen? Elk van deze doelstellingen houdt andere vragen in.
Onderzoeksvragen kunnen allerlei topics beslaan en zich zowel op de organisatie richten, alsook een externe focus hebben. Vaak genoeg komen we uit bij zeer brede vragen met zeer veel invalshoeken. Als je echter gericht gegevens wil verzamelen ga je best van een breed thema met verschillende invalshoeken, naar één concrete vraag. Maak daarin doordachte keuzes. Via deelvragen kan je nog steeds de verschillende aspecten belichten.
Een sterke hoofdvraag is:
- inhoudelijk (geeft aan waar het om gaat).
- concreet en precies (geeft ook aan om welke onderzoeksobjecten het gaat).
- geformuleerd in begrijpelijke taal.
- in dienst van de doelstelling van je onderzoek.
Vermijd daarbij normatieve vragen (vb. Is iets slecht/goed?), beleidsvragen (vb. Wat moeten we doen?) en verbetervragen (vb. Hoe doen we het beter?), gesloten vragen of waarom-vragen. Een sterke onderzoeksvraag tracht vaststellingen te doen en iets te onderzoeken eerder dan te labelen of richting te geven. Richting kies je immers pas nadien.
Een voorbeeld uit het toekomstverkenningsonderzoek:
Welke maatschappelijke ontwikkelingen zullen de omgeving van het jeugdwerk meebepalen?
deelvragen:
- Wat zijn de kenmerken van het jeugdwerk als werkveld?
- Welke maatschappelijke ontwikkelingen kunnen we vaststellen?
- Welke transitiegebieden kunnen we identificeren voor het jeugdwerk?
- Welke veranderingen dienen zich aan in die transitiegebieden?
Enkele voorbeelden van goede en slechte onderzoeksvragen
| NIET | WEL |
| Is scheiden slecht voor kinderen? => Dit is een normatieve vraag waarbij de onderzoeker stuurt en zijn of haar eigen mening laat doorschijnen. | Wat betekent het scheiden van ouders voor kinderen? |
| Wat kunnen we doen om onze samenwerking te optimaliseren? => Dit is een verbetervraag en verbeteren vraagt om een bepaalde strategie die je zelf moet bepalen op basis van onderzoek. Je moet dus eerst antwoorden verzamelen op een beschrijvende of verklarende vraag. | Hoe verloopt de samenwerking tussen organisatie X en organisatie Y? In welke mate draagt de samenwerking tussen organisatie X en organisatie Y bij tot het behalen van de doelstellingen van organisatie X? In welke mate draagt de samenwerking tussen organisatie X en organisatie Y bij tot het behalen van de doelstellingen van organisatie Y? |
| Kunnen we ons aanbod meer op maat maken van onze doelgroep en onze vrijwilligers? => Dit is een ja/nee vraag en dus een (sturende) gesloten vraag. Bovendien bevat deze vraag eigenlijk meerdere vragen en is dus zo een cocktailvraag (doelgroep & vrijwilligers). | Hoe ervaren jongeren product X? Wat zijn voor de vrijwilligers van werking Y belangrijke voorwaarden om een engagement op te nemen in werking Y? |
| Hoe kunnen we beter vinger aan de pols houden bij kinderen en jongeren? => Deze vraag bevat een spreekwoord of zegswijze en kan dus voor verschillende interpretaties zorgen. | Hoe kan De Ambrassade op een efficiënte en kwaliteitsvolle manier weten wat er leeft bij kinderen en jongeren in Vlaanderen? Welke methodes gebruikt De Ambrassade vandaag om te weten wat er leeft bij kinderen en jongeren in Vlaanderen? Op welke manier houden andere bovenlokale organisaties voeling met kinderen en jongeren? |
Vanuit De Ambrassade schuiven we de SWOART methode naar voren als analysekader. Deze methode deelt bronmateriaal en gegevens uit je onderzoek volgens een bepaald kader in, om zo sneller tot concrete beleidsuitdagingen of -opties te komen. Om het volledige kader in te kunnen vullen, impliceert de methode enkele vragen, bijvoorbeeld de aspiraties van je medewerkers of de resultaten die stakeholders willen zien.
Bronnen
Eens het beleidsplanningsteam/de stuurgroep het eens is over de onderzoeksvragen, is het tijd om op zoek te gaan naar de juiste bronnen om gegevens te verzamelen. Er zijn oneindig veel bronnen waarmee je gegevens kan verzamelen. De kunst is om gericht te zoeken en bronnen aan te spreken die relevant zijn in het kader van je onderzoeksvragen.
Bv. Wanneer je een vraag stelde rond resultaten die je organisatie moet bereiken aan het eind van de rit, dan kan je hier met je beleidsplanningsteam een grondige denkoefening rond maken. Nog relevanter echter, kan zijn om je doelpubliek zelf te bevragen: wat vinden zij relevante resultaten. Eventueel spreek je ouders van je doelpubliek aan, of ga je te rade bij je (oud)vrijwilligers. Zij staan vaak met beide benen in je werkveld en hebben soms meer en snellere verbanden met kinderen en jongeren. Op die manier kom je snel op het spoor van hun wensen en verlangens.
Voor elke vraag kan je verschillende bronnen aanspreken, en voor elke bron kan je verschillende methodes inzetten. Neem de tijd om grondig te reflecteren welke methode het best werkt voor je bron en wat je de meest ideale gegevens oplevert.
Vooronderzoek
Vooraleer je zelf onderzoek gaat uitvoeren, ga je eerst kijken wat er al ligt. Het is opnieuw belangrijk om hierbij een open blik te houden en alles op je af te laten komen. Vooraleer je zelf aan de slag gaat met een methodiek, doe je eerst een vooronderzoek. Een vooronderzoek bestaat uit één of meerdere van onderstaande onderdelen:
- Je leert de bestaande bronnen kennen: Welke rapporten, cijfers, onderzoeken bestaan er al?
- Je leert het netwerk kennen: wie heeft hier expertise?
- Je leert de doelgroep kennen: Welke doelgroep wil ik specifiek onderzoeken? Wat zijn de noden van deze doelgroep binnen het onderzoek?
Bronnen zijn dus niet enkel rapporten maar ook: intermediairen, organisaties, onderzoekers, enzovoort waar je gesprekken mee kan voeren. Je kan ook al verkennende gesprekjes doen met je doelgroep, bv. chatgesprekjes, telefoon gesprekje. In deze nieuwsgierige informele gesprekken kan je een bepaalde methodiek of aanpak op voorhand aftoetsen met je doelgroep of kan je ook al een bepaalde veiligheid inbouwen.
Uiteindelijk heeft je vooronderzoek twee mogelijke uitkomsten:
- Je vraag is beantwoord.
- Je herkent kennisgaten of je nood is nog niet ingevuld via bronnen en gaat verder onderzoek doen.
Vooronderzoek is dus een cruciale en tijdsbesparende stap. Indien je deze stap overslaat, ga je mogelijks onnodig energie steken bijvoorbeeld het opstellen van een grootschalig onderzoek, terwijl er ook al via andere rapporten dezelfde data voor handen is.
Bronnen beoordelen
Voor je onderzoeksfase gebruik je een brede waaier aan bronnen (groepen mensen, onderzoeksrapporten, wetenschappelijke artikels, boeken…), maar hoe beoordeel je nu of een bron bruikbaar is om conclusies op te baseren?
Vaak worden we verleid om een bron voor ‘waar’ aan te zien wanneer ze cijfers hanteert, experten naar voren schuift of simpelweg omdat er staat ‘onderzoek zegt dat…’. Wanneer je je bronnen kritisch wil beoordelen, stel jezelf de vraag of …
- de oorspronkelijke bronnen terug te vinden zijn.
- er tegenargumenten gegeven worden.
- of de auteur standpunten inneemt (en hier open over is).
- of de methode beschreven wordt.
Lees dus zeker niet enkel de conclusies van een onderzoek, maar zeker ook de gehanteerde methode (is men transparant over hoe alles gebeurd is?) en lees liever verschillende bronnen van verschillende auteurs over één thema, dan een enkel onderzoek voor waar aan te nemen.
Met De Ambrassade hebben we een heleboel interessante bronnen verzameld die bruikbaar zijn bij verschillende delen van je onderzoeksfase, maar in het bijzonder bij je omgevingsanalyse.
Je vindt al deze bronnen terug in dit overzichtsartikel op de website van De Ambrassade.
Onderzoeksmethode
Je kan verschillende methodes hanteren om je gegevens te verzamelen. Vertrekkende vanuit je onderzoeksvraag kan je kiezen voor bepaalde bronnen en methodes. Binnen de grote waaier aan methodes zijn er twee categorieën kwantitatieve methodes (resultaten zijn cijfers), kwalitatieve methodes (resultaten zijn woorden en betekenissen). Beide soorten onderzoek zijn belangrijk om verschillende soorten informatie te verzamelen. Idealiter gebruik je een combinatie van zowel kwantitatieve als kwalitatieve methodes om je keuzes te staven.
Om een keuze te maken tussen deze soorten onderzoek, alsook bij het kiezen voor een methode is het belangrijk om je doel en je vraag in kaart te kennen. Volgende vragen kunnen je alvast helpen om te kiezen tussen kwantitatief of kwalitatieve methodes:
| Kwantitatief onderzoek | Kwalitatief onderzoek |
| Wil ik algemene trends kunnen zien? | Wil ik beter begrijpen waarom een trend zich voordoet? Wat iets betekent voor mensen? Welke ervaringen mensen hebben? Verkennen? |
| Wil ik weten in hoeverre iets waar is? In welke mate zich iets voordoet? | Wil ik interacties begrijpen tussen mensen? |
| Wil ik een uitspraak doen over een grote groep? | Wil ik ervaringen en meningen horen? |
| Wil ik in de diepte een fenomeen begrijpen? Een gevoelig onderwerp bespreken | |
| Wil je een kwetsbare of moeilijk te bereiken groep bevragen? |
Welke gegevens heb je nodig om een vlotte analyse te kunnen voeren?
Welke middelen heb je voor handen: wie kan hoeveel tijd investeren, heeft de organisatie toegang tot bepaalde bevragingstools, zijn er middelen om bepaalde tools aan te kopen…?
Pro’s en contra’s van de methodes
Elke methode heeft zijn eigenheid, zijn kracht en valkuilen of de voor- en nadelen. Kies een methode in functie van wat je wil weten en wie je wil bevragen. Hieronder zetten we van enkele methodes het gebruik en de voor- en nadelen op een rij.
KWANTITATIEF ONDERZOEK
| Survey of enquête | |
| Een enquête is een bevraging in de vorm van een vragenlijst met vragen die vast liggen en aan meerdere personen wordt voorgelegd. Het onderzoek kan zowel gaan over feiten als meningen. | |
| Nadelen | voordelen |
| De voorbereiding is tijdsintensief en vraagt enige statistische kennisKans op miscommunicatie: geen optie om interpretatie vraag te verifiëren wat kan leiden tot foutieve resultaten en frustratiegevaar.Antwoordgraad is laag (enquêtemoeheid).Vragen worden soms onbeantwoord of foutief ingevuld.Representativiteit en veralgemeningen zijn moeilijk, tenzij je werkt met wegingen of een sampling strategie. | Je kan een grote groep bevragen.Lage kost(relatief) snelle resultatenHet is efficiënt: je moet niet met respondenten afspreken, je kan je data verzameling in een korte periode doen.Je kan meer algemene conclusies trekken.Je kan grotere trends aan het licht brengenKan anoniem opgezet worden (minder sociaal wenselijkheid) |
KWALITATIEF ONDERZOEK
| Het diepte-interview | |
| Een een-op-een interview waarbij de focus ligt op het achterhalen van diepgaande informatie en trends. Deze informatie kunnen meningen, opvattingen, ervaringen of emoties zijn. Je kan een antwoord geven op ‘de waarom-vraag’. | |
| Nadelen | voordelen |
| Afname en verwerking (transcriberen en coderen) zijn tijdsintensief.Mogelijke sociale wenselijke antwoorden. => denk na over de positie t.a.v. de deelnemer (veiligheid, macht…)Geen anonimiteit. | Persoonlijk contact, personalisatie is mogelijkJe krijgt ook informatie uit lichaamstaal, stiltes, manier van vertellen…Ruimte om door te vragen (wat, waarom, hoe, beschrijf,..).Weinig kans miscommunicatie.Een ideale methode voor gevoeligere thema’s of een kwetsbare doelgroepRijke en diepere data dan bij een focusgesprek. |
| De Focusgroep | |
| Een focusgroep is een methodiek waarbij een groep van mensen tegelijk wordt bevraagd naar hun meningen, ideeën, ervaringen, interacties tussen individuen en emoties via een kringgesprek. | |
| Nadelen | voordelen |
| Moeilijker te organiseren: iedereen samen krijgen is niet evident.Minder controle over verloop.Risico op sociale wenselijkheid is groot. Afwijkende meningen staan automatisch onder druk.Groepsdynamiek: Roepers vaak meer aan het woord. | Diepere inzichten, kracht van het debat en uitwisseling perspectieven.Interessant voor verkenning, levert vaak onverwachte inzichten op.Patronen komen snel naar boven, metareflectie.Individuen voelen zich soms meer op hun gemak om met groep te spreken, dan individueel, zeker voor personen in kwetsbare situaties. Deelnemers kunnen samen reflecteren en discussiëren. Ze kunnen elkaar helpen in het vormen of uitten van hun gedachten en ervaringen.Je wil eerder dan in de diepte een trend begrijpen, feedback krijgen over een campagne, of een analyse dat je al hebt gemaakt van een fenomeen.Het is minder tijdsintensief dan een één op één interview. |
Er zijn uiteraard nog veel meer methodes die je kan gebruiken, hieronder enkele (mogelijks) minder voor de hand liggende ter inspiratie:
PARTICIPERENDE OBSERVATIE:
Een antropologische methode waarbij je gedrag van mensen gaat observeren terwijl je zelf deelneemt. Wat mensen doen, zegt vaak meer dan wat zij erover vertellen.
Bv. je gaat mee op een kadervormingscursus, neemt deel en komt zo in contact met de doelgroep van je kadervormingscursussen.
PARTICIPATIEF JEUGDONDERZOEK MET BEHULP VAN FOTOGRAFIE
Kinderen en jongeren schakel je in als mede onderzoekers. Ze mogen zelf vastleggen hoe zij iets beleven.
Bv. je geeft tijdens een activiteit de jongeren een fototoestel mee en laat ze beelden vastleggen over hoe zij deze activiteit beleven.
DAGBOEK ONDERZOEK
De deelnemers registreren in een schriftje of app hun gedrag of ervaringen over een langere periode. Op deze manier kan je diepgaande, gedetailleerde informatie verzamelen.
Bv. Je vraagt een groep leiding of leden van een lokale groep een dagboek/logboek bij te houden over hun beleving voor, tijdens en na de activiteiten gedurende een maand.
In het 2e deel van deze fase schuiven we een aantal te onderzoeken elementen naar voor, de omgeving, de stakeholders, de organisatie zelf… Bij elk van deze geven we wat inspiratie over de te hanteren methodes. Hou daarbij bovenstaande tips steeds in je achterhoofd.
Gegevens verzamelen
Doorheen je onderzoek verzamel je steeds meer gegevens: elementen uit de geschiedenis van de organisatie, gegevens uit de huidige werking, gegevens uit het vorige beleidsplan en uit eventuele aanpassingen en evaluaties, de opmerkingen en suggesties uit de bevraging van de stakeholders, de resultaten van de interne zelfevaluatie en de gegevens uit de omgevingsanalyse.
Het gevaar bestaat dat de stuurgroep verdrinkt in de veelheid van informatie. Gegevens verzamelen is goed, maar uiteindelijk moet het team in de volgende fase ook tot een synthese komen, uitdagingen en prioriteiten of opties kunnen formuleren.
Aan het eind van je onderzoeksfase wil je kunnen beschikken over een werkbaar en inzichtelijk geheel aan gegevens. Hou er dus ook rekening mee dat je al je gegevens in tussentijd gestructureerd opslaat. Een eerste bewerking kan hier soms van pas komen.
Bv. Indien je een grootschalige bevraging inplant, helpt het om je gegevens een eerste indeling te geven. Via Surveymonkey stel je vrij gemakkelijk surveys of online vragenlijsten op. Het programma heeft het voordeel dat je de gegevens er in diagrammen en figuren uit kan halen.
Bv. Indien je een uitgebreide face-to-face bevraging van stakeholders doet, probeer de grote lijnen ervan dan in een overzichtelijk verslag te gieten.
! LET OP: overzicht maken houdt vaak ook al een eerste vorm van interpretatie in. Spring hier bewust mee om en probeer steeds neutraal alle gegevens weer te geven. Dit kan door de gegevens te verwerken binnen een team in plaats van via één persoon.
