Vragen over Onderzoeksmethoden 2: Verdieping kwalitatieve technieken (OM2)

De vragen en discussies die bij Onderzoeksmethoden 2: Verdieping kwalitatieve technieken horen: verbanden, tegenstellingen en denkfouten uit de stof. 38 vragen, waarvan 36 met een antwoord dat vrij te lezen is.

Boeije & Bleijenbergh, hoofdstuk 1: Inleiding kwalitatief onderzoek

Wat bedoelen Boeije en Bleijenbergh met het eerstepersoonsperspectief, en wat mis je zonder?

Het eerstepersoonsperspectief (emic) is kijken door de ogen van de onderzochten: welke betekenis geven zij zelf aan wat ze meemaken. Het derdepersoonsperspectief (etic) is de theoretische blik van de onderzoeker. Zonder het eerste stel je alleen vast dát religie en vaccinatiegraad samenhangen, zoals bij Ruijs en collega's. Met het eerste begrijp je welk mechanisme dat verband maakt: welke geloofsopvatting, welke rol van de gemeenschap. Kwalitatief onderzoek zoekt het waarom, niet het hoe vaak.

Je bent als onderzoeker zelf het meetinstrument. Wat corrigeert reflectie op je eigen positie dan precies?

Ruijs en collega's melden dat zij geen binding hebben met de gereformeerde kerken, en zij analyseerden in teamverband. Dat maakt hun positie zichtbaar, maar het haalt haar niet uit het gesprek: de vragen zijn al gesteld. Reflexiviteit levert dus vooral controleerbaarheid op. Wat repareer je daarmee, en wat schrijf je alleen eerlijk op?

Dovi (2006): Political representation

Wat is het verschil tussen een descriptieve vraag en descriptieve representatie?

Een descriptieve vraag gaat over wat representatie is, tegenover een normatieve vraag over wat een vertegenwoordiger hoort te doen. Descriptieve representatie is iets anders: Pitkins opvatting dat de vertegenwoordiger op de vertegenwoordigden lijkt, in uiterlijk, ervaring of gedeelde belangen. Je kunt dus een normatieve vraag stellen over descriptieve representatie, bijvoorbeeld of gelijkenis mag meewegen bij je stem. Zeg in je eigen tekst daarom altijd welke van de twee je bedoelt.

Een deelnemer zegt: “zij komt ook uit de wijk, dus zij snapt het.” Is dat één oordeel of twee?

Volgens Pitkin zijn het er twee: gelijkenis (descriptief) en handelen in jouw belang (substantieel). De deelnemer leidt het tweede uit het eerste af, en dat is precies de stap waarvan Pitkin zegt dat je er niet op kunt rekenen. Codeer je die zin dan met twee codes, of is de koppeling zelf je bevinding?

De Jong & Mügge (2024): Political representation and intersectionality

Waarom kozen De Jong en Mügge voor groepsgesprekken en niet voor losse interviews?

Omdat hun vraag zelf een groepsvraag is: wie hoort bij “ons” en wie vertegenwoordigt ons. In een groepsgesprek onderhandelen deelnemers daarover met elkaar, en die interactie is de data. Zo werd zichtbaar hoe zij de staatscategorieën van de overheid omvormen tot “geracialiseerde Nederlanders” of “minderheden”. Een interview levert wel de eigen identificatie op, maar niet het proces waarin een groep die identificatie samen bijstelt.

De auteurs bekritiseren staatscategorieën en trekken hun steekproef er toch mee. Kan dat allebei?

Zij zeggen het zelf: zelfidentificatie kan de categorie niet vervangen, want je hebt haar nodig om je deelnemers te vinden. De kritiek geldt de analyse, niet de werving. Waar ligt in jouw eigen voorstel de grens tussen een categorie als ingang en een categorie als bevinding?

Bryman, hoofdstuk 2 (§2.2 tot 2.5): Social research strategies

Wat is nu precies het verschil tussen epistemologie en ontologie?

Epistemologie gaat over wat als kennis telt en hoe je eraan komt: positivisme wil de sociale wereld bestuderen zoals je de natuur bestudeert, interpretivisme wil betekenis begrijpen vanuit de actor zelf. Ontologie gaat over wat sociale werkelijkheid is: bestaan een organisatie of een cultuur los van mensen (objectivisme), of maken mensen ze steeds opnieuw (constructionisme)? De eerste vraag gaat over jouw manier van kijken, de tweede over wat je bekijkt.

Williams en collega's toetsten een theorie deductief met tweets. Wat maakt onderzoek dan nog kwalitatief?

Tweets zijn woorden, maar zij codeerden ze tot een binaire maat en toetsten daarmee de broken windows-theorie. Kwalitatief blijkt dus niet aan het materiaal te hangen. Zit het dan in de vraag, in de analyse, of pas in wat je met de betekenis van dat materiaal doet?

Boeije & Bleijenbergh, §2.2 en 2.3: Literatuuronderzoek, theorie en probleemstelling

Wanneer neem je theorie mee als bril en wanneer als verwachting?

Als sensitizing concept zegt een begrip waar je op moet letten, zonder vast te leggen wat je vindt: je weet uit de literatuur dat vertrouwen ertoe doet, wat het voor jouw deelnemers betekent laat je open. Als hypothese zeg je vooraf wat je verwacht aan te treffen, en zoek je gericht naar gevallen waarvoor dat niet opgaat. De bril hoort bij een inductieve analyse, de verwachting bij een deductieve. Theorie is nooit een mal.

Bos verschoof haar vraagstelling toen het veld haar veronderstellingen tegensprak. Wanneer mag dat?

Het stigma van ongehuwd moederschap bleek in Tamil Nadu geen rol te spelen, dus werd de vraag een andere. Dat is het veld dat je corrigeert. Maar een vraag die zich naar het gevonden antwoord voegt, is achteraf altijd beantwoord. Waaraan zie je in je eigen verslag het verschil?

Boeije & Bleijenbergh, hoofdstuk 3: Het bepalen van de steekproef

Wat betekent representatief in een kwalitatieve steekproef?

Niet dat de aantallen kloppen, maar dat alle relevante variatie erin zit. Dat heet variatiedekking, de basis van inductieve generalisatie. Zes goed gekozen bewoners van een buurt zeggen daarom meer dan twaalf studenten van twintig. Je bereikt die dekking vooraf, door de populatie met criteria uit de literatuur op te delen, of gaandeweg met theoretische steekproeftrekking. Wil je iets zeggen over een buurt die je niet onderzocht, dan generaliseer je via analogie en moet je jouw situatie zo beschrijven dat de lezer de vergelijking kan wegen.

Mag je na acht interviews zeggen dat je verzadiging hebt bereikt?

Verzadiging is het punt waarop een nieuw gesprek geen nieuw thema meer oplevert. Maar je hoort alleen niets nieuws van de mensen die je hebt uitgenodigd, en die koos je zelf. Is verzadiging dan een eigenschap van je data, of van je steekproef?

Barbour (2010): Focus groups (pp. 7-17): wanneer, werving en steekproef

Waarom is een groepsgesprek geen snelle manier om zes interviews tegelijk te doen?

Omdat de opbrengst iets anders is. De kracht zit in de interactie: deelnemers knikken, vullen elkaar aan en bouwen samen een verklaring op die niemand vooraf paraat had. Daardoor werkt de methode goed bij vragen naar waarom mensen iets níet doen, waar ze alleen moeilijk woorden voor vinden. En de groepen zelf zijn je vergelijkingsmateriaal, want je stelt ze met opzet verschillend samen. Dat vraagt vooraf werk aan steekproef, topiclijst en stimulusmateriaal.

In groep F bouwen drie vrouwen samen een verklaring op en zeggen dat ze in hetzelfde schuitje zitten. Heb je dan een opvatting blootgelegd?

Of er een laten ontstaan? Wat in de groep gezegd wordt, is mede het product van wie erbij zit en wie als eerste sprak. Barbour ziet dat als winst: de groep geeft mensen toestemming om iets te verwoorden. Wanneer is zo'n gezamenlijke verklaring nog een bevinding over deze vrouwen, en wanneer over dit gesprek?

Boeije & Bleijenbergh, hoofdstuk 5 (pp. 97-106): Twee benaderingen van kwalitatieve analyse

Wat lost coderen op, en wat niet?

Coderen ordent je materiaal: je geeft fragmenten een naam en brengt ze samen in thema's. Wat het niet doet, is verbanden leggen. Die komen uit constante vergelijking (elk nieuw fragment naast de eerdere leggen), uit nieuw materiaal dat je gericht ophaalt en uit je memo's, waarin je opschrijft welk inzicht je krijgt en wat je daarmee doet. Een codelijst is dus geen analyse, maar het gereedschap waarmee je er een maakt.

Eén geval dat niet klopt: je theorie bijstellen of juist een nieuw thema?

Bij de liaan is één negatieve casus genoeg om je raamwerk te verwerpen of te verfijnen. Bij de slang is datzelfde geval vergelijkingsmateriaal waarmee een thema scherper wordt. Zelfde waarneming, twee gevolgen. Bepaalt de keuze uit je opzet dan wat een afwijkend geval betekent?

Over het vak

Kwalitatief onderzoek beoordeel je niet op representativiteit en betrouwbaarheid zoals kwantitatief onderzoek. Waaraan kan een lezer dan wél zien dat jouw analyse deugt?

Nog geen antwoord: een vraag om zelf over na te denken.

Als een groep mede ontstaat doordat iemand namens haar spreekt, kan een focusgroep dan vaststellen wat die groep vindt, of maakt het gesprek dat pas?

Nog geen antwoord: een vraag om zelf over na te denken.

Boeije & Bleijenbergh, hoofdstuk 8 (pp. 153-168): Kwaliteit van onderzoek

Als de onderzoeker zelf het meetinstrument is, hoe kan onderzoek dan ooit objectief zijn?

Door objectiviteit anders op te vatten dan "de onderzoeker uitschakelen". Boeije en Bleijenbergh nemen de omschrijving van Maso en Smaling (1998) over: objectiviteit is recht doen aan het object van onderzoek. Dat betekent dat je binnen je probleemstelling zo veel mogelijk te weten komt over je onderwerp, zodat je bevindingen en conclusies de sociale realiteit zo adequaat mogelijk representeren. Volledig lukt dat nooit; uitkomsten kunnen wel meer of minder aannemelijk zijn (Bosch, 2012).

Die aannemelijkheid komt in kwalitatief onderzoek vooral van intersubjectiviteit: zo groot mogelijke overeenstemming tussen onderzoekers over resultaten en conclusies. Werk je in een team, dan vergelijken onderzoekers met verschillende achtergronden elkaars interpretaties, vullen ze die aan en stellen ze bij, en de gedeelde keuzes zijn ook naar derden te verantwoorden. Zo wordt aannemelijker dat de resultaten niet gekleurd zijn door de opvattingen van één persoon.

Merk op dat het empirisch-analytisch paradigma hier anders in staat: kennis moet daar juist ontdaan worden van persoonlijke voorkeuren en overtuigingen, en herhaalbaar en controleerbaar zijn. Wie die visie op kwaliteit aanhangt ziet in kwalitatief onderzoek zoveel bedreigingen dat het hooguit een voorstadium van kwantitatief onderzoek lijkt. Het antwoord op je vraag hangt dus af van welk paradigma je aanhoudt, en dat is precies waarom de visies op kwaliteit uit elkaar lopen.

Als reflexiviteit bij voorbaat onvolledig is, en checklijsten vooral de procedure toetsen, waar blijft het oordeel over de inhoud dan?

Beide beperkingen staan in het hoofdstuk zelf. Reflexiviteit blijft onvolledig omdat onderzoekers maar een deel van zichzelf, hun onderzoek en hun participanten laten zien: gênante onderwerpen blijven onbesproken, fouten en professionele zwakheden geven zij niet snel toe, en soms is de grens tussen persoonlijk leven en onderzoek zo vaag dat ze bepaalde invloeden zelf niet opmerken (Weiner-Levy & Popper-Giveon, 2013). Bij checklijsten geldt iets vergelijkbaars: zij bevatten voornamelijk methodologische criteria, dus een studie kan een voldoende halen omdat ze procedureel in orde is, terwijl de inhoudelijke uitkomsten weinig toevoegen en niet relevant zijn. Oordelen van referenten met verschillende checklijsten hangen bovendien lang niet altijd samen (Dixon-Woods et al., 2007).

Het hoofdstuk wijst twee kanten op. Enerzijds kan de lezer de verborgen invloeden in ieder geval vermoeden op basis van de reflecties van de onderzoeker, en helpen fragmenten met hun interpretatie erbij om te controleren of je je in die interpretatie kunt vinden. Anderzijds wordt de analyse uiteindelijk vaak gewaardeerd in samenhang met de resultaten, want dat zijn de uitkomsten van het analyseren (Matthews, 2005).

Dat brengt de vraag terug bij jou als beoordelaar. Als een studie op alle vijf de categorieën van Ravenek en Rudman scoort maar je na lezing niets nieuws weet over het onderwerp, welk oordeel geef je dan, en waaraan ontleen je dat oordeel als de checklijst je daar niet bij helpt?

Bryman, hoofdstuk 6 (§6.4 tot 6.6): Ethics and politics in social research

De BSA staat verhuld onderzoek toe wanneer essentiële data "onmogelijk anders" te verkrijgen zijn. Maar wie beoordeelt dat eigenlijk?

De onderzoeker zelf, en dat is precies het ongemakkelijke punt. De richtlijn legt de beslissing bij de partij die er het meeste belang bij heeft dat het antwoord "ja" luidt: wie een gesloten groep wil bestuderen en geen toegang krijgt, komt makkelijk tot de conclusie dat er geen alternatief bestaat. De BSA erkent twee redenen die het overwegen waard zijn, namelijk dat mensen hun gedrag veranderen zodra ze weten dat ze bestudeerd worden, en dat machtige of geheimzinnige partijen de toegang tot een deel van het sociale leven afsluiten. Allebei zijn ze in bijna elk veld met enige moeite aannemelijk te maken, en daar zit de zwakke plek van de formulering.

Er zijn wel drie tegenwichten. Het eerste is de eis zelf: de richtlijn zegt niet "als openheid lastig is", maar "als het onmogelijk is", en dat verschil moet je kunnen opschrijven. Het tweede is de rekening die anderen betalen. Israel en Hay (2004) wijzen erop dat wie vertrouwelijkheid schendt zich moet afvragen wie onderzoekers in de toekomst nog te woord staat, en Erikson (1967) stelde dat verhulde observatie de reputatie van de sociologie schaadt en veelbelovende terreinen voor latere onderzoekers afsluit. Dat is een consequentialistisch argument dat losstaat van jouw project: de kosten vallen bij je opvolgers. Het derde is de nazorg die de richtlijn eraan hangt, namelijk extra nadruk op anonimiteit en het idealiter achteraf alsnog vragen van toestemming.

Wat het niet oplost is de grens zelf. Zelfs Bulmer (1982), die ethiek verder universalistisch benadert, vindt sommige gevallen te rechtvaardigen; Punch (1979) kon halverwege een politieactie moeilijk uitleggen dat hij geen rechercheur was. Het eerlijkste antwoord is dus dat de norm niet zelfstandig werkt maar afhankelijk is van verantwoording achteraf: je legt vast welke andere methoden je hebt overwogen en waarom ze afvielen, zodat een ander kan nagaan of "onmogelijk" hier echt onmogelijk betekende.

Als een insider blinde vlekken heeft en een outsider ook niet neutraal is, wat levert het nadenken over je eigen positie dan eigenlijk op?

Een aantrekkelijke gedachte is dat positionaliteit een correctie is: je brengt je positie in kaart, je telt de vertekening eruit, en wat overblijft is zuiverder. Maar zo wordt het nergens gepresenteerd. Haraway (2003) spreekt juist van situated knowledges, in het meervoud, en dat betekent dat de positie niet uit de kennis te verwijderen valt; kennis is altijd gedeeltelijk en hangt samen met de plek waarvandaan ze is gemaakt. Voor de insider geldt dat het extra vertrouwen echte winst is, met als prijs dat gedeelde vanzelfsprekendheden ongevraagd blijven (Chavez, 2008); voor de outsider dat afstand ruimte geeft, met als prijs dat buitenstaander zijn niet immuun maakt voor persoonlijke perspectieven (Dwyer en Buckle, 2009). Twee posities, twee soorten winst, twee soorten schade.

Dan blijft de vraag staan wat je met die erkenning doet. Ryan et al. (2011) kozen voor een praktische zet, namelijk peer researchers uit de gemeenschap, maar waarschuwden er zelf bij dat ook dat niet altijd werkt. Een tweede antwoordrichting is dat positionaliteit geen correctie maar een leesinstructie is: de lezer kan de bevinding wegen als hij weet wie er keek. Een derde is dat het vooral je dataverzameling stuurt, omdat je gaat doorvragen op precies wat je als insider vanzelf begreep.

Die drie sluiten elkaar niet uit, maar ze leiden wel tot verschillende paragrafen in je verslag. Welke van de drie schrijf jij op als je straks je eigen positie verantwoordt, en waaraan zou een lezer moeten kunnen zien dat het meer was dan een verplichte alinea?

Reich (2021): Power, positionality, and the ethic of care in qualitative research

Als de onderzoeker altijd deel uitmaakt van het onderzoek, waarom is kwalitatief onderzoek dan geen kwestie van smaak?

Dat is de conclusie die het snelst voor de hand ligt en die Reich juist niet trekt. Haar redenering loopt andersom: dat de onderzoeker meedoet is geen probleem dat je moet wegwerken, maar iets waarover je rekenschap aflegt. Precies dat maakt de methode controleerbaar in plaats van willekeurig.

Kijk naar wat er dan te verantwoorden valt. De positionaliteit van de onderzoeker als belichaamde actor stuurt de vraagstelling, de analyses en de keuzes over representatie, en die keuzes kun je opschrijven, uitleggen en bekritiseren. Davis en Khonach (2020) en Harding (1991) noemen dat epistemische verantwoording: rekenschap over de plek van waaruit je kennis maakt. Een lezer kan dan nagaan of jouw conclusie volgt uit wat je zag, gegeven waar je stond. Bij smaak valt niets na te gaan.

Er zit bovendien een ongemakkelijke omkering in. De sociale locatie en aannames van kwantitatieve onderzoekers werken volgens Reich net zo goed door in hun data; daar is rekenschap daarover alleen nog geen gewoonte (Ryan en Golden, 2006; Westbrook et al., 2021). Wie kwalitatief onderzoek subjectief noemt, vergelijkt het dus met onderzoek dat zijn eigen positie nooit expliciet maakt. Dat is geen vergelijking tussen streng en los, maar tussen zichtbaar en onzichtbaar.

Reich verwijt Aspers en Corte dat zij het werk van vrouwen, van scholars of color en van queer scholars over het hoofd zien. Is dat een verwijt over representatie of over de inhoud van hun definitie?

Het eerste deel van het antwoord is dat het bij Reich duidelijk het tweede is. Zij noemt de blinde vlek niet als kwestie van eerlijk citeren, maar omdat juist die literatuur van de afgelopen decennia gaat over wat het betekent om dichter bij een verschijnsel te komen. Wie die teksten overslaat, mist precies het onderdeel dat hij probeert te definiëren, en houdt een definitie over die nabijheid wel benoemt maar niet doordenkt.

Dat de twee verwijten in de praktijk in elkaar overlopen, maakt het interessanter. De feministische standpunttheorie (Hill Collins, 1986; Harding, 1991; Stacey en Thorne, 1985) zegt zelf dat kennis gesitueerd is en voortkomt uit een sociale locatie. Als dat klopt, dan is wíe er schrijft niet los te zien van wát er gezien wordt, en is een leeslijst dus ook een epistemologische keuze. Je leest Reichs kritiek dan met het gereedschap dat zij zelf aanreikt.

De vraag die daarna overblijft is scherper, en die moet je zelf beslissen. Stel dat Aspers en Corte dezelfde definitie hadden geformuleerd nádat zij die literatuur wél hadden gelezen. Was hun definitie dan anders geweest, of hadden zij hem alleen beter kunnen verdedigen? Kijk bij je antwoord naar wat Reich precies toevoegt: positionaliteit, macht en zorg. Volgt dat logisch uit "getting closer", of is het iets wat je alleen ziet als je van die andere teksten komt?

Soedirgo & Glas (2020): Toward active reflexivity: positionaliteit in de praktijk

Als je positie in elk gesprek anders uitpakt, hoe weet je dan ooit of je aanname over jezelf klopte?

Zeker weten doe je het niet, en dat is bij Soedirgo en Glas geen tekortkoming maar het uitgangspunt. Het fundament van actieve reflexiviteit is nederigheid: je aanvaardt dat onderzoek complex, contingent en menselijk is, en dat elke inschatting van je positie voorlopig en waarschijnlijk onvolledig is.

Wat je wel kunt organiseren, is controleerbaarheid. Daarvoor staat de vierde vraag in het rijtje: waaraan zou ik merken of mijn aannames in de praktijk uitkwamen? Die vraag dwingt je om je verwachting vooraf zo concreet te maken dat je haar achteraf kunt nalopen. Het formulier vóór het gesprek werkt precies zo: je noteert je verwachting, het vermoede effect en de redenering erachter, en vult na afloop aan wat er werkelijk gebeurde. Zowel het verschil als de overeenkomst met je verwachting is bruikbaar, want ook bij een gesprek dat liep zoals je dacht blijft de vraag interessant waaróm dat zo was.

Twee dingen halen je uit je eigen hoofd. Anderen bij de reflectie halen is de derde strategie, omdat zelfreflexiviteit grenzen kent: een onderzoeksassistent zag dat Soedirgo's leeftijd meespeelde, iets waar zij zelf nooit bij had stilgestaan. En je kunt deelnemers rechtstreeks vragen hoe zij je zien, zoals Cramer Walsh deed.

De winst is dus niet zekerheid maar navolgbaarheid: een lezer kan zien welke aannames je had, waar ze schuurden en wat je ermee deed. Dat is precies wat de vierde strategie, je werk laten zien, aan je verslag toevoegt.

Wanneer wordt reflexiviteit te veel, zodat je verslag meer over jou gaat dan over je respondenten?

Een denkrichting, geen antwoord. Soedirgo en Glas zeggen nergens hoeveel reflexiviteit genoeg is; ze zeggen juist dat je moet blijven doorvragen, ook wanneer je denkt dat je je positie doorhebt. Tegelijk staat er een duidelijk doel bij: je reflectie moet de lezer helpen de kwaliteit van je data te beoordelen, en bij Fujii werd haar identiteit relevant omdat die de deur opende naar bepaalde vragen. Dat suggereert een maatstaf: reflectie die iets verklaart over hoe je data tot stand kwamen hoort erin, reflectie die alleen jouw gevoel beschrijft niet.

Alleen loopt die grens minder scherp dan hij klinkt. Wat je achteraf als "irrelevant" wegstreept, beoordeel je met dezelfde bril waarvan de auteurs zeggen dat die blinde vlekken heeft: Soedirgo vond haar leeftijd niet het vermelden waard tot iemand anders haar erop wees.

Dus: aan de hand waarvan besluit jij in je eigen verslag welke reflectie de lezer nodig heeft, en wie zou dat besluit met je mee moeten kijken voordat je het neemt?

Boeije & Bleijenbergh, §4.2.2 (pp. 76-80): Kwalitatieve interviews

Als rapport niet hetzelfde is als elkaar aardig vinden, waaraan merk je tijdens een interview dan dat je het hebt?

Aan wat er met de vragen en de antwoorden gebeurt, niet aan de sfeer. Rapport houdt in dat beide partners een werkelijk belang hebben bij het vragen stellen, antwoorden en luisteren gedurende het interview (Evers, 2023). Dat is een gedeeld belang bij het gesprek, en dat kun je hebben met iemand die je niet sympathiek vindt. Omgekeerd kan een gezellig gesprek waarin niemand echt iets wil weten prima zonder rapport verlopen.

Het herkenbare teken zit in de antwoorden zelf. De geïnterviewde krijgt de gelegenheid zijn verhaal te vertellen, zijn kennis te delen en zijn perspectief te verduidelijken (Hesse-Biber, 2016), en dat is precies wat je hoort gebeuren: hij vertelt meer over wat hem bezighoudt dan de vraag strikt genomen vroeg. Voorwaarde daarvoor is dat hij op zijn gemak is en erop vertrouwt dat de onderzoekers goed met zijn gegevens omgaan.

Je eigen gereedschap geeft ook een indicatie. Wie elk antwoord evalueert op de drie criteria van Gorden (1987), of het een antwoord op de vraag was, of het compleet was en of het duidelijk is, merkt vanzelf of doorvragen wordt opgepakt of afgeketst. Blijft er na papegaaien en een stilte niets komen, dan is er iets in de verstandhouding dat de moeite van het herstellen waard is, en dat is een methodische constatering en geen kwestie van elkaar aardig vinden.

Hoe meer structurering vooraf, hoe meer de interviewer de richting bepaalt. Is minder structurering dan altijd beter voor kwalitatief onderzoek?

Het eerste stuk van het antwoord is duidelijk. Minder structurering geeft de geïnterviewde meer ruimte om zelf te bepalen wat belangrijk is, en dat is precies waarom kwalitatieve onderzoekers zelden een gestandaardiseerd interview kiezen. Toch laten ze de zaak meestal ook niet helemaal open: ze bereiden zich grondig voor met een lijst van onderwerpen en vragen, en komen zo bij het semigestructureerde interview uit. Er is dus kennelijk iets wat je met structurering wint.

Wat je met structurering precies wint, blijft open, en daar wordt het interessant. Een topiclijst moet werkbaar zijn tijdens het interviewen, en alle vragen erop moeten relevant zijn voor de beantwoording van de onderzoeksvragen. Dat suggereert dat structurering vooral je eigen vraagstelling bewaakt: zonder lijst loop je het risico dat je na tien gesprekken tien onderwerpen hebt die geen van alle je onderzoeksvraag raken.

Denk zelf door over de prijs die je daarvoor betaalt. Neem een life-history interview, waarin het hele levensverhaal van iemand het onderwerp is, en zet dat naast een expertinterview met een deskundige op een bepaald terrein. Zou je bij die twee dezelfde mate van structurering vooraf willen? En als je bij de een meer vastlegt dan bij de ander, wat zeg je daarmee over wie van jullie tweeën bepaalt waar het gesprek over gaat?

Barbour (2007), hoofdstuk 8 (pp. 102-114): Generating data

Als de moderator de discussie moet sturen, van wie zijn de opvattingen in een focusgroep dan eigenlijk?

De vraag klinkt als een bezwaar, maar draait het om. Sturing is niet wat de opvattingen van de deelnemers verdringt, het is wat het gesprek tot onderzoek maakt. Morgan (1998, p. 34) trekt die grens scherp: groepen waarin de moderator de discussie niet stuurt zijn niet gefocust genoeg om focusgroep te heten. Zonder richting houd je een brainstorm over, nuttig in de verkennende fase, maar geen antwoord op de vraag waarvoor het onderzoek betaald wordt.

Belangrijker is waar die sturing zit. Zij zit in de voorbereiding, niet in het overstemmen van de groep. Krueger (1994) wijst op vragen die spontaan lijken maar zorgvuldig zijn voorbereid, en een goede moderator laat het gesprek moeiteloos lopen terwijl de structuur alleen voor haarzelf zichtbaar is. Puchta en Potter (1999, p. 315) benoemen de spanning die daarbij hoort: je werkt om mensen aan het praten te krijgen en moedigt tegelijk spontaniteit aan, tussen de vrijheid om te antwoorden zonder goed of fout en de eis dat er werkelijk geantwoord wordt in plaats van "ik weet het niet".

En er is een tegenwicht dat vaak over het hoofd wordt gezien: de groep vestigt haar eigen omgangsregels. Het losse taalgebruik van de ene groep en de beleefde correctie in de andere zijn niet door de moderator gekozen; zij kan ze hoogstens herkennen en benutten. Toen een moderator haar eigen sociologische theorie te ingewikkeld formuleerde, vroeg een deelneemster haar gewoon om het opnieuw te zeggen. Dat is het beste antwoord op de vraag: de deelnemers houden genoeg regie om de onderzoeker te corrigeren.

Wat wél oppassen is, is iets anders. Opvattingen zijn ook zonder moderator niet zomaar van de spreker: Matoesian en Coldren (2002, p. 484) laten zien dat mensen hun spreken vormgeven als strategische ideologische performance in plaats van als feitelijk verslag. De vraag is dus niet of de opvattingen "zuiver" zijn, maar wat je erover kunt verantwoorden.

Deelnemers die vrijwel als co-moderator gaan optreden: is dat winst of vervuiling van je data?

De eerste helft van het antwoord ligt aan de winstkant, en die is concreet. Deelnemers laten in een groepsgesprek hun eigen vaardigheden in interactie zien: zij doen steunende uitspraken, moedigen elkaars bijdragen aan, en soms nemen zij een deel van het gespreksleiderschap over. Ook hun analytische vaardigheden zijn te benutten, bijvoorbeeld wanneer iemand commentaar levert op zijn eigen verschuivende perspectief of subtiele verschillen in betekenis en nadruk uitpluist. Dat sluit aan bij het uitgangspunt dat de analyse al begint terwijl de data ontstaan: niet alleen bij de onderzoeker, ook bij de groep. Dat dit in een workshopsetting vaak voorkwam, betekent niet dat het daartoe beperkt is; het lijkt op de informele gesprekken die mensen op een etentje met vrienden voeren.

Aan de andere kant staat een ongemakkelijk feit. Wie mee gaat modereren, stuurt ook: hij bepaalt mee wie aan het woord komt en welk zijpad de moeite waard is. En als deelnemers verhalen vertellen om hun gemeenschappelijke ervaring en collectieve identiteit te bevestigen, kan een enthousiaste co-moderator die consensus versterken in plaats van de verschillen zichtbaar maken waarvoor de groep juist is samengesteld.

Daar loopt het antwoord vast, en dat is de plek waar jij verder moet. Vraag jezelf af hoe je in een transcript het verschil ziet tussen een deelnemer die de analyse verrijkt en een deelnemer die de discussie naar één standpunt trekt. Welk soort bijdrage zou je daarvoor moeten aanwijzen? En wat zou je, als je dat patroon tijdens de sessie opmerkt, op dat moment doen: ingrijpen, of het laten lopen en het in je verslag verantwoorden?

Boeije & Bleijenbergh, §9.2.3, §9.2.4 en §9.4 (pp. 176-180 en 184-189): Resultaten, discussie en schrijftips

Als bevindingen altijd data én interpretaties zijn, waarom mogen data dan niet gewoon de plaats innemen van bevindingen? De lezer kan toch zelf oordelen?

Die redenering klinkt eerlijk en zelfs bescheiden: leg het materiaal op tafel en laat de lezer kiezen. Maar ze berust op een misverstand over wat er in een resultatensectie staat. Resultaten zijn de op onderzoeksgegevens gebaseerde en geïntegreerde beweringen over de gebeurtenissen en ervaringen die je onderzoekt (Sandelowski & Barroso, 2002), en in kwalitatief onderzoek bevatten ze per definitie de selectie van gegevens én de interpretatie ervan. Een reeks citaten is dus nooit "de gegevens zelf": je hebt al geselecteerd welke fragmenten de lezer te zien krijgt, en die selectie is interpretatiewerk waarover je geen verantwoording aflegt zolang je hem als ruwe data presenteert.

Daar komt bij dat de functie van gegevens iets anders is dan bewijsstukken aanleveren. Gegevens laten taal en gedrag zien, zodat de lezer het idee heeft erbij te zijn; ze onderbouwen de bevindingen, zodat navolgbaar wordt welke interpretatie je aan welk materiaal geeft en of de lezer het daarmee eens is (Seale, 1999); en ze verlevendigen de tekst. In alle drie de gevallen ondersteunen ze een verhaal dat jij vertelt. Zonder dat verhaal ondersteunen ze niets, en dan worden het kralen aan een ketting.

Let ook op de praktische kant. Tijdschriften hanteren vaak een maximum van 4.000 tot 7.000 woorden, dus elke regel citaat die niets doet gaat ten koste van een regel analyse. Wie zijn ruimte aan ongeïnterpreteerde data besteedt, schrijft een artikel waarin de onderzoeker onzichtbaar blijft en waarin de lezer precies dat mist wat hij van een kwalitatieve studie kwam halen: begrijpen wat mensen ertoe brengt te doen wat ze doen.

Boeije en Bleijenbergh raden percentages af omdat ze een onterechte precisie suggereren, maar bevelen wel woorden als "de meesten" en "vaak" aan. Verruil je daarmee schijnprecisie niet gewoon voor vaagheid?

Het eerste deel van het antwoord is dat die twee niet op hetzelfde niveau liggen. Een percentage doet een uitspraak over verhoudingen in een populatie, en dat is precies wat een kwalitatieve steekproef niet toelaat: de omvang is beperkt en de selectie is strategisch, dus de precisie is geleend van een onderzoeksopzet die je niet hebt. Woorden als "verschillende" of "de meesten" doen die claim juist níet; ze beschrijven een patroon in jouw materiaal en laten in het midden hoe dat zich tot de populatie verhoudt. Vaagheid is hier dus deels bedoeld: zij houdt de belofte klein.

Het wordt interessanter wanneer je bedenkt waar de precisie dan wél vandaan moet komen. Het tweede bezwaar tegen tellen is dat acht mensen doen zus en tien zo weinig recht doet aan de analytische rijkdom van kwalitatief onderzoek; de kracht zit in het begrijpelijk maken van wat mensen ertoe brengt iets te doen. De precisie verschuift daarmee van het aantal naar het mechanisme: waarom patiënten die zich geen klager willen voelen weinig vragen stellen, en waarom dat kan samengaan met veel informatie geven zonder dat zij meer regie ervaren.

De vraag die daarna overblijft moet je zelf beantwoorden, en hij komt in je artikel gegarandeerd langs. Stel dat één van je twaalf deelnemers iets vertelt dat je hele analyse op scherp zet, en de andere elf niet. Schrijf je dan "één deelnemer", "een enkeling", of noem je geen aantal en beschrijf je alleen onder welke voorwaarden dit voorkomt? Kijk bij je keuze naar de regel dat je bij een citaat eventueel kunt aangeven hoeveel mensen hetzelfde beweerden (Weiss, 1995), en vraag je af wat die aanwijzing hier doet: houdt zij de lezer eerlijk geïnformeerd over hoe uitzonderlijk het geval is, of geeft zij het juist de status van een telling die je niet wilde doen?

Boeije & Bleijenbergh, hoofdstuk 6 (pp. 107-137): Methoden en technieken van kwalitatieve analyse

Bij inductief coderen laat je de codes uit je data opkomen. Waarom is die analyse dan toch niet theorievrij?

Omdat de theorie niet weg is, maar op drie plekken meedoet zonder dat het in de naam "inductief" terugkomt.

De eerste plek zijn je codes zelf. Naast de taal van de onderzochten en je eigen taalgebruik zijn de theorieën en begrippen uit je literatuurstudie een volwaardige derde bron. Die heten niet voor niets theoretische begrippen of constructed codes (Flick, 2019): het zijn constructies van wetenschappelijke onderzoekers, geen vondsten uit het veld. In het onderzoek naar jonge vluchtelingen leverde theorie over veerkracht rechtstreeks de codes bronnen van veerkracht, coping en hoop op.

De tweede plek is je blikrichting. Sensitiverende begrippen zijn geen codes, want ze zijn te abstract voor de afzonderlijke fragmenten, maar samen met de vraagstelling zijn ze wel het belangrijkste richtsnoer bij het bepalen van wat relevant is. Ze bepalen dus wat je überhaupt als betekenisvol fragment aanwijst, ook als je ze nergens in de kantlijn schrijft.

De derde plek is het einde. Bij het selectief coderen ga je na hoe jouw interpretatie van het verschijnsel zich verhoudt tot de interpretaties in de literatuur, en het theoretisch kader is een van de zes richtsnoeren waarmee je bepaalt welke bevindingen belangrijk zijn. Inductief betekent dus niet "zonder theorie", maar "de theorie stuurt de analyse niet vooraf". Het verschil met de liaan zit in het moment: daar ligt de uiteenrafeling in dimensies en indicatoren vóór de dataverzameling vast, hier komt de theorie mee als bron, als lens en als gesprekspartner.

Je mag niet te globaal coderen en niet te gedetailleerd. Er staan getallen bij, maar hoe weet je bij je eigen transcript welke kant je op moet?

Begin bij wat de twee fouten aanrichten, want dat is concreter dan de getallen. Te globaal coderen betekent dat veel en zeer diverse fragmenten onder dezelfde code belanden, waardoor de uiteenrafeling niet op gang komt: fragmenten die je bij hetzelfde thema hebt ondergebracht moet je later alsnog uitpluizen, en je resultaten blijven te weinig specifiek. Te gedetailleerd coderen doet het omgekeerde: als elk te onderscheiden fragment in een tekst een andere code krijgt, schiet je voorbij aan het doel van categoriseren en vergelijken, en houd je makkelijk meer dan duizend codes over.

De getallen zijn daarom diagnoses achteraf, geen doelen vooraf. Tel hoeveel fragmenten er onder elke code hangen. Is dat er telkens één, dan kun je die code waarschijnlijk opheffen of samenvoegen. Zijn het er meer dan dertig, dan is de diversiteit binnen die code misschien te groot en kun je splitsen. En een verhouding van tien tot twintig thematische codes geldt als acceptabel uitgangspunt, al hangt het aantal onderverdelingen per thematische code sterk samen met je vraagstelling, je gegevens en je werkwijze.

Dan het stuk dat je zelf moet invullen, en dat is precies waar de getallen ophouden. Neem je eigen transcript en kies één code waaronder veel fragmenten vallen. Lees die fragmenten naast elkaar en vraag je af: gaan ze echt over hetzelfde, of leg ik hier twee dingen op één hoop? En andersom, kijk naar twee codes die je apart hield: als je ze zou samenvoegen, verlies je dan iets wat voor je onderzoeksvraag uitmaakt? Bedenk daarbij wat het antwoord zou moeten zijn volgens het doel van deze fase, en wie je dat oordeel eigenlijk kunt laten controleren.

Boeije & Bleijenbergh, §7.2 en 7.3 (pp. 142-151): Memo's en technieken die de analyse ondersteunen

Als een telling geen geldige schatting is van hoe vaak iets voorkomt, waarom zou je in kwalitatief onderzoek dan überhaupt tellen?

Omdat tellen hier een andere vraag beantwoordt dan je gewend bent. Je schat niet hoe vaak een verschijnsel voorkomt, je gaat na waar je materiaal dik is en welke woorden de mensen zelf kiezen. Software maakt twee zoekacties mogelijk: welke woorden in de documenten zijn gebruikt, en hoe vaak een bepaalde code is gebruikt. De eerste is de interessantste. In de studie naar veerkracht spreken jonge vluchtelingen dikwijls over kracht en sterk zijn; kracht valt in vijftien interviews meer dan honderd keer, sterk zijn wel 150 keer. Die woorden komen in verschillende contexten en betekenissen voor en vaak dicht bij elkaar. Dat is geen meting maar een spoor: hier zit iets waar de deelnemers zelf taal voor hebben ontwikkeld.

De waarschuwing is dan ook niet dat je het getal niet mag zien, maar dat je het niet als bewijs mag lezen. Een code die twintig keer is gebruikt betekent niet dat er twintig keer precies hetzelfde is gezegd. En als dat wel zo is, dan heb je iets anders geleerd dan je dacht: er zit weinig variatie in dat thema, wat op zichzelf de moeite van het melden waard is.

Er zit bovendien een lastige terugkoppeling in de cijfers. De aandacht die een onderwerp in je waarnemingen krijgt, hangt af van de vragen die jij hebt gesteld en van de accenten die jij en je participanten legden, en die interesse kan gedurende het onderzoek verschuiven als het zich ontvouwt. Een hoge frequentie kan dus net zo goed jouw topiclijst weerspiegelen als de leefwereld van je deelnemers. Vandaar de regel die alles bij elkaar houdt: ga nooit alleen af op de uitkomsten van tellingen, maar interpreteer die uitkomst altijd in de context van je onderzoek. Wie een getal noemt in zijn resultatensectie, schrijft er dus bij hoe dat getal is ontstaan.

Wanneer is je eigen ontroering tijdens het veldwerk data, en wanneer is ze ruis?

Het begin van het antwoord ligt vast, en dat is verrassend uitgesproken. Je eigen emotionele reacties zijn niet iets om weg te poetsen: ze zijn een middel om de wereld te zien door de ogen van anderen die proberen hun ervaringen met jou te delen (Kleinman & Copp, 1993). Dat volgt uit iets wat al eerder in het vak stond, namelijk dat de kwalitatieve onderzoeker zichzelf als meetinstrument inzet en zich in de situatie van anderen verplaatst om mee te maken wat zij meemaken, wat rolneming heet (Maso & Smaling, 1998). Een instrument dat niets registreert is geen beter instrument.

De voorwaarde staat er ook bij, en die is streng. Emoties dienen als hulpmiddel om een sociaal verschijnsel te begrijpen als onderzoekers zich ervan bewust zijn en proberen uit te vinden waardoor die gevoelens zijn opgeroepen (Harris & Huntington, 2001). De werkwijze die daaruit volgt is concreet: je zet je reactie om in vragen. Wat is het dat mij van streek maakt in hun verhalen, en hoe ervaren zij dat zelf? Welke strategieën gebruiken zij om ermee om te gaan, hoe beschermen zij zichzelf, wat geeft hun kracht? En je schrijft de gevoelens op in een memo, zodat je er later op kunt reflecteren in plaats van er middenin te blijven zitten.

Hier houdt het op, en dat is precies de plek waar jij verder moet. Er staat nergens hoe je van tevoren weet of jouw ontroering je naar het perspectief van de ander brengt of er juist overheen legt. Kijk daarvoor naar je eigen materiaal: welk verschil zou je in een transcript moeten zien tussen een passage die jou raakt omdát er iets belangrijks gebeurt, en een passage die jou raakt om iets wat jij zelf meebrengt? Bedenk daarna welk spoor je daarvan zou achterlaten in je memo's, en wat je er in je methodesectie over zou opschrijven. Wie dat niet kan formuleren, heeft van zijn gevoel nog geen gegeven gemaakt.

Fujii (2017), hoofdstuk 5: I have my data, now what?

Als elk verhaal een eigen soort waarheid bevat, blijft er dan nog iets over om fout te noemen?

Die vraag komt bijna vanzelf boven, en het antwoord is genuanceerder dan "nee". Fujii ontkent niet dat verhalen feitelijk onjuist kunnen zijn. De vrouw in Rwanda die zei dat haar vader negenendertig vrouwen had gehad, zei iets dat niet klopte, en Fujii noteert dat ook zo: zij en haar tolk hadden in die streek nooit van meer dan drie gehoord. Het verschil zit in wat je met die onjuistheid doet. Positivistisch werk haalt zulke interviews uit de dataset, omdat het beeld er anders door vertekend raakt. Relationeel werk stelt eerst de vraag waarom iemand het zo vertelt.

Daarmee verschuift het criterium, het verdwijnt niet. Je beoordeelt niet langer of een uitspraak overeenkomt met wat er gebeurd is, maar of jouw verklaring van die uitspraak standhoudt. Portelli kon laten zien dat het verhaal van de communist die zichzelf plaatste in gesprekken die nooit plaatsvonden de verhaalvorm was van de droom van een ander persoonlijk leven en een andere collectieve geschiedenis; dat is een claim die je kunt onderbouwen en die een lezer kan betwisten. Fujii kon laten zien dat de verhalen van de Rwandese vrouw pasten bij haar positie: overlevenden en de overheid erkenden haar niet als overlevende, waardoor zij zelfs geen recht had op een staatswoning. Zonder die verankering blijft er alleen een mooi verhaal over de onderzoeker over.

Er is nog een reden waarom "alles is waar" niet volgt. De taak bij tegenstrijdige verslagen is juist om de verschillen te verklaren, door ze te verbinden aan de spreker, aan zijn verhouding tot de gebeurtenis of aan grotere historische krachten. Wie alle versies gelijk zou verklaren, zou die taak overslaan. Fout is in deze benadering dus vooral: een verklaring geven die de verschillen niet dekt.

Fujii zegt dat je de obstakels uit het veld als data moet behandelen. Maar wanneer is een tegenslag echt data, en wanneer gewoon een onderzoek dat niet gelukt is?

Het geval van Shehata is hier het scherpst. Hij wilde klassenstructuren in Egypte onderzoeken door zelf op de werkvloer te staan, en vrijwel niets lukte zoals gepland: managers snapten niet waarom iemand met zijn opleiding fabriekswerk wilde doen, collega's spraken hem aan als "Doktor", in de bus hoorde hij op de statusplek achter de chauffeur te zitten, en ploegbazen hielden hem van het werk omdat handarbeid niet paste bij een hooggeplaatste gast. Toch noemt Fujii dat geen mislukking maar inzicht: door telkens de verhouding tussen status en arbeid te doorbreken, ervoer hij precies de normen die klassenverhoudingen in stand houden.

Het verschil lijkt te zitten in de vraag of het obstakel iets laat zien over de wereld die je onderzoekt, of alleen over jouw voorbereiding. Bij Shehata viel de tegenslag samen met zijn onderwerp: status was zijn onderwerp en status blokkeerde hem. Abbott daarentegen begreep in Kenia niet waarom een oudere vrouw haar onderzoek dwarsboomde, omdat zij haar eigen hoge status wegkeek, en pas met die analyse erbij wordt het gedrag van die vrouw begrijpelijk in plaats van onbegrijpelijk. Ook daar wordt het obstakel dus pas data zodra je je positie erin meeneemt.

Wat overblijft, is iets wat je zelf moet afwegen in je eigen onderzoeksverslag. Stel dat jouw tegenslag niets met je vraagstelling te maken heeft: je respondenten haken af omdat je in een drukke periode belt, of je opnameapparaat hapert. Is dat dan gewoon pech, of ligt er ook daarin iets over de mensen die je onderzoekt? En wie beslist dat, jij of je lezer? Kijk bij je antwoord naar de reden waarom Fujii deze analyse überhaupt vraagt: zij moet lezers in staat stellen je bevindingen scherper te wegen. Welke tegenslagen moeten zij dus kennen om dat te kunnen doen, en welke niet?

Samenvatting Onderzoeksmethoden 2: Verdieping kwalitatieve technieken · Oefenen met Onderzoeksmethoden 2: Verdieping kwalitatieve technieken · Bekijk prijzen