De vragen en discussies die bij Onderzoeksmethoden 1 horen: verbanden, tegenstellingen en denkfouten uit de stof. 18 vragen, waarvan 16 met een antwoord dat vrij te lezen is.
Ze stellen twee verschillende vragen. Ontologie gaat over wat sociale entiteiten zijn: bestaat een organisatie als een hard feit buiten de mensen om (objectivisme), of maken mensen haar steeds opnieuw in hun interactie (constructionisme)? Epistemologie gaat over wat als kennis telt: alleen wat je zintuiglijk kunt waarnemen (positivisme), of ook de betekenis die mensen zelf aan hun handelen geven (interpretivisme). De eerste vraag gaat over het zijn, de tweede over het weten.
Reflexiviteit zegt van niet: waarden sluipen in elke keuze, van vraagstelling tot conclusie. Het positivisme eist tegelijk waardenvrijheid. Dat kan twee dingen betekenen: een onhaalbaar ideaal dat je toch najaagt, of een claim die de positie van de onderzoeker juist verbergt. Welke van de twee maakt onderzoek eerlijker?
Jazeker, en die band gaat maar één kant op. Een meting die niet betrouwbaar is, die dus onder gelijke omstandigheden telkens iets anders oplevert, kan nooit valide zijn. Andersom wel: een weegschaal die er structureel drie kilo naast zit, geeft elke keer hetzelfde antwoord en is dus keurig stabiel, maar hij meet je gewicht niet. Betrouwbaarheid is een voorwaarde voor meetvaliditeit, geen garantie.
Hoe strakker je een experiment controleert, hoe zekerder de causale conclusie en hoe onnatuurlijker de situatie. Het lab koopt interne validiteit met ecologische validiteit. Wat is een bewezen effect waard dat alleen in die kunstmatige setting optreedt, en lost een veldexperiment de ruil echt op?
Politiek. Ethiek gaat over hoe je deelnemers behandelt: schade, privacy, misleiding en geïnformeerde toestemming. Politiek gaat over macht en belang rond het onderzoek: wie het betaalt, wie toegang verleent en wiens belang de uitkomst dient. Een financier die publicatie blokkeert, of een gatekeeper die kritische vragen uit de enquête schrapt, stuurt het onderzoek zonder één participant te schaden. Heimelijk observeren zonder toestemming valt wel onder ethiek.
De situationele ethiek verdedigt misleiding met het no-choice-argument: bij gesloten groepen kom je anders niet binnen. Dat argument staat of valt met de vraag of er werkelijk geen andere methode bestond, en die vraag beantwoordt de onderzoeker zelf. Wie zou dat oordeel moeten vellen, en waarop zou hij het baseren?
Een concept als integratie of academisch zelfvertrouwen heeft meerdere dimensies, en één vraag dekt er hooguit één van. Daar komt bij dat een losse vraag verkeerd gelezen of slordig ingevuld kan worden; met meerdere indicatoren middelen zulke toevallige fouten elkaar uit. Een set vragen levert bovendien een schaalscore met tussenstappen op in plaats van een ja of nee, en daarmee onderscheid je respondenten veel fijner.
Alpha zegt alleen dat je items onderling samenhangen. Stel tien vragen die vrijwel hetzelfde vragen en het getal schiet omhoog, terwijl je instrument juist smaller wordt dan het concept dat je wilde vangen. Wanneer is interne samenhang een teken van kwaliteit, en wanneer van een te nauwe operationalisatie?
Sampling error is toeval: ook een zuivere loting levert een groep op die net iets van de populatie afwijkt. Die fout krimpt naarmate je n groter maakt, maar verdwijnt nooit helemaal. Sampling bias is systematisch: bepaalde mensen maken geen eerlijke kans op selectie, door een gebrekkig steekproefkader of door selectieve non-respons. Daar helpt een grotere steekproef niets tegen, die vergroot de scheefheid alleen maar netjes mee.
Bij quota sampling kloppen leeftijd, geslacht en afkomst tot achter de komma, terwijl de interviewer zelf uitkiest wie elk hokje invult. De nette tabel verbergt dan precies de vertekening die je wilde voorkomen. Wat weet je over een populatie als alleen de randtotalen kloppen?
De p-waarde is de kans op dit resultaat als de nulhypothese waar is, dus als er in de populatie geen effect bestaat. Ligt die kans onder de 5 procent, dan verwerp je de nulhypothese en heet het resultaat statistisch significant. Wat p niet zegt: hoe groot of hoe belangrijk het effect is. Een significant verband kan maatschappelijk verwaarloosbaar klein zijn, en juist de effectgrootte gaat daarover.
Niet over personen. De criminaliteit kan net zo goed van andere bewoners van diezelfde wijk komen; dat is de ecologische fout. Toch verschijnen zulke cijfers dagelijks als uitspraak over mensen. Wat mag je met data op gebiedsniveau dan wel beweren, en waar slaat het om in een uitspraak over individuen?
Omdat die twee één meetbare werkelijkheid veronderstellen, terwijl het constructionisme zegt dat mensen meerdere werkelijkheden samen maken. Daar zetten zij trustworthiness tegenover: credibility (herkennen de participanten zich in je beeld), transferability (kan een lezer via je thick description beoordelen of het elders opgaat), dependability (is je spoor van keuzes na te lopen) en confirmability (heb je te goeder trouw gehandeld).
Respondent validation draagt de geloofwaardigheid: de bestudeerden moeten zich in je interpretatie terugzien. Maar een analyse die machtsverhoudingen blootlegt is juist ongemakkelijk voor wie erin voorkomt. Wat weegt dan zwaarder, jouw interpretatie die netjes uit de data volgt of hun oordeel erover?
Pas als de data met elkaar in gesprek gaan. Combineer je methoden uit hetzelfde paradigma, bijvoorbeeld een survey naast een experiment, dan is het multi-method onderzoek. Bij mixed-methods steek je de paradigmagrens over, en de harde eis daarbij is integratie. Wie enquête en interviews in twee losse hoofdstukken zet en ze in de conclusie niet samenbrengt, doet geen mixed-methods onderzoek, hoeveel data hij ook heeft.
Triangulatie geldt als bewijs zodra de survey en de observatie hetzelfde patroon tonen. Toch kunnen twee methoden die elkaar bevestigen dezelfde blinde vlek delen, en zijn tegenstrijdige uitkomsten vaak het interessantst. Waarom telt convergentie dan zwaarder dan divergentie?
Nog geen antwoord: een vraag om zelf over na te denken.
Nog geen antwoord: een vraag om zelf over na te denken.
Samenvatting Onderzoeksmethoden 1 · Oefenen met Onderzoeksmethoden 1 · Bekijk prijzen