Het is vrijwel onmogelijk om alle onderzoekseenheden in de steekproef ook daadwerkelijk tot de responsgroep te laten behoren. Gewoonlijk zal de uitval zich in alle subgroepen voordoen, en in de meeste gevallen is de uitval in alle groepen ongeveer evengroot. Het is vervelend als er sprake is van selectieve of differentiële uitval. Dat is uitval die gerelateerd is aan een bepaald kenmerk. In onderstaande illustratie valt de respons in wijk 5 erg tegen. Het verdient aanbeveling te achterhalen wat hier de oorzaak van is. Is wijk 5 een achterstandswijk? Wonen er veel bejaarden? Wonen daar veel buitenlanders die geen Nederlands spreken? Spreekt het onderwerp de mensen niet aan?
Huishoudens |
Stadsdeel of wijk |
Totaal |
1 |
2 |
3 |
4 |
5 |
Populatieverdeling |
aantal |
16.000 |
12.000 |
4.000 |
4.000 |
4.000 |
40.000
|
percentages |
40
|
30
|
10
|
10
|
10
|
100%
|
Steekproefverdeling |
aantal |
480
|
360
|
120
|
120
|
120
|
1200
|
percentages |
40
|
30
|
10
|
10
|
10
|
100%
|
Responsverdeling |
aantal |
143
|
104
|
36
|
36
|
7
|
326
|
percentage van de populatie |
44
|
32
|
11
|
11
|
2
|
100%
|
percentage van de respons |
30
|
29
|
30
|
30
|
6
|
---
|
Men moet een onderscheid maken tussen legitieme uitval en ongeoorloofde uitval. Beide soorten uitval zijn in theorie wel goed te onderscheiden maar in de praktijk blijkt dat nogal lastig. Tot de legitieme uitval rekenen we die argumenten om een onderzoekseenheid niet op te nemen in de responsgroep en dat dat ook niet van direct belang is / lijkt te zijn op de uitkomst van het onderzoek. Tot de ongeoorloofde uitval rekenen we die argumenten om een onderzoekseenheid niet in de responsgroep op te nemen, maar die wel van invloed zijn op de uitkomsten van het onderzoek. Een voorbeeld moge het duidelijk maken.
Tot de legitieme uitval rekenen we bijvoorbeeld argumenten als geen zin, te lui, geen interesse, vergeten, en heel directe persoonlijke omstandigheden (Het komt voor dat men iemand benadert die net een dierbare heeft verloren. Het spreekt voor zich dat men deze persoon niet probeert over te halen deel te nemen aan het onderzoek.), en iemand die voor de zoveelste keer gebeld wordt om mee te doen aan een onderzoek, zal ook wel eens een keer nee zeggen. Soms belt men op een ongelegen moment: "We staan op het punt om de deur uit te gaan, we hebbende jas al aan". Soms is men niet geïnteresseerd in het onderwerp, waarvan sommigen dit duidelijk aangeven en anderen snel een smoesje bedenken: "We staan op het punt om de deur uit te gaan, we hebben de jas al aan".
Ongeoorloofde uitval kwam (en komt?) nogal eens voor bij dierproeven. De onderzoeksopzet is dan als volgt: proefdieren worden gedurende een bepaalde periode dagelijks ingespoten met een minimale hoeveelheid gevaarlijke stof. Na een maand worden de proefdieren doodgemaakt en wordt geteld hoeveel tumoren ze hebben ontwikkeld. Proefdieren die extreem reageerden op de stof en voortijdig stierven werden uit de respons gelaten. Indien men nu net doet alsof die uitval niet bestaat, dan kan men concluderen dat de gevaarlijke stof minder gevaarlijk is dan gedacht of slechts geringe bijwerkingen heeft. Deze vorm van uitval vinden wij erg kwalijk en we zouden de onderzoekers op het hart willen drukken dergelijke uitval te vermelden en zo mogelijk nader te onderzoeken.