Naast kennis over het onderwerp moet men ook kennis hebben van onderzoeksmethodologie, moet men taalkundig goed onderlegd zijn en een goed inlevingsvermogen hebben.
Een vragenlijst is simpel gezegd een lijst met vragen. Het is soms synoniem met enquête, maar de term enquête kan men ook uitgebreider opvatten. Met de term enquête bedoelt men iets vaker de vragenlijst an sich plus alles wat er bij komt kijken om de vragenlijst af te nemen.
Het maken van een vragenlijst kan eigenlijk alleen gedaan worden door iemand die kennis heeft van het vakgebied waar de vragen over moeten gaan en kennis heeft van onderzoeksmethodologie. Kennis van het vakgebied is te verkrijgen door zich in te lezen en of te praten met deskundigen uit het vakgebied. Kennis van onderzoeksmethodologie kan worden verkregen door daar een studie in te doen. Maar dan nog is een paar jaar ervaring als onderzoeker een pré. Voor het maken van een goede vragenlijst moet men tenslotte ook taalkundig goed onderlegd zijn en een goed inlevingsvermogen hebben.
Een vragenlijst is onderzoektechnisch gezien een meetinstrument. Meetinstrumenten moeten betrouwbaar en valide zijn. Bovendien moeten ze een discriminerend vermogen hebben. (Deze termen worden elders in dit woordenboek uitgelegd; zie de verwijzingen hieronder). Overigens is elke vraag in de vragenlijst een klein meetinstrumentje. Gezamenlijk vormen ze een geheel. Soms kan men voordat de vragenlijst is afgenomen al zeggen of de vragenlijst doet waarvoor het gemaakt is. Meestal echter kan men dat pas achteraf constateren, dus pas nadat de gegevens zijn verzameld. Dat maakt het maken van een vragenlijst moeilijk.
Voor het bedenken van vragen kan men zich laten leiden door de vraagstelling van onderzoeksvraag. Wat wil de opdrachtgever weten en welke aspecten spelen een rol. De vraagstelling werkt men uit tot inde details, dat wil zeggen tot de individuele vragen. Het moge duidelijk zijn dat een slechte onderzoeksvraag zal leiden tot een slechte vragenlijst. Het zou zelfs kunnen dat er dan helemaal geen vragenlijst te maken is
De individuele vragen kunnen op verschillende manieren worden gesteld (zie enquêtevragen). Er zijn wel een aantal voorwaarden waaraan de individuele vragen in een vragenlijst moeten voldoen om opgenomen te mogen worden in de vragenlijst:
De vraag mag niet dubbelzinnig zijn, dat wil zeggen dat slechts één interpretatie mogelijk is (validiteit). Datzelfde geldt natuurlijk ook voor de opgestelde antwoorden.
De vraag moet neutraal zijn gesteld. Zij mag op geen enkele manier suggestief zijn, dat wil zeggen richtinggevend aan het antwoord dat de onderzoeker of de opdrachtgever graag wil horen.
De vraag mag geen irritatie geven. Om deze reden is het beter om bij een schriftelijke en telefonische afname de persoonlijke vragen over de respondent achteraan in de vragenlijst op te nemen. In een persoonlijk interview (face-to-face interview) is het juist beter om deze persoonlijke vragen in het begin te stellen. Bij online afname kan men de persoonlijke vragen het beste in het begin stellen omdat respondenten de neiging hebben juist dan te stoppen met het beantwoorden van de vragen.
Een vraag die geen onderscheid aanbrengt (omdat vrijwel iedereen hetzelfde antwoord zal geven) kan worden weggelaten. Zij kan hooguit dienen als controle om vast te stellen of de respondent tot de doelgroep behoort.
Bij een gesloten vraag mogen de antwoordalternatieven elkaar niet overlappen. Een woonboerderij en vrijstaande woning zijn (deels) hetzelfde.
Bij een gesloten vraag moet de lijst met antwoordalternatieven volledig zijn. Is die niet volledig te maken of als de lijst te lang wordt, maak dan gebruik van een halfopen vraag.
Voor het samenstellen van een vragenlijst kunnen de volgende tips worden gegeven:
Plaats vragen die over hetzelfde onderwerp gaan bij elkaar. Voor de respondent is er niets zo vervelend als maar lukraak een aantal vragen voorgeschoteld te krijgen.
Vragen die hetzelfde beginnen, kunnen het beste in een matrixvorm worden voorgelegd aan de respondenten. Bijvoorbeeld:
Welk rapportcijfer zou u willen geven aan ...
... de ligging van uw huis?
... de omgeving van uw huis?
... het schilderwerk van uw huis?
Plaats de vragen in een logische volgorde.
Hou er rekening mee dat de volgorde van de vragen bepalend kan zijn voor de antwoorden die de respondent geeft. Wees hier alert op.
Als de vragenlijst lang wordt, maak dan gebruik van ‘kopjes’. Bij schriftelijke afname is dat makelijk te doen door er een titel boven te zetten. Bij voorkeur ook nog vetgedrukt en in een groter lettertype. Bij telefonische afname kan de enquêteur / enquêtrice een stukje tekst voorlezen (bijvoorbeeld: “de volgende tien vragen gaan over ...”). Bij online afname laat men de respondente een stuk tussentekst lezen. Bij persoonlijke afname moet de enquêteur / enquêtrice duidelijk aangeven dat er nu een ander onderwerp aan de orde wordt gesteld.
Het invullen van vragenlijst zou in principe maximaal tien minuten mogen duren. Meer tijd willen mensen er eigenlijk niet aan besteden.
Probeer de vragenlijst zo op te stellen dat er geen vragen hoeven worden overgeslagen. Bij schriftelijke afname zijn er regelmatig respondenten die toch de vragen invullen die ze hadden moeten overslaan. Bij telefonische afname kan de enquêteur/enquêtrice zich vergissen. Een cati afname voorkomt dit (cati = computer assisted telefonic interview). Bij online afname moet je het doorverwijzen goed checken en je afvragen of een respondent terug mag bladeren naar eerdere vragen.
Vragen die een gezamenlijk aspect meten (een factor) zijn het beste op te stellen als een matrixvraag.
Voor het maken van een redelijk robuuste factor die uit meerdere aspecten bestaat (een samengestelde variabele) heb je per aspect tussen de vijf en de tien deelvragen nodig.
Houd de vragenlijst zo kort mogelijk. Stel alleen de vragen die belangrijk zijn voor het geven van een antwoord op de onderzoeksvraag.
Vragen die je stelt omdat het antwoord wel eens interessant zou kunnen zijn, kun je beter weglaten.
Om er voor te zorgen dat er geen fouten meer in de vragenlijst staan, kan men dit laten controleren door iemand met veel ervaring op dit terrein (een velddeskundige). Een methodoloog / statisticus kan nagaan of de gewenste resultaten met deze manier van meten kan worden bereikt. De laatste tip is eigenlijk verplicht: probeer de vragenlijst uit bij een aantal mensen uit de doelgroep.
Voor het maken van vragen heeft Foeke van der Zee een aardig boekje geschreven onder de titel de Enquête.