Het opstellen van een goede vragenlijst is een kunst op zich. Er is een aantal voorwaarden waaraan moet worden voldaan. Zo mogen de vragen niet dubbelzinnig zijn, dat wil zeggen dat slechts één interpretatie mogelijk mag zijn. Datzelfde geldt natuurlijk ook voor de opgestelde antwoorden. Indien men gesloten vragen geeft, dan mogen de antwoordalternatieven elkaar niet overlappen. De vragen moeten neutraal gesteld worden en mogen op geen enkele manier suggestief zijn. Een vraag die luidt als "vele mensen vinden dat ... en vindt u dat ook?" is dus heel erg fout. Zonder dat de opsteller van de vragenlijst het vaak zelf beseft kan de volgorde van de vragen al bepalend zijn voor de antwoorden die de respondent geeft. Irritatie moet sowieso worden voorkomen. Om deze reden is het beter om in een schriftelijke vragenlijst de persoonlijke vragen over de respondent achteraan in de vragenlijst op te nemen. In een persoonlijk interview is het juist beter om deze persoonlijke vragen in het begin te stellen. Om er voor te zorgen dat er geen fouten meer in de vragenlijst staan, kan men dit laten controleren door iemand met veel ervaring op dit terrein, en/of door de vragenlijst uit te proberen bij een aantal mensen uit de doelgroep.
Voor het opstellen van een persoonlijk interview geven Baarda, De Goede & Teunissen (2001) een aantal vuistregels (door ons iets aangepast):
I Begin met een aantal vragen over persoonsgegevens.
II Stel eerst de gemakkelijke en daarna de moeilijke vragen.
III Laat eerst de neutrale en daarna de gevoelige onderwerpen aan bod komen.
IV Stel eerst de vragen over gedrag en activiteiten, en daarna over gevoel, emoties en beleving.
V Plaats de onderwerpen in een logische volgorde. Je kunt beginnen met het onderwerp breed te behandelen en dan toespitsen naar bijzondere gevallen, maar ook net andersom: van de bijzondere gevallen naar het algemeen.
Voor telefonisch interviewen zijn de volgende aspecten relevant:
I Het onderwerp van onderzoek moet zich lenen voor telefonisch onderzoek. Consumenten-gedrag is goed te onderzoeken, maar een sociaal-emotioneel beladen onderwerp (zoals drugsverslaving) niet.
II Het vragen naar een mening is nog relatief goed te doen, maar vragen waarin iets opgezocht moet worden, zijn weer uitermate ongeschikt.
III De communicatie kan alleen via de telefoon plaatsvinden. De interviewer moet dan ook een plezierige stem hebben en de intonatie is belangrijk. Omdat non-verbale communicatie niet mogelijk is, kan men de respondent daarmee niet sturen. Men kan dus niet even fronsen als men het antwoord niet begrijpt zodat de respondent vanzelf een toelichting gaat geven. Ook kan men de ondervraagde niet iets laten zien, noch kan men zien in welke omstandigheden de respondent de vragen beantwoordt.
IV Het interview moet relatief kort duren. Veel mensen willen nog wel 5 minuten tijd besteden aan een onderzoek dat hun interesseert. De bereidheid om mee te werken is al veel minder als het om 10 minuten gaat, en als men zegt dat het ondervragen ongeveer 15 minuten duurt, haakt bijna iedereen af.
V Het aantal te stellen vragen is beperkt. Met de introductie erbij kan men in 5 minuten 10 à 15 vragen stellen en bij 10 minuten ongeveer 25 à 30.
VI De vragen moeten krachtig en helder geformuleerd zijn.
Voor schriftelijk enquêtes hebben we de volgende adviezen:
I De omslagenvelop en de inhoud moeten er verzorgd uitzien. Indien de aangeschreven persoon de opdrachtgever kent, gebruik dan bij voorkeur ook een omslagenvelop van de opdrachtgever. Laat bij voorkeur ook de introductiebrief op briefpapier van de opdrachtgever drukken. Dit alles zorgt ervoor dat de aangeschreven persoon meer vertrouwen krijgt in het doel van het onderzoek en dat het onderzoeksbureau daarin een bemiddelende rol speelt.
II Verstuur de enquête op naam. Veel post die binnenkomt die geadresseerd is als "aan de bewoners van" belandt - soms nog ongeopend - bij het oud papier.
III Een enquête begint met een inleiding. In deze inleiding staat waarom deze enquête is opgesteld en waarom het belangrijk is dat degene die de enquête gekregen heeft deze invult. De persoon in kwestie kan gemotiveerd worden door een beroep te doen op de interne motivatie of met behulp van een externe motivator.
IV Maak als onderzoeksbureau duidelijk dat het bureau zich te houden heeft aan de wet op de persoonsbescherming. Dit houdt in dat er nooit persoonlijk informatie doorgestuurd zal worden naar de opdrachtgever, en dat de persoonlijke gegevens alleen voor dit onderzoek gebruikt zullen worden.
V In de inleiding staat ook een instructie van hoe deze vragenlijst ingevuld moet worden en wat te doen als de geënquêteerde een aangekruist antwoord toch nog wil veranderen.
VI De vragen in de enquête moeten in een logische volgorde staan.
VII Lange enquêtes moeten worden opgedeeld in een aantal onderwerpen. Per onderwerp staan alle vragen over dat ene onderwerp.
VIII Vermijd het overslaan van vragen omdat veel mensen zich daarin vergissen: ze gaan door naar een verkeerde vraag of vullen de vragen die ze mochten overslaan toch in. Probeer daarentegen de vragen zodanig te stellen dat iedereen alle vragen kan beantwoorden.
IX De persoonlijke vragen staan bij voorkeur helemaal aan het eind van de vragenlijst.
X Omdat er geen toelichting kan worden gegeven, moeten alle vragen en alle antwoordalternatieven helder zijn geformuleerd. Het gebruik van verwijswoorden moet tot een minimum worden beperkt. Het is vaak zelfs beter om gehele zinsneden per vraag te herhalen.
XI De antwoordcategorieën bij een vraag moeten volledig zijn: iedereen moet een antwoord kunnen aankruisen. Indien men er aan twijfelt of men volledig is, dan kan men beter een half-open vraag gebruiken.
XII Reeksen vragen met dezelfde antwoordcategorieën worden bij voorkeur in een tabelvorm gepresenteerd. Vroeger werd de mening verkondigd dat in enquêtes veel wit moest zitten, dat wil zeggen dat rond de vragen en de antwoorden veel ruimte vrij moest worden gelaten. Inmiddels is men erachter gekomen dat dit juist een averechts effect heeft. De geënquêteerde heeft geen zin om een dik pak papier in te vullen (aversie die al ontstaat voor het invullen), en als hij steeds dezelfde vragen moet beantwoorden krijgt hij er snel genoeg van (aversie die ontstaat tijdens het invullen).
XIII De enquête eindigt met een open vraag waarin de respondent alle op- en aanmerkingen kwijt kan. Dit werkt naar twee kanten positief. Enerzijds kan de geënquêteerde hierin zijn gram kwijt (vragen die hij wel of niet heeft kunnen beantwoorden, toelichtingen op antwoorden waaruit zou kunnen blijken dat de vraag door de geënquêteerde anders is opgevat dan door de opsteller is verwacht, etc.). Anderzijds kan de onderzoeker op het spoor komen van aspecten die niet in de enquête zijn opgenomen maar die wel relevant zijn.
XIV Aan het eind van de vragenlijst moet de respondent worden bedankt voor de door hem gedane moeite.
XV De enquête moet voor de respondent kostenloos kunnen worden teruggestuurd. Een antwoordnummer geeft de respondent het meeste gevoel dat het een vertrouwd onderzoeksinstituut is.
XVI Het bijsluiten van een antwoordenvelop bevordert het terugsturen van de vragenlijst. Mocht deze om de een of andere reden ontbreken, laat het dan in ieder geval duidelijk zijn waar de ingevulde enquête naar toegestuurd kan worden.
Enquêteren via het world-wide-web
Veel van hetgeen hierboven gezegd is over de schriftelijke enquêteren geldt ook voor de vragenlijst op het world-wide-web. Een voordeel van het enquêteren via het world-wide-web is dat men gebruik maakt van een digitale versie van de enquête. Daardoor zijn doorverwijzingen naar bepaalde vragen gemakkelijker: het antwoord op een bepaalde vraag geeft aan of de respondent ook de andere vragen over dat onderwerp krijgt te zien, of dat die worden overgeslagen. Dit voorkomt dat de respondent vragen invult die niet voor hem van toepassing zijn.
In de digitale versie van de vragenlijst is het mogelijk om daar animaties in op te nemen. Men kan een kort filmpje vertonen en daarna een aantal vragen daarover stellen.