Dans le domaine de la Statistique Publique et de la Recherche, on parle souvent de “Grandes Enquêtes”. Bien sûr, il ne s’agit pas ici d’enquêtes criminelles ou journalistiques, mais d’études de grande ampleur visant à collecter des données auprès d’une population à des fins statistiques, dans le champ de la santé, du social, ou encore de la consommation.
Chez Gide, nous avons une certaine expérience dans le déploiement de grandes enquêtes terrain, aux côtés de nos partenaires instituts d’études ou en direct auprès d’organismes de recherche (Insee, Inserm, Ined, Irdes, Services Statistiques des Ministères, …).
Comment s’organisent ces grandes enquêtes ?
Quelles sont leurs spécificités en termes de méthodologie ?
Quels outils peut-on mobiliser pour leur mise en place ?
On fait le point dans cet article…
Grandes enquêtes : leurs spécificités méthodologiques
L’organisation d’une grande enquête est un processus au long cours qui mobilise d’importants moyens humains, techniques et financiers. Si ce type d’enquête s’appuie sur des dispositifs de recueil bien connus (face-à-face, téléphone, questionnaire en ligne, …), la méthodologie est donc différente de celle d’une étude marketing ou sociale traditionnelle.
L’organisation du terrain : affectation des enquêteurs et prises de rendez-vous
Qui dit enquête, dit le plus souvent enquêteurs. Si les grandes enquêtes comportent souvent un volet en ligne, avec des questionnaires auto-administrés, elles s’appuient aussi la plupart du temps sur un dispositif d’interview en face-à-face ou par téléphone.
La mise en œuvre d’une grande enquête nécessite donc souvent de faire appel à un prestataire de terrain, spécialisé dans la mise à disposition d’enquêteurs qui vont aller interviewer les cibles en face-à-face (à leur domicile ou dans des lieux déterminés) ou à distance (au téléphone, voire en visio).
Dans certains cas, l’organisme qui gère l’enquête dispose de sa propre équipe d’enquêteurs, mais l’organisation reste la même.
Il faut gérer la relation avec ces enquêteurs, l’affectation de chaque enquêteur à une cible de répondants, former les enquêteurs à l’utilisation de ces outils mis à leur disposition, en particulier pour les interviews en face-à-face, etc.
Pour optimiser le travail sur le terrain, la gestion des rendez-vous est cruciale : en effet, il est nécessaire d’affecter les enquêteurs aux individus à enquêter en respectant les contraintes et les disponibilités des uns et des autres, ce qui suit un protocole bien précis et des règles de gestion spécifiques.
Chez Gide, fidèles à notre approche “sur mesure”, nous avons créé pour cela un module de prise de rendez-vous que nous personnalisons pour chaque projet.
Par exemple, dans le cas d’une enquête sur laquelle nous avons travaillé récemment dans le domaine de la santé, nous avons mis en place une plateforme de prise de rendez-vous à destination des différents acteurs sur le terrain : enquêteurs, infirmiers et coordinateurs.
Pour garantir le bon déroulement et l’efficacité du terrain, cette plateforme doit respecter de nombreux critères :
- respect de la séquence logique “recrutement > interview > mesures et prélèvements médicaux > dépôt des prélèvements” et prise en compte des délais minimums entre chaque étape,
- disponibilité des enquêteurs et infirmiers,
- distance maximale entre la localisation de l’enquêteur et la zone d’interview,
- etc.
Dans le cadre d’une enquête aléatoire en population générale, le répondant peut également fixer lui-même un rendez-vous avec un enquêteur, après avoir éventuellement vérifié qu’il est éligible à l’enquête en contrôlant si son numéro de téléphone a été tiré au sort.
Les modalités d’affectation des enquêteurs aux différentes personnes à interviewer sont également assez variées : affectation automatique d’une liste d’adresses à chaque enquêteur, gestion des affectations par un coordinateur, voire par l’enquêteur lui-même, etc.
Dans tous les cas, les règles de gestion doivent être intégrées à l’outil, pour ne pas faire reposer le respect du protocole sur l’enquêteur ou sur le coordinateur. Mais il faut également s’assurer que ces règles ne soient pas trop contraignantes afin de maximiser les chances de l’enquêteur de conduire ses interviews.
Questionnaires complexes et imbriqués
Auparavant, pour les enquêtes en face-à-face, le questionnaire papier était la norme. Mais aujourd’hui, la collecte des données se fait le plus souvent via un questionnaire au format digital accessible sur une tablette.
Il faut donc en amont programmer le questionnaire, qui peut s’avérer long… très, très long : nous rencontrons régulièrement des questionnaires comptant plus de 1000 questions !
Pour maximiser la productivité et la fiabilité de cette tâche, nous essayons d’automatiser autant que possible la génération d’un premier script de questionnaire :
- soit en convertissant automatiquement le format original du questionnaire (souvent sous Word) dans notre langage de scripting de questionnaire : pour cela, nous définissons avec nos clients différentes conventions à respecter pour la mise en forme du questionnaire lors de sa rédaction et que nous pouvons ensuite interpréter,
- soit en partant d’une description formelle du questionnaire dans un format standard du type DDI (« Data Documentation Initiative », cf. ddialliance.org) pour lequel nous avons également développé un convertisseur.
À la longueur du questionnaire vient s’ajouter la complexité de sa structure : cela implique de suivre là aussi des règles de gestion (filtres, contrôles de cohérence, boucles, etc.) qui peuvent être particulièrement lourdes à programmer. En effet, ces questionnaires ne sont pas de simples formulaires listant des questions “à plat” : il s’agit de questionnaires en arborescence avec des données imbriquées.
Par exemple, dans le cas de l’enquête de santé publique dont nous parlions précédemment, les enquêteurs doivent interviewer des familles composées de parents et d’enfants.
Pendant la phase de recrutement, l’enquêteur va d’abord aller au contact des parents. Si un enfant du foyer est éligible à l’enquête, on doit recueillir le consentement d’un adulte, avec une signature électronique, ainsi que le consentement de l’enfant.
Sauf que l’enfant n’est pas toujours présent au domicile lors de la première visite de l’enquêteur.
L’enquêteur va donc d’abord interviewer l’adulte, puis revenir dans le foyer un autre jour pour interviewer l’enfant : cette deuxième étape va venir enrichir le questionnaire initial avec les données de l’enfant. Ces deux étapes réalisées, les rendez-vous infirmiers peuvent avoir lieu, et les questionnaires rendus disponibles sur les tablettes de ces derniers.
Dans ce cas – fréquent – où l’on va interviewer les membres d’un foyer, la structure des données est donc particulière : on va avoir un questionnaire au niveau du foyer, un sous-niveau pour les adultes et un autre pour les enfants. La restitution finale des données devra respecter cette structure des données pour être exploitable : on ne peut pas se contenter d’un tableau avec une ligne par foyer !
Il y a donc un retraitement, une transformation des données à opérer : la capacité du prestataire qui programme le questionnaire (en l’occurrence, Gide) à fournir un schéma de données exploitable en fonction des objectifs de l’enquête est donc capitale pour le succès de l’enquête.
Cette étape conditionne la qualité et la fiabilité des données finalement livrées : trop souvent sous-estimée, elle doit pourtant être considérée et discutée dès le lancement du projet.
Gestion des questionnaires papier
Comme on l’a dit, la collecte des données se fait en grande partie au format digital grâce à un questionnaire auto-administré ou administré par un enquêteur en face-à-face ou par téléphone. Mais il reste toujours une partie du terrain qui donne lieu à des questionnaires papier, notamment lors d’un envoi postal.
Pour le suivi de l’enquête, il faut réintégrer aux métadonnées digitales celles issues du terrain papier : nombre de questionnaires reçus puis saisis, taux de complétion, etc.
Il faut également intégrer la donnée recueillie au travers des questionnaires papier.
Pour cela, l’organisme qui pilote l’enquête fait appel à un prestataire qui reçoit les questionnaires papier et ressaisit les données par scan ou de façon manuelle via un masque de saisie ad hoc ou la version Web du questionnaire si elle existe.
Cette entreprise fournit des fichiers que, chez Gide, nous convertissons au bon format pour pouvoir les fusionner avec les données recueillies par les autres canaux (Web, téléphone, tablettes, etc).
Une organisation en plusieurs étapes
Pour déployer une grande enquête, on procède toujours en plusieurs étapes itératives.
Une fois une première version du questionnaire programmée, on commence généralement par un test ou pilote sur un nombre restreint de répondants et d’enquêteurs, ce qui permet de tester le questionnaire, les outils et l’organisation du terrain.
On prend ensuite en compte les remarques et demandes de modifications pour enrichir le dispositif d’enquête : faire évoluer le questionnaire mais également la méthodologie, les outils, …
Pour les enquêtes les plus lourdes, plusieurs pilotes peuvent être organisés avant que l’enquête soit déployée sur le terrain réel.
Chez Gide, nous sommes présents aux côtés de nos clients pendant toutes ces phases de déploiement de l’enquête, depuis la mise en place du pilote jusqu’au terrain final, qui peut se dérouler sur plusieurs vagues, en passant par la formation des enquêteurs.
Et, dans la mesure du possible, nous souhaitons être impliqués sur l’enquête le plus tôt possible, dès la phase de conception du questionnaire : cela permet d’apporter nos idées compte tenu de notre expérience sur des projets similaires, d’adapter le dispositif d’enquête en fonction de ce qu’il est possible de faire techniquement, ou pas, etc.
Même dans le cas où la prestation nous est commandée par un Institut d’Études, nous sommes disponibles et intéressés pour participer aux discussions avec le commanditaire de l’enquête.
Une restitution des données sur mesure
Dans le cadre d’une grande enquête, l’analyse des données est habituellement effectuée par le client final. Pour cela, nous restituons les données au format le plus pratique pour lui, que ce soit de classiques fichiers CSV, ou des formats utilisables via un langage ou des outils spécifiques (R, SAS, …).
Les données brutes sont rarement restituées telles que collectées : elles passent habituellement par une étape de nettoyage / vérification (“cleaning”) avant d’être organisées et formatées selon un dessin d’enregistrement (“datamap”) spécifiquement demandé par le client.
Plus en amont, pour le suivi du terrain, nous mettons à la disposition des clients et des prestataires de terrain un portail Web sécurisé spécifique à l’enquête, qui permet de suivre le nombre d’interviews réalisés, le pourcentage de complétion, etc. en fonction du mode de recueil, par cible, zone géographique, enquêteur, etc.
Selon les besoins, les différents tableaux présentés en ligne sur la plateforme peuvent être téléchargés, et des exports spécifiques peuvent également être mis en place et automatisés.
Sécurité et confidentialité des données
Lorsque l’on traite des données personnelles, et d’autant plus des données sensibles (comme les données de santé, les réponses aux enquêtes dites de “victimation”, etc.), la sécurité et la confidentialité sont un enjeu majeur.
Hors de question d’envoyer par mail un fichier de 100 000 adresses, ou d’envoyer les données sur un serveur basé aux États-Unis !
Chez Gide, nous mettons à disposition pendant toute la durée du projet une plateforme d’échanges sécurisée pour la transmission de tous les documents de l’étude : questionnaires, bases de répondants, données collectées, etc.
Dans le cas d’études en face-à-face, nous pouvons également activer le cryptage des données stockées sur les tablettes et crypter la transmission vers nos serveurs, basés en France.
Pour les enquêtes de santé, il nous est également possible de déployer le dispositif de recueil et d’héberger les données sur des plateformes agréées HDS (Hébergeur de Données de Santé).
Quels outils technologiques pour les grandes enquêtes ?
Comme on l’a vu, les grandes enquêtes reposent sur un dispositif souvent complexe, avec un protocole précis et un cadre méthodologique bien spécifique.
Chez Gide, nous mettons en place pour chaque enquête des outils sur mesure adaptés aux besoins du projet.
Voici quelques exemples d’outils ou fonctionnalités qui peuvent être mobilisés pour répondre à ces besoins.
Norme PCS 2020 pour recoder les professions
La norme PCS 2020 est la dernière nomenclature proposée par l’INSEE pour catégoriser les catégories socio-professionnelles.
Il est possible d’intégrer à un questionnaire CAPI / CAWI / CATI cette nomenclature de façon automatique pour codifier les professions des répondants.
Le module que nous avons développé implémente l’algorithme proposé par l’INSEE pour obtenir le code PCS2020 sur 4 caractères : la profession est saisie au féminin ou masculin dans une zone de texte libre qui propose ensuite la liste des professions correspondant à la saisie, et les questions complémentaires prévues par l’INSEE peuvent également être posées dans le cas de professions imprécises.
Solutions de traçabilité
Des outils digitaux peuvent être mis en place pour intégrer des notions de traçabilité à un questionnaire digital :
- signature électronique dans le questionnaire,
- capture photos de documents et preuves de dépôt,
- scan de code-barre pour des éléments physiques, comme des échantillons biologiques dans le cas d’une enquête de santé,
- etc.
Doublage audio des questions et capture audio des réponses
Auparavant, il était compliqué de mener de grandes enquêtes auprès d’un public non francophone, car le face-à-face avec un questionnaire papier nécessitait que l’enquêteur soit accompagné d’un interprète, ce qui, en plus de compliquer l’organisation du terrain, représentait un coût souvent excessif.
Ce problème a été en partie réglé avec la généralisation des questionnaires digitaux sur tablettes, qui peuvent être traduits en de nombreuses langues, comme nous l’avons fait notamment pour l’IRDES dans le cadre d’une enquête auprès d’une population de migrants (lire l’étude de cas).
Mais cette solution n’est pas parfaite, en particulier si les interviewés présentent des difficultés de lecture. L’intégration de l’audio aux questionnaires digitaux répond à ce problème.
En effet, il est possible d’intégrer à un questionnaire présenté sur tablette une lecture audio des questions (intitulé de la question, consignes, modalités de réponses, …). C’est ce que nous avons fait pour l’INSEE dans le cas d’une étude en cours auprès des personnes sans domicile.
Ainsi, même si l’enquêteur ne parle pas la langue de l’interviewé, il peut mener à bien son interview, et si l’interviewé présente des difficultés de lecture, il peut écouter la question et répondre en suivant les instructions.
Les questionnaires audio peuvent répondre à de nombreux autres cas d’usage, comme l’interview d’enfants non lecteurs, ou de personnes ayant des difficultés de lecture (handicap, dyslexie, …).
Ce dispositif de lecture audio “sous casque” peut également être très utile pour le recueil de réponses à des questions sensibles. Il permet de mettre en confiance une personne qui répond aux questions en autonomie, sans que l’enquêteur ou que toute autre personne dans la pièce ne puisse entendre les questions et connaître les réponses. C’est, par exemple, ce que nous avons mis en place dans le cadre d’une enquête sur les violences conjugales.
Selon le contexte de l’enquête, la lecture audio peut être effectuée grâce à des fichiers audio produits en amont (échantillonnage d’une vraie voix humaine ou d’une synthèse vocale) ou grâce à une synthèse vocale “dynamique” qui lit directement le texte affiché sur la tablette (“Text-To-Speech”).
Même si cette 2nde option n’est pas toujours optimale (restitution parfois incorrecte de certains textes), elle est a priori moins coûteuse, et elle présente surtout l’avantage d’autoriser la modification du questionnaire jusqu’au lancement du terrain, puisqu’il n’est pas nécessaire de générer de fichier audio à l’avance.
Pour le recueil des réponses aux questions ouvertes, une capture audio est également possible : le répondant énonce directement sa réponse qui est capturée par le microphone de la tablette ou du casque et enregistrée sous la forme d’un fichier audio.
À chaque synchronisation, les fichiers audio ainsi recueillis sont envoyés vers nos serveurs en même temps que les autres données de réponse au questionnaire, pour être restitués en parallèle des fichiers de données finales.
Enfin, pour traiter ces fichiers audio, il est possible d’utiliser des technologies de “Speech-To-Text” pour convertir l’audio en texte, comme s’il s’agissait de réponses à des questions ouvertes classiques.
Questionnaire sous forme de calendrier
Dans certaines grandes enquêtes, on va demander aux répondants de retracer de façon détaillée un historique personnel, que ce soit un parcours professionnel ou encore un historique d’habitation. Cela peut aussi s’appliquer aux carnets de consommation / dépenses / activité / déplacement / …
Il est souvent difficile de présenter ces questions sous la forme d’un formulaire classique.
On peut donc programmer et déployer un questionnaire qui présente visuellement un calendrier visuel et ergonomique, plus pratique pour le répondant, et facilitant la mobilisation des souvenirs.
Pour chaque période, on peut mettre en place un mini-questionnaire imbriqué, dont les questions sont différentes en fonction du type de période (exemple : période en emploi ou sans emploi).
Cette réflexion sur l’ergonomie est essentielle pour assurer un recueil de données le plus fiable et exploitable possible. Et c’est d’autant plus important si le questionnaire doit être “responsive” pour qu’il soit possible et pratique d’y répondre sur smartphone : il faut dans ce cas prévoir deux mises en forme différentes, selon la taille de l’écran utilisé.
Écoute des interviews téléphoniques
Dans le cas d’interviews téléphoniques, on a besoin de s’assurer que le protocole est bien respecté par l’enquêteur, et que ce qu’il saisit est en phase avec la réponse de l’interviewé.
Un système d’écoute est habituellement intégré à l’outil CATI de l’opérateur de terrain, mais quand le questionnaire est programmé au format CAWI via un autre logiciel que celui qui gère les appels (on parle alors de “webCATI”), il n’est souvent pas possible de voir ce qui est saisi par l’enquêteur téléphonique.
Pour remédier à cela, nous mettons à disposition de nos clients CAWIspy, un outil que nous avons développé et qui permet à un chef d’équipe ou au client final de voir en direct ce que saisit l’enquêteur dans le questionnaire Web programmé par Gide.
Organisation d’interviews face-à-face en visioconférence
Lorsque l’enquêteur ne peut pas rencontrer physiquement l’enquêté, il est possible de mettre en place des interviews à distance dont l’expérience pour l’enquêteur et le répondant se rapproche le plus possible de celle du face-à-face.
Pour cela, nous avons développé l’outil CAVIsio spécifiquement pour les grandes enquêtes, pendant la période de confinement de 2020.
Ce mode de recueil hybride va plus loin que l’interview téléphonique, en conservant un contact visuel entre enquêteur et répondant. Il permet ainsi :
- à l’enquêteur de voir dans une même fenêtre sa vidéo, celle du répondant, et le questionnaire qu’il déroule ;
- au répondant, de la même manière, de voir sa vidéo et celle de l’enquêteur, et les liste de réponses (“showcards”) que l’enquêteur peut éventuellement partager avec lui.
En intégrant tout cela dans une même interface (un seul onglet du navigateur Web), CAVIsio permet, à l’inverse des solutions basées sur Teams, Zoom ou autres, de ne pas multiplier les outils et les écrans, pour un meilleur confort et une efficacité accrue pour l’enquêteur.
Cliquez ici pour en savoir plus sur Cavisio.
Pour aller plus loin
Le sujet des grandes enquêtes vous intéresse ? Ces articles pourraient vous intéresser également :
