6.2 Concevoir et plannifier
13-Sept-2022
9 mins
TABLE DES MATIÈRES
- Cas d’étude : le questionnaire infernal
- Cas d’étude : un choix d’outil inadapté à la sensibilité des données
- Cas d’étude : une collecte mal préparée
- Ressouces clés
Cas d’étude : le questionnaire infernal
La situation
Vous faites partie de l’équipe de Suivi & Evaluation d’une ONG et un chef de projet vous envoie un questionnaire de 15 pages sans plan d’analyse. Lors de l’analyse, vous vous rendez compte que non seulement énormément de questions étaient en fait inutiles et donc ont été posées pour rien à des populations déjà sur-sollicitées, mais qu’il manque d’autres questions nécessaires au vu de vos besoins d’analyse comme par exemple une désagrégation par village ou par genre.
Quels sont les risques potentiels ?
- Une analyse erronée voire hors sujet
- Des besoins sur/sous évalués voire omis
- Faible pertinence et efficacité de la réponse apportée
- Surcouts inutiles, perte de temps pour les équipes
- Fatigue des bénéficiaires sollicités pour des enquêtes longues et/ou à plusieurs reprises
- En découle des risques réputationnels pour l’ONG
Que faire ?
Vous ne trouverez probablement pas de solution magique à cette situation, et devrez prévoir une collecte de données complémentaire (et probablement lourde et couteuse) pour les données manquantes si celles-ci sont un réel point bloquant pour vos besoins opérationnels ou de redevabilité et capitalisation.
Comment la situation aurait pu être évitée ?
La piste évidente pour éviter ce type de situation est de bien préparer tout exercice de collecte avec un plan d’analyse discuté entre responsable de projet et équipe de suivi & évaluation précisant les analyses nécessaires, les désagrégations dont vous avez besoin, les modalités de collecte, les biais envisagés etc.
De manière complémentaire, il est essentiel d’accompagner les responsables de projet à maitriser l’importance du plan d’analyse pour rendre plus efficace la collecte, ainsi que les notions de minimisation de données, des risques d’usure (beneficiary fatigue en anglais) et des limites d’une approche “je collecte aujourd’hui car j’aurais peut-être besoin de ces données demain”, ce qui ne respecte tout simplement pas les principes de la protection des données qui supposent de définir précisément l’objectif de la collecte et proscrivent la réutilisation des données collectées.
Une collecte s’anticipe en prenant en compte le contexte dans lesquelles elle va se dérouler. En particulier, si vous êtes dans un contexte avec de multiples acteurs réalisant régulièrement des enquêtes, un peu de coordination ne pourrait être que bénéfique pour respecter les personnes que vous cherchez à accompagner en ne les sollicitant que pour ce qui est nécessaire).
Cas d’étude : un choix d’outil inadapté à la sensibilité des données
La situation
Un responsable de projet vous a sollicité en tant que chargé de suivi et évaluation pour mettre en place sur un outil de collecte de données sur mobile une enquête de satisfaction auprès de populations ayant reçu des kits hygiène. Juste avant que la collecte se termine, en discutant avec des collègues d’autres organisations ayant analysé chaque outil au vu de leurs fonctionnalités de protection dès la conception et par défaut (by design and default en anglais), vous vous rendez compte que l’outil n’était pas adapté, avec une sécurisation insuffisante des données personnelles et un serveur dans un pays non compatible avec la législation applicable.
Quels sont les risques potentiels ?
- Données personnelles et sensibles accessibles par des tiers
- Risque de perte et de destruction des données
- En cas de contrôle, risques d’amende donc risque réputationnel pour l’ONG
Que faire ?
La collecte étant déjà presque terminée, il serait démesuré de tout arrêter en recommandant de passer sur un autre outil, sauf si l’analyse contextuelle montre des risques d’atteinte aux personnes liés à cette collecte.
Par contre, des mesures de protection des données supplémentaires peuvent être mises en place rapidement afin d’atténuer les risques encourus, tels que :
- l’utilisation de téléphones et d’ordinateurs professionnels uniquement,
- la sécurisation des mobiles (codes pin, mot de passe d’accès à l’application,
- les mises à jour des logiciels et antivirus,
- le nettoyage régulier des données envoyées, de l’application (profils et droits d’utilisateur plus granulaires, accès restreint pour le projet…),
- la mise en œuvre de modalités sûres pour les partages de données (Wifi sécurisé ou donnée mobile, VPN au besoin, utilisation de fonctions de chiffrement, voire revoir le formulaire pour que les données d’identification soient capturées sous forme d’identifiant unique plutôt que de données nominatives).
Gardez en tête que vous ne portez pas sur vos épaules toute la responsabilité de ce type de situation et qu’il est préférable de réfléchir à plusieurs aux solutions alternatives, ce qui permet en parallèle de sensibiliser aux enjeux. Par ailleurs, l’organisation dans son ensemble doit être en capacité de vous fournir les moyens de travailler correctement (guides, politiques, outils, marche à suivre, etc) pour vous aiguiller dans le choix d’outils.
Comment la situation aurait pu être évitée ?
La situation idéale est quand l’organisation a fait un choix institutionnel quant aux outils à utiliser, et que ceux-ci ont été vérifiés sur la base de critères de gestion responsable de données.
Bien entendu, l’outil n’étant qu’une variable de l’équation, il est important que les équipes terrain aient des procédures type à suivre (Standard Operating Procedures ou SOP) sur lesquelles s’appuyer pour éviter les erreurs ou les oublis.
Ensuite, il est évident que l’analyse de risque aide à guider sur le niveau de protection de données à mettre en place pour assurer une collecte à la fois sécurisée et fluide par rapport aux enjeux opérationnels.
Cas d’étude : une collecte mal préparée
La situation
Des personnes enquêtées sont sujettes à une collecte de données dont elles ne comprennent pas complètement le sens, entre le fait que les questions ne sont pas dans leur langue principale parlée et qu’elle contiennent de nombreux termes techniques ou des acronymes que les enquêteurs ne savent pas toujours expliciter. Les réponses qu’elles donnent donc sont hasardeuses, mais elles n’osent pas ne pas répondre par respect pour les enquêteurs et de peur de compromettre leur accès à des services ultérieurs de l’ONG.
En tant que responsable de projet, vous vous rendez compte en analysant les données en fin de journée d’incohérences, et vous rapprochez de l’équipe de S&E pour comprendre le problème. Cette dernière vous rappelle que vous lui avez laissé 24h pour concevoir les outils de collecte et les traduire dans les langues souhaitées, ce qui n’était pas un temps suffisant pour avoir une collecte de bonne qualité.
Quels sont les risques potentiels ?
- Analyse erronée; voire hors sujet
- Besoins sur/sous évalués voire omis
- Faible pertinence et efficacité de la réponse apportée
- En découle des risques réputationnels pour l’ONG
- Mauvais emplois des ressources, perte de temps, frustration des équipes et enquêteurs
Que faire ?
Si la collecte est d’une certaine ampleur et très importante pour les besoins opérationnels et que les incohérences relevées sont importantes, le mieux est mettre la collecte en pause :
- Tant que les enquêteurs n’ont pas été correctement formés au contenu et aux objectifs de l’enquête,
- et les outils revus pour être plus explicites en prenant en compte les retours du terrain,
- et ceci, avec une traduction de qualité donc testée au préalable auprès de l’équipe locale également dans les langues parlées par les personnes enquêtées.
Comment la situation aurait pu être évitée ?
Il est fréquent que des problèmes émergent en cours de collecte par manque de préparation. Il est donc essentiel de mettre en place des procédures entre équipes thématiques et de suivi-évaluation pour s’assurer que chacun peut mettre en place les outils de collecte dans de bonnes conditions, en suivant des étapes établies.
Il est souvent nécessaire de sensibiliser les responsables de projet aux risques à laisser trop peu de temps aux équipes sur la partie conception, traduction, test qui est souvent chronophage en fonction de la complexité du formulaire envisagé.
Il est indispensable que les équipes de collecte soient formées sur toutes les dimensions de l’enquête (objectifs, vocabulaire, déroulé, consentement, respect des personnes enquêtées…) avec si possible des mises en situation / un accompagnement les premiers jours pour identifier des problèmes potentiels.
Ressouces clés
- CartONG a créé une boîte à outil dédiée à l’Analyse de données pour vous aider à réfléchir aux étapes méthodologiques nécessaires à une collecte et analyse réussie
- Liste de contrôle pour aider à choisir un outil de manière responsable
- Un visuel (en anglais) expliquant les différentes dimensions de la protection des données à l’échelle d’une organisation
- Ces ressources de Clear Global (en anglais) sur l’importance de la traduction des enquêtes en langue locale: ici et ici
- Pour des questions d’inclusion, voici un exemple (en anglais) d’approche du Washington Group sur comment prévoir des collectes de données intégrant la dimension handicap - approche à bien entendu appliquer en fonction des programmes à d’autres types de vulnérabilités/discriminations telles le genre, l’âge, etc.
- Une étude présentant l’ampleur des problèmes de qualité de données liés à une mauvaise compréhension par les enquêteurs du contenu d’enquêtes (en anglais)
- Pour toute formation, des éléments de réflexion dans le kit Oxfam de formation en gestion responsable de données et la section 7.4 de la Boîte à outils Gestion responsable de données?.
- Un article décryptant la notion de consentement informé (en anglais)
- Le guide Protonmail (en anglais) sur la cybersécurité
- Les ressources du CALP autour des programmes Cash, mais souvent applicable à d’autres domaines (en anglais): ici, ici et ici