5.2 Comprendre les biais potentiels
28-Feb-2022
4 mins
TABLE DES MATIÈRES
5.2.1. Reconnaître les limites de l’analyse
Dans la section 2, nous avons évoqué comment traiter les erreurs, les doublons, les données manquantes ou les valeurs aberrantes dans votre ensemble de données. De telles questions sont des limites à la qualité des données qui doivent être honnêtement partagées et reconnues dans la section sur la méthodologie du rapport. Cela aidera les autres à comprendre la fiabilité de vos données et de vos conclusions, tout en soulignant les défis contextuels qui peuvent survenir si des types similaires de collecte de données/recherche sont répétés à différents moments ou dans différents endroits.
Il peut également s’avérer utile de repérer les limites des données collectées par d’autres ou les limites de l’analyse qui en résulte : ACAPS - Spot Dubious Data (disponible en anglais).
Étant donné les contextes dans lesquels opèrent les acteurs du secteur de la solidarité, les données que nous recueillons ont souvent de sérieuses limites, résultat d’une nécessité d’être pragmatiques dans la conception des enquêtes dans des délais très serrés. Sans prétendre être exhaustif, nous vous donnerons ici une liste de quelques limites communes et de leur impact pour vous encourager à réfléchir aux biais éventuels dans les données que vous collectez vous-même.
L’une des principales limites réside souvent dans l’échantillon choisi, qui est régulièrement difficile à rendre représentatif, notamment lorsqu’il existe de fortes contraintes d’accès dans des endroits difficiles à atteindre.
La difficulté d’inclure un groupe de population spécifique, difficile à atteindre par exemple, peut même conduire à l’invisibilisation de certaines questions ou même causer davantage de tort. Si les décisions programmatiques ou opérationnelles sont prises sur la base de données partielles ou biaisées, la perspective et le comportement de certains groupes de population peuvent être écartés des conclusions tirées de l’analyse.
Pour mieux comprendre, Caroline Criado Perez dans invisible Women : Invisible Women: Exposing Data Bias in a World Designed for Men (Broché, 2019) fournit de nombreux exemples de l’impact de l’absence de données ventilées par genre sur la prise de décisions (en particulier politiques). Vous trouverez un bon résumé dans l’article de Janet Anderson “Caroline Criado Perez’s book Invisible Women calls for rethinking algorithms before it’s too late”.
De plus, le manque de confiance d’une population, ou d’une partie de la population, peut conduire les individus à ne pas répondre ou à donner des réponses fausses à de nombreuses questions de l’enquête. Pour exemple, vous pouvez consulter cette étude de cas basée sur l’expérience ACAPS à Cox Bazar.
D’autres éléments clés qui peuvent conduire à la collecte d’informations partielles ou erronées incluent le manque de préparation des questionnaires par le biais d’une attention suffisante accordée aux traductions contextualisées. La langue ou la mauvaise traduction des questionnaires peuvent également conduire à des réponses et à des analyses qui en résultent largement faussées. Translators without Borders (TWB) a publié un rapport portant spécifiquement sur les problèmes potentiels de la traduction avec les énumérateurs dans les enquêtes humanitaires, et ce que cela signifie pour la collecte de données quantitatives et les résultats - The words between us, TWB, 2018 (disponible en anglais).
Il en va de même pour le malentendu contextuel, qui peut conduire à poser des questions d’une manière incompréhensible pour la population cible (ou même pour certains groupes au sein de la population cible). Un malentendu contextuel conduit à la formulation de questions qui fournissent (au mieux) des données biaisées, ou (au pire) peuvent poser des questions sensibles ou inappropriées aux enquêtés.
Il est donc essentiel de comprendre quelles méthodes de collecte de données sont appropriées pour le contexte et la population cible, la bonne façon de poser les questions, le bon langage à utiliser, mais aussi la nécessité de créer un climat de confiance. Ce n’est malheureusement pas toujours possible.
Qu’il soit possible ou non de traiter ces éventuels facteurs affectant la fiabilité des données, il est nécessaire qu’ils soient explicitement énoncés dans votre analyse afin de ne pas fausser la prise de décision qui en résultera.
5.2.2. Zoom sur les biais cognitifs
Un autre aspect intéressant à examiner lorsqu’on parle de limites de l’analyse porte sur : Comment les biais cognitifs, présent chez tous les êtres humains, affecte notre raisonnement. Les biais cognitifs affectent le raisonnement qui guide notre analyse, et devient alors inhérent lorsque nous voulons tirer une conclusion de nos données. Par conséquent, ces biais doivent toujours être reconnus pour tenter d’en atténuer les impacts.
Pour en savoir plus sur la façon dont le biais peut influer sur notre analyse, vous pouvez consulter la ressource ACAPS en suivant ce lien.