« Aujourd’hui, nous faisons face à 2 phénomènes assez fréquents : la fétichisation du chiffre et le rejet du chiffre. L’enjeu auquel la note répond est de donner des éléments pour sensibiliser sur la juste place des données quantitatives dans l’évaluation d’impact social. »

Eclairages sur les enjeux des données dans l’évaluation d’impact social à travers 4 questions à Hélène L’Huillier, économiste-statisticienne de formation, aujourd’hui consultante et chercheuse associée à l’ESSEC, auteure de la Note « La mesure d’impact social, une question de données ».

A quel(s) enjeu(x) répond la note « La mesure d’impact social, une question de données » ?

Cette note trouvera sa place entre les mains de toutes les parties prenantes associées à la mesure d’impact : financeurs, porteurs de projets comme représentants des pouvoirs publics. Aujourd’hui, nous faisons face à 2 phénomènes assez fréquents : la fétichisation du chiffre et le rejet du chiffre. L’enjeu auquel la note répond est de donner des éléments pour sensibiliser sur la juste place des données quantitatives dans l’évaluation d’impact social.

Comme l’explique Alain Desrosières, « quantifier, c’est convenir, puis mesurer ». Pour obtenir un chiffre, la première étape est de fixer des conventions sur ce que l’on souhaite mesurer et la façon dont on va le mesurer. En tant qu’évaluatrice un des rôles qui me tiennent à cœur est de sensibiliser les personnes qui ne sont pas conscientes de cette étape et considèrent qu’un chiffre, « c’est un chiffre, donc c’est objectif ». Pour ces lecteurs et lectrices, l’enjeu de cette note est de rappeler que la quantification, notamment les données d’impact, est un sujet politique (au sens noble du terme).

Inversement, la question des données et du quantitatif peut faire peur et générer un rejet, en particulier, pour des personnes plongées dans le concret et dans l’humain. Il est vrai que des données d’impact ne pourront jamais parfaitement représenter toute la complexité de l’action. La note vise également à sensibiliser sur l’intérêt des données pour répondre à certaines problématiques, en les démystifiant puisqu’on part bien du fait que les données ne sont qu’une manière d’interpréter le réel et que le quantitatif n’est qu’une méthode parmi d’autres.

Pouvez-vous nous citer un ou plusieurs exemples pour illustrer les conventions dont vous parlez ?

Les chiffres du chômage par exemple peuvent être calculés de plusieurs façons, via l’Enquête Emploi de l’INSEE, ou à partir des chiffres de Pôle emploi. On va obtenir des résultats assez différents selon la méthode retenue voire selon la façon de définir les demandeurs d’emploi (par exemple ceux de « catégorie A » c’est-à-dire les personnes sans emploi et en recherche active, ou l’ensemble des inscrits à Pôle emploi).

Autre exemple, aujourd’hui, sur tous les chiffres au sujet de la vaccination ou du nombre de cas de Covid-19 auxquels nous sommes exposés au quotidien, il y a toujours cet enjeu de bien comprendre d’où ils viennent, qui les utilise et à quelle fin. Néanmoins, il est important de ne pas rejeter l’usage du chiffre, dans le sens où il ne présenterait pas d’intérêt puisque « tout est convention ». La note présente par exemple des critères permettant de juger de la qualité d’une donnée.

Que manque-t-il aujourd’hui aux parties prenantes associées à la mesure d’impact pour se saisir des données de la meilleure façon possible ? Faut-il universaliser des indicateurs ou des méthodologies, à l’image du R.A.D.I.S. (référentiel créé par le cabinet KiMSO pour analyser la qualité des données d’impact des associations), ou encore former « au chiffre » toutes les parties prenantes liées à la mesure d’impact ?

Je ne dirais pas qu’il faut que le R.A.D.I.S. devienne un outil universel, car je suis contre la standardisation, quel que soit le sujet. Je suis pour avoir davantage de temps humain pour réfléchir aux choses. Je crois beaucoup en l’intérêt de prendre du recul sur les chiffes, afin d’en dire moins mais avec des chiffres qui revêtent réellement un sens. Ce qu’il manque pour pouvoir effectuer ce pas en arrière, c’est du temps. Les porteurs de projets sont pris dans une spirale où, pour obtenir des financements, ils doivent remplir une montagne de dossiers dans lesquels toujours plus de chiffres sont attendus. Cette lourdeur vient directement du modèle de financement vers lequel l’économie sociale et solidaire est en train de s’orienter : on demande de plus en plus aux organisations de rendre des comptes, sans financement additionnel. Je n’ai pas de solution miracle, et je ne sais pas si le R.A.D.I.S., qui finalement représente un outil en plus à utiliser, aiderait. En tous cas, lire la note est un bon début.

Pouvez-vous nous décrire une « bonne pratique » des données que vous avez pu observer durant votre parcours ?

Il est tout à fait possible de montrer son impact social sans chiffres. J’ai travaillé pendant 3 ans avec l’association Aux captifs la libération, qui accompagne des personnes en situation de prostitution et d’extrême précarité. Les dirigeants de l’association ont une approche de la mesure d’impact que je trouve très juste, ils refusent de se mettre la pression en se disant « il nous faut à tout prix du chiffre ». L’accompagnement de l’association est particulièrement complexe à mesurer, il se dessine sur le temps long et est centré sur la création de lien avec des grands exclus.

Face à des demandes de reporting de leur impact avec des formulations du type « combien de personnes avez-vous aidées à sortir de la rue, combien de douches ont été prises, etc. », l’association a longtemps répondu « ce n’est pas le sujet ! » et proposé des récits de vie d’individus accompagnées sur 15, 20 ans, pour illustrer leur impact. Ils ont décidé il y a 4 ans de construire un outil intégré à l’accompagnement, un outil multidimensionnel et qui mesure réellement ce qui compte pour les personnes accompagnées. Nous sommes arrivés à un arbre, où la personne se positionne avec son accompagnateur sur différentes dimensions, sur le même principe que l’Outcomes star par exemple mais avec des branches et des racines qui émanent directement des valeurs de l’association. L’arbre commence à être utilisé, mais pour l’instant principalement en tant qu’outil d’accompagnement. Les données ne sont pas agrégées pour en tirer des éléments sur l’impact. L’outil que l’on a construit le permet, j’espère qu’un jour il aidera à montrer, à partir de données de suivi de plusieurs dizaines de personnes dans le temps, que l’accompagnement a des effets multiples et imbriqués les uns aux autres sur la vie des personnes. Mais aujourd’hui ce n’est pas le sujet, et en attendant d’être assez « mûrs », les Captifs continuent à illustrer leur impact avec des témoignages très puissants.

Si une association n’est pas prête à publier du chiffre, je trouve cela très courageux de choisir de se limiter à du qualitatif, dans le contexte actuel marqué par une pression forte à la quantification. Certaines associations peuvent se sentir contraintes à foncer vers la mesure d’impact chiffrée, mais ce n’est pas la seule méthode qui existe !

Hélène L’Huillier

Diplômée de l’Ecole Nationale de la Statistique et de l’Administration Economique (ENSAE) et de Sciences Po Paris en 2011, Hélène L’Huillier travaille entre 2012 et 2017 sur l’évaluation d’impact de projets de RSE, d’abord en tant qu’ingénieure de recherche au sein du programme CODEV de l’ESSEC puis dans le cadre d’une thèse à l’Université Lille 1 sous la direction de Florence Jany-Catrice et Cécile Renouard. Elle étudie les liens entre les familles d’outils évaluatifs et les différentes approches du développement humain et de la RSE. Elle travaille sur les évaluations de deux projets menés par Danone au Mexique et Total au Nigeria, en s’appuyant sur l’approche des capabilités avec un focus particulier sur la qualité du lien social, et en mobilisant des méthodes mixtes avec le choix de méthodes non expérimentales pour la partie quantitative. Elle contribue à la conception d’un « indicateur de capacité relationnelle ». A l’ESSEC, elle rencontre Emeline Stievenart, aujourd’hui Directrice de l’IMPACT TANK. Après sa thèse, elle rejoint le cabinet spécialisé en évaluation d’impact social KiMSO, cofondé en 2014 par Emeline Stievenart. Entre 2017 et 2020, elle y conduit une vingtaine d’évaluations, principalement sur des projets de l’ESS et autour de thématiques variées (précarité, lien social, insertion professionnelle, égalité des chances, etc.). Aujourd’hui, Hélène L’Huillier est basée à Toulouse et travaille comme consultante au sein d’une CAE. Elle reste par ailleurs rattachée à l’ESSEC en tant que chercheuse associée. Ses activités principales sont l’accompagnement de structures de l’ESS dans leurs démarches d’évaluation d’impact, la conduite de missions d’évaluation, et la contribution à des projets de recherche-action sur les indicateurs de la transition, en partenariat avec le Campus de la Transition.