L’auteure : Hélène L’Huillier

Economiste-statisticienne de formation, titulaire d’une thèse de doctorat sur l’impact de projets de RSE sur le développement humain durable, Hélène L’Huillier a 10 ans d’expérience dans le conseil et la recherche en évaluation de projets à impact.

Après avoir travaillé pour le programme de recherche Codev de l’ESSEC puis pour le cabinet de conseil Kimso, Hélène est depuis 2020 consultante entrepreneure au sein de la CAE la Maison de l’initiative à Toulouse. Ses activités sont de trois ordres : accompagnement de structures de l’ESS dans leur démarche d’évaluation d’impact ; contribution à des projets de recherche-action sur les métriques de la transition ; sensibilisation aux enjeux éthiques et politiques associés aux outils de mesure d’impact.

Les données d’impact social, qu’est-ce que c’est ?

La donnée : une observation pouvant prendre différentes formes 

Une donnée peut être définie comme une « description élémentaire, typiquement numérique, d’une réalité. C’est par exemple une observation ou une mesure » (Abiteboul, 2012). A partir d’un ensemble de données, on peut obtenir de l’information en les structurant, et aboutir à des connaissances en interprétant l’information. Ces trois notions proches peuvent faire l’objet de confusion.  

Avec l’influence du « big data »[2], les données et leur analyse sont connotées d’une dimension quantitative. Mais les données peuvent être aussi bien numériques que textuelles, sonores, visuelles…  

Exemple

Les données à caractère personnel définies par la CNIL[3] incluent notamment la date de naissance (donnée numérique), le nom et le prénom (données textuelles), la voix (donnée sonore) et l’image (donnée visuelle). 

Une donnée ne dit rien prise isolément ou sortie de son contexte. Pour en tirer de l’information, elle va être mise au regard d’autres données et interprétée en fonction de son environnement (Rivière, 2020). Dans le domaine de l’évaluation d’impact social en particulier, les données constituent le socle à partir duquel sont construits des variables, des indicateurs ou des indices agrégés (Ottaviani, 2021). 

Le Roy & Ottaviani, 2017

Les données d’impact social : quantitatif vs. qualitatif ?

Dans les guides sur l’évaluation d’impact social, deux types de données sont souvent opposés : les données quantitatives et qualitatives (ex : Avise, Improve & Fidarec, 2021). Plutôt que le format initial des données, c’est leur traitement, la méthode d’analyse qui leur est appliquée pour passer à une information et à des connaissances, qui est ici en jeu. 

Exemple

Une baisse moyenne des dépenses de chauffage de 30% chez les bénéficiaires d’un projet de lutte contre la précarité énergétique est une information quantitative. Un témoignage de bénéficiaire expliquant que, grâce au projet, ses dépenses de chauffage ont baissé de 30% et qu’il a pu réparer sa voiture grâce à l’augmentation de son reste à vivre est une information qualitative. Les deux s’appuient sur une donnée numérique. Dans le premier cas, on va mettre l’accent sur le caractère généralisable de l’information. Dans l’autre, on va mettre l’accent sur les mécanismes en jeu en éclairant le chiffre par un contexte. Ces deux usages sont complémentaires.

Données primaires et secondaires, données brutes et traitées

Les données d’impact social peuvent être soit collectées spécifiquement pour l’évaluation – on parle alors de données primaires – soit être rassemblées pour l’évaluation et lui préexister (statistiques publiques, données de suivi, évaluations antérieures…) – on parle de données secondaires[4]. 

Exemple

Parmi ses chiffres clés sur l’impact social, l’association VoisinMalin[5] indique que 42% des habitants de QPV vivent sous le seuil de pauvreté (donnée secondaire produite par l’INSEE) et que 2 fois plus de familles ont amené leurs enfants aux spectacles de la médiathèque (donnée primaire recueillie lors d’une enquête spécifique).

Une autre distinction usuelle oppose les données dites « brutes » et les données nettoyées, ou traitées. Les données brutes sont celles qui découlent immédiatement de la collecte. Les données traitées ont déjà fait l’objet d’un contrôle et de première manipulations simples (suppression des doublons, harmonisation des formats…) par un être humain, afin de les rendre interprétables. 

Les données d’impact social, à quoi servent-elles ?

Nourrir l’évaluation d’un projet

Les données d’impact social interviennent tout au long de la chaîne de valeur sociale, pour répondre à des enjeux évaluatifs différents, en particulier :  

Données de contexte

Ces données, souvent secondaires, documentent le besoin social. Elles permettent de mieux définir l’impact visé du projet en fonction des enjeux identifiés comme centraux pour le public cible. 

Données de baseline

Ces données visent à décrire la situation initiale du public cible, à travers une « photographie » de départ qui servira de point de référence pour le suivi de l’action. 

Données de suivi

Ces données portent sur la situation des bénéficiaires juste après l’action puis dans le temps. En les comparant aux données de baseline, des informations sur l’impact de l’action peuvent se déduire des écarts observés. 

Données de comparaison/contrefactuel

Ces données permettent de reconstituer quelle aurait été la situation des bénéficiaires sans l’action à partir d’un groupe témoin, et donc d’entrer dans une analyse de causalité sur l’impact. Leur traitement nécessite des compétences économétriques. 

Exemple

Parmi les chiffres clés de VoisinMalin cités plus haut, celui sur les habitants de QPV vivant sous le seuil de pauvreté porte sur le contexte et celui sur les familles amenant leurs enfants à la médiathèque s’appuie sur des données de suivi et des données de comparaison.

Selon l’enjeu évaluatif visé, certains types de données seront favorisés. Pache et Stievenart (2014) font ressortir quatre familles de méthodes, qui mobilisent différentes formes de données et permettent de répondre à des enjeux évaluatifs spécifiques. Leurs conclusions peuvent se résumer comme suit : 

Baudet (2019) prolonge cette réflexion en mettant en évidence 10 analyses possibles (dont 4 « simples » et 6 « complexes »[6]) et en montrant que chacune s’appuie sur des outils distincts avec un usage privilégié du chiffre pour les analyses de résultat, efficience, efficacité et attribution. 

Ainsi, les données sont au centre des différentes méthodes évaluatives. Elles peuvent être mobilisées, selon les deux usages classiques de l’évaluation d’impact social (le fameux « prove and improve »), pour mettre en valeur un projet et pour contribuer à son pilotage. Elles peuvent également parfois permettre de prendre des décisions opérationnelles ou stratégiques : c’est le cas pour 52% des répondants de l’enquête menée par l’ESSEC et l’Impact Tank auprès des structures ayant mené des démarches d’évaluation (ESSEC & Impact Tank, 2021). 

Servir des enjeux collectifs, au-delà du projet

Au-delà du projet évalué, les données d’impact social peuvent être utilisées dans une démarche plus systémique. Les connaissances acquises sur le projet donnent en effet à voir des constats souvent partagés avec d’autres acteurs du secteur. Il peut alors être décidé de mettre ces enseignements en commun, comme l’ont par exemple fait en 2020 des acteurs de l’égalité des chances dans une logique de plaidoyer (Collectif Mentorat) ou comme le font depuis 2017 des acteurs de la fraternité (Laboratoire de la fraternité). Il peut plus simplement s’agir d’orienter la communication qui est faite à partir des résultats, non pas en visant de montrer l’efficacité et l’efficience d’un projet spécifique dans un esprit de différenciation, mais en mettant l’accent sur les besoins et apports globaux d’un type d’action menée, et donc l’urgence d’agir, sous différentes formes et de façon globale.

Exemple

L’évaluation d’un programme de SIEL BLEU mené par des chercheurs de l’IPP en 2012 a mis en évidence son impact sur la réduction des chutes et sur les coûts évités pour la collectivité. Les résultats ont plus largement nourri un plaidoyer (partagé avec d’autres acteurs associatifs et sanitaires) autour de l’importance de la prévention par l’activité physique[7].

Les évaluations d’impact social peuvent également être des occasions de faire des ponts entre deux niveaux de données : celles collectées par les associations sur leurs bénéficiaires, et celles collectées par l’Etat sur l’ensemble d’une population. L’accessibilité croissante à la statistique publique (notamment à travers le site www.data.gouv.fr) peut faciliter l’obtention de données de contextualisation ou de comparaison pour les associations. Des expérimentations sont par ailleurs menées pour réconcilier (fusionner pour disposer d’une entrée « personne »[8]) des données connues de l’administration via différents canaux. 

Exemple

Le programme 100% inclusion du Plan d’investissement dans les compétences demande aux projets financés de faire remonter des données sur leurs bénéficiaires (situation initiale, intermédiaire et finale) pour produire une connaissance globale du sujet et améliorer l’articulation des dispositifs.

Ces initiatives restent beaucoup plus rares que l’usage classique des résultats d’une évaluation pour montrer l’efficacité du projet ou contribuer à son pilotage. 

Les données d’impact social, quels points de vigilance ?

Les données sont toujours socialement construites

Quels que soient le type de données mobilisées et leur usage (qualitatif, quantitatif ou mixte), elles ne sont jamais qu’un reflet partiel de la réalité, qui s’appuie sur des partis pris et choix méthodologiques. En particulier, les indicateurs quantitatifs sont parfois perçus comme des outils techniques, politiquement neutres. Or, ils reposent toujours sur des conventions : « quantifier, c’est convenir, puis mesurer » (Desrosières, 2008).  

Exemple

Le taux de « sortie positive » d’une association de parrainage de jeunes diplômés au chômage ne sera pas le même selon si l’on définit comme « sortie positive » toute forme d’emploi ou de formation (A) ou plus spécifiquement les emplois en CDI ou CDD de + de 6 mois considérés comme la personne par à la hauteur de leurs compétences (B).

Les outils de mesure ont par ailleurs un caractère performatif (Ottaviani 2016). Les indicateurs d’impact, lorsqu’ils sont utilisés comme outils de pilotage ou pour rendre des comptes, peuvent alors devenir ce qui guide l’action, amenant le risque de la simplifier voire de la dénaturer, en l’absence de prise de recul sur ce biais. 

Exemple

Choisir comme unique indicateur d’impact le taux de sorties positives pourra induire l’association à privilégier des actions sur le court-terme permettant un retour rapide à l’emploi, et à délaisser des actions sur le plus long terme (confiance en soi, soft skills…). Parmi les deux taux de sortie présentés, choisir le taux A pourra induire l’association à privilégier l’accompagnement du plus grand nombre vers des emplois « faciles » en accordant moins d’attention à la qualité ou la durabilité de l’emploi ; choisir le taux de sorties B pourra l’induire à privilégier l’accompagnement des bénéficiaires les plus faciles à accompagner en accordant moins d’attention aux autres.

Ce caractère performatif ne s’applique pas uniquement aux indicateurs d’impact, mais à tous les indicateurs de performance pouvant être mis en place dans une structure (ex : nombre d’encadrants par bénéficiaires, taux journalier…). La démultiplication de ce type d’indicateurs est porteuse de risque lorsque l’évaluateur devient celui qui définit les objectifs du projet, dont les valeurs et le caractère politique disparaissent derrière un discours d’efficacité (Jany-Catrice, 2020).  

Exemple

Dans les expérimentations aléatoires, le projet est construit pour être évaluable, plutôt que le protocole d’évaluation pour répondre au projet (Jatteau, 2016).

Choisir des indicateurs d’impact en ligne avec les valeurs de la structure est donc essentiel, sachant qu’ils orienteront l’action, d’une manière ou d’une autre. Par exemple, l’association Aux captifs, la Libération a fait le choix de construire un outil d’évaluation fondé sur l’approche des capacités et centré sur la personne accompagnée, pour éviter que l’action ne soit guidée par des indicateurs imposés de l’extérieur, comme le nombre de personnes sorties de la rue ou le coût social évité (Labo de l’ESS 2019). 

Un bon outil de collecte est un outil adapté à l’action et en ligne avec les principes de la structure

Les différentes manières de collecter des données d’impact sont déjà très documentées, et notamment synthétisées dans les guides suivants : Avise Essec Mouves (2013), Improve (2015), Avise Fonda Labo de l’ESS (2017), VISES (2019). Nous ne les détaillons donc pas ici. 

Ce qui ressort de cette littérature grise et des travaux de recherche sur l’évaluation d’impact social (L’Huillier 2017, Kleszczowski 2017, Machado 2019, Baudet 2019) est qu’aucune manière de collecter des données (entretien, questionnaire, outil intégré à l’action…) ou de les analyser (statistique uni- ou bivariée, économétrie, analyse textuelle…) n’est meilleure[9] que les autres en soi. Ces outils répondent à des contraintes et enjeux différents. Ils ont chacun leurs points forts et leurs limites, s’inscrivent dans des cadres de pensées différents (Branger et al. 2014, voir Annexe), et leur choix doit se faire en conscience de ces cadres de pensée et en fonction des contextes de projet. 

Deux points d’attention communs aux différentes méthodes de collecte ressortent néanmoins : 

Chaque donnée collectée doit pouvoir apporter de l’information utile et pertinente.  

La généralisation des évaluations d’impact et les exigences croissantes de reporting peuvent inciter à vouloir réunir toujours plus de données. Mais la collecte et l’analyse de ces données est très chronophage et coûteuse, et le temps dédié à ces tâches est souvent invisible. Il est important que la donnée reste au service de l’action, face au piège de la « mesure pour la mesure », et que sa collecte ne mobilise pas trop de ressources (en temps et financières) par rapport à celles accordées à l’action. S’accorder des temps de recul pour prioriser les données les plus clés, si possible en collectif (par exemple : atelier sur les indicateurs dans le cadre d’un séminaire stratégique), peut s’avérer très utile. 

Les outils de collecte doivent être en ligne avec les principes et pratiques de l’association.  

Par exemple, une association qui prône l’anonymat des bénéficiaires pourra risquer de dénaturer l’action avec une méthode avant-après qui nécessite de collecter des informations personnelles pour assurer un suivi individuel. Une autre organisation prônant l’accueil inconditionnel des personnes sans limites de temps devra quant à elle suivre avec précaution un éventuel indicateur lié à la durée de présence et ne pas le transformer en objectif. Il est généralement possible de refuser de mettre en place un indicateur, ou bien de proposer une évolution d’un outil de collecte, si ceux-ci mettent mal à l’aise les équipes ou les bénéficiaires.  

La qualité des données d’impact, un enjeu à intégrer du cadrage à l’analyse

La qualité des données est souvent citée comme un prérequis, notamment dans une démarche d’évaluation d’impact social (Duke University, 2021). Cette notion n’a a priori rien d’absolu, elle dépend des usages qui sont prévus pour telle ou telle donnée. Toutefois, certains principes communs peuvent être répertoriés, en gardant en tête qu’une donnée sera toujours imparfaite (Société Française d’Evaluation, 2021) : 

Pertinence

Le fait que la donnée représente le plus fidèlement possible l’information qu’on cherche à obtenir.

Fiabilité

Le fait que la donnée soit juste, qu’il n’y ait pas de doublons, etc.

Accessibilité

La fait que la donnée puisse être obtenue facilement. 

Lisibilité

Le fait que la donnée soit exprimée de manière uniforme et puisse être traitée, en particulier par un outil informatique. 

Comparabilité

Le fait que la donnée soit figée dans le temps, notamment dans sa méthode de construction, pour pouvoir être comparée.

Conformité

Le fait que la donnée soit interprétée de manière univoque, notamment parce que les conventions ont été partagées et rendues explicites entre les producteurs de données et les utilisateurs de données.

Ces principes peuvent guider la réflexion dès en amont, dans la phase de cadrage des données recherchées et de définition des outils de collecte, puis permettre de passer des données brutes à une base de données opérationnelle, et enfin d’analyser les données de façon crédible et utile. Un exemple de référentiel de critères est proposé ci-dessous à travers le R.A.D.I.S.  

Projet de l’IMPACT TANK sur les données dans le secteur social

L’IMPACT TANK a la conviction que le secteur social, comme avant lui le secteur sanitaire, va considérablement se transformer dans les 10 prochaines années avec un recours accru aux données. Nous souhaitons accompagner cette transition pour qu’elle soit au service de parcours plus qualitatif et personnalisé des prises en charge, et créatrice ainsi d’impact positif.

Il s’agit pour cela d’engager les acteurs de terrain et les pouvoirs publics à se saisir des questions éthiques, réglementaires, techniques et opérationnelles y étant attachés. Cette note bibliographique est le premier jalon de nos travaux, en présentant les liens entre mesure d’impact et données. 

[1] Par exemple, le terme données apparaît 50 fois en 36 pages dans le dernier guide publié par l’Avise avec Improve et Fidarec sur le sujet (2021).

[2] http://www.penombre.org/IMG/pdf/lg_14_bigopendata_v1r.pdf

[3] https://www.cnil.fr/fr/identifier-les-donnees-personnelles

[4] https://quadrant-conseil.fr/ressources/outils/glossaire.pdf

[5] https://voisin-malin.fr/files/Limpact_de_VoisinMalin.pdf

[6] Les analyses qu’il désigne comme « simples » sont centrées sur un seul élément de la chaîne de valeur social (analyses de besoin, de résultat, de satisfaction et de qualité). Les analyses qu’il désigne comme « complexe » mettent en relation 2 éléments de la chaîne ou plus (analyses de ciblage, de productivité, d’efficience, d’efficacité ou de contribution, d’attribution, de pertinence).

[7] Sébastien Goua évoque notamment ces enjeux dans le Panorama ESSEC & Impact Tank (2021).

[8] Les expérimentations de ce type soulèvent des enjeux à la fois éthiques (droit à l’anonymat des personnes bénéficiant de différents services publics) et techniques (mise en place et suivi de processus de collecte et transformation des données permettant d’assurer le respect du RGPD).

[9] De manière générale, la prudence est de mise face aux « classements » des méthodes proposées par certaines institutions qui sont généralement juges et parties. La thèse d’Arthur Jatteau (2016) le montre très bien au sujet des expérimentations aléatoires, sujettes à beaucoup de biais et bricolages de terrain malgré leur affichage de « gold standard » des méthodes économétriques d’évaluation de l’impact.

Les avis exprimés dans les notes d’analyses n’engagent que leurs auteurs et ne sauraient être considérés comme constituant une prise de position officielle de l’IMPACT TANK.

Bibliographie sélective

• Abiteboul, S. (2012). Sciences des données : de la logique du premier ordre à la Toile : Leçon inaugurale prononcée le jeudi 8 mars 2012 au Collège de France.
• Avise, Essec, Mouves (2013). « Petit précis de l’évaluation de l’impact social ». Guide pratique.
• Avise, Fonda et Labo de l’ESS (2017). « La mesure d’impact social. Caractéristiques, avantages et limites des démarches existantes. » Rapport n°1 de l’étude « ESS et création de valeur ».
• Avise, Improve & Fidarec (2021). « Comment évaluer son impact ? Principes méthodologiques ». Cahier pratique réalisé dans le cadre de Social Value France.
• Baudet, A. (2019) « L’appropriation des outils d’évaluation par les entreprises sociales et associationsnd’intérêt général : apports d’une approche sociotechnique pour la conception des outils d’évaluation d’impact social ». Thèse de doctorat en gestion, ESCP Europe, soutenue le 28 janvier 2019.
• Branger, V., Gardin, L., Jany-Catrice, F. et Pinaud, S. (2014). « Évaluer l’utilité sociale de l’économie sociale et solidaire ». Alter-guide du projet Corus-ESS.
• Desrosières, A. (2008). L’argument statistique. Gouverner par les nombres (Tome II), Paris, Presses de l’Ecole des mines, 328 p.
• Duke University & UNDP (2021). « Impact Measurement & Management for the SDGs ». MOOC.
• ESSEC & Impact Tank (2021). « Panorama de l’évaluation d’impact social en France ». Rapport.
• Improve (2015). « Guide de la mesure d’impact social ». Guide pratique pour la fondation REXEL.
• Kleszczowski, J. (2017). « Construire l’évaluation de l’impact social dans les organisations à but non lucratif : instrumentation de gestion et dynamiques de rationalisation ». Thèse de doctorat en sciences de gestion, Université Paris-Saclay, soutenue le 18 décembre 2017.
• Jany-Catrice, F. (2020). Une économie politique des mesures d’impact social. Working paper du CIRIEC No. 2020/14.
• Jatteau, A. (2016). « Faire preuve par le chiffre. Le cas des expérimentations aléatoires en économie »., Thèse de doctorat en sciences économiques, Université Paris-Saclay, soutenue le 05 décembre 2016.
• Labo de l’ESS (2019). « Aux captifs la libération : mesurer la relation aux autres ». Initiative inspirante publiée le 26 septembre 2019.
• Le Roy, A. & Ottaviani, F. (2017). Quand la participation bouscule les fondamentaux de l’économie. La construction participative d’indicateurs alternatifs locaux. Participations, 18, 69-92.
• L’Huillier, H. (2017). « L’impact de projets locaux de RSE sur le développement humain durable. Applications à des projets menés par des multinationales au Nigeria et au Mexique ». Thèse de doctorat en sciences économiques, Université Lille 1, soutenue le 19 mai 2017
• Machado Pinheiro F. (2019). « Évaluation de l’utilité sociale des organisations de l’économie sociale et solidaire : quelle prise en compte de ce qui compte ? Analyse socio-économique à partir du cas de l’UCPA ».
• Thèse de doctorat en sciences économiques, Université de Rennes 1, soutenue le 12 décembre 2019.
• Ottaviani, F. (2015). « Performativité des indicateurs, indicateurs alternatifs et transformation des modes de rationalisation ». Thèse de doctorat en sciences économiques, Université de Grenoble, soutenue le 18 septembre 2015.
• Ottaviani, F. (2021). « Evaluer l’utilité sociale, l’impact social. 2ème session : la quantification ». Cours à la Grenoble Ecole de Management, IST Module 5 « New forms of governance ».
• Rivière, P. (2020), « Qu’est-ce qu’une donnée ? ». Courrier des statistiques N5 – Décembre 2020 – Insee, pp. 114-131.
• Société Française d’Evaluation (2021). « L’utilisation des data dans l’évaluation des politiques publiques ». Sensibilisation animée par P. Rivière, I. Hamoumi, E. Keryer et A. Chapey.
• Stievenart, E. & Pache, A.C. (2014). Évaluer l’impact social d’une entreprise sociale : Points de repères. Revue Internationale de l’Economie Sociale – RECMA, 331(1), pp. 76-92.
• VISES (2019). « Ceci n’est pas un guide ». Cahier thématique 3 du projet VISES (Valorisons ensemble l’Impact Social de l’Entrepreneuriat Social)

Partagez cette publication sur

Découvrez d’autres publications