L’évaluation face aux nécessaires transformations
L’évaluation face aux nécessaires transformations
Depuis l’antiquité, la civilisation a vécu cinq millénaires rythmés de périodes de stabilité et de nombreuses transformations. Les passages de l’antiquité au moyen-âge, puis à l’époque moderne et à la période contemporaine, tels que conçus dans l’approche historiciste traditionnelle, ont certainement apporté leurs lots de difficultés et d’améliorations, de gagnants et de perdants, de progrès et de déclins qui sont généralement interprétés à l’aune des résultats à court terme et en fonction des pouvoirs en place. Mais il est indéniable que le rythme des changements s’est accéléré au cours de l’histoire et que nous faisons dès lors face à des altérations extrêmement rapides de notre environnement. Divers indicateurs de l’état du monde suggèrent de plus que nous avons peut-être atteint une limite à la capacité des systèmes humains et naturels à s’adapter aux conditions nouvelles tout en continuant à assurer la survie des environnements et des espèces : disparition accélérée d’espèces animales et végétales, dépérissement de la qualité de l’air, augmentation des inégalités humaines, diminution probable de l'espérance de vie humaine, diffusion rapide de nouvelles maladies, etc. Atteindre puis dépasser les capacités des systèmes se traduit par des crises de toutes natures et à portées diverses : locales, nationales, régionales, globales. Pour assurer la survie des écosystèmes naturels et humains composant un monde en équilibre, de multiples transformations seront nécessaires ; ces transformations seront environnementales, humanitaires, sanitaires, économiques, politiques, sociales et autres.
Pour traiter de ce sujet, l'événement sera décomposé en quatre sous-thèmes : Jeter des ponts (ST1), Évaluation et populations à risques (ST2), Dialogue entre la demande et l'offre d'évaluation (ST3) et Systèmes nationaux d'évaluation (ST4). Le détail des points, qui seront abordés dans ces quatre sous-thèmes, sont disponibles dans les menus déroulants ci-dessous ou téléchargeables.
Jeter des ponts (ST1) - 7 déc. 2021
Dans ce contexte de nécessaires transformations, l'évaluation peut-elle offrir l'occasion de construire, collaborer et coopérer dans un monde complexe ? L’évaluation doit-elle s’adapter et comment, le cas échéant ? Quels ponts faut-il construire entre les nécessaires transformations et les objectifs de développement durable ? Quelle peut être sa contribution pour comprendre, appréhender, ou même gérer la complexité ? Risque-t-elle de représenter une force de résistance ?
Quelle est la place des mouvements citoyens face à l’évaluation des politiques publiques ? (ST1-1)
Après des décennies d’une vision de l’évaluation conçue comme l’application des méthodologies des sciences sociales à l’analyse des politiques – offrant un regard extérieur, des données chiffrées, des approches reconnues, le tout servant à la reddition des comptes – le monde ne semble pas aller mieux. Où l’évaluation a-t-elle failli ? Se pourrait-il que ce soit dans une absence de préoccupation de bâtir des ponts avec un éventail d’acteurs, y compris la société civile? Les interventions de ce volet jaugeront avec honnêteté les apports et les limites de l’implication des parties prenantes et de la participation citoyenne.
Les évaluateur.trice.s devraient-ils.elles être plus engagé.e.s face aux transformations de la société ? (ST1-2)
Neutralité, indépendance, distance ou engagement, appui, co-construction ? Traditionnellement, les évaluateur·trice·s ont adopté une approche positiviste, considérant que l’évaluation vise un « objet » dont il faut se détacher pour porter un jugement. Mais cette posture est remise en question et l’illusion de la neutralité, réfutée. Dans un monde en transformation où le savoir « scientifique » est critiqué et contredit, quelle est la posture la plus judicieuse pour les spécialistes de l’évaluation ?
Faut-il systématiquement intégrer les nouvelles problématiques dans les évaluations (climat, genre, jeunesse) ? (ST1-3)
Du monde en transformation qui est le nôtre émergent des nouvelles préoccupations fondamentales telles que les changements climatiques, le développement durable, l’égalité des genres, l’équité internationale, le couplage des systèmes humains et naturels. Comment l’évaluation doit-elle traiter ces enjeux ? Sont-ils si cardinaux qu’ils doivent être intégrés dans toutes les démarches évaluatives ? Peut-on affirmer la préséance de l’efficacité, de l'efficience ou de la cohérence sans accorder une importance égale à des enjeux remettant en question l’équilibre de notre monde ?
Évaluation et économie, comment soutenir les entreprises dans la mesure de leurs effets ? (ST1-4)
L’évaluation des impacts sociaux des entreprises, l’évaluation des impacts environnementaux, l’évaluation de la responsabilité sociale ; il existe plusieurs domaines d’évaluation qui se développent indépendamment de l’évaluation des initiatives publiques. Ces domaines tendent à aborder les enjeux de façon technique et étroite, plutôt que systémique et pluridimensionnelle. Les évaluateur·rice·s pourraient les critiquer sur cette base mais il reste qu’ils offrent des réponses recherchées et faciles à digérer. L’évaluation doit-elle apprendre de ces approches sœurs ou plutôt les évangéliser pour qu’elles reconnaissent la complexité de la réalité ?
Évaluation et populations à risque (ST2) - 9 déc. 2021
Comment ces transformations affectent-elles les perspectives et les pratiques du développement international et de son évaluation ? Que signifient-elles pour les populations marginalisées et les écosystèmes en danger ? L’évaluation doit-elle passer de constatations générales à des réflexions permettant de préciser ce qui fonctionne, pour qui, comment et dans quel contexte ? Quels changements méthodologiques ou paradigmatiques sont nécessaires à une prise en compte des perspectives des populations à risque ?
Comment passer d’une pratique axée sur les constatations générales à des réflexions permettant de préciser ce qui fonctionne, pour qui, comment et dans quel contexte ? (ST2-1)
Certaines évaluations tentent de juger de l’efficacité d'interventions en s’intéressant à des populations marginalisées ou fragilisées particulières comme les jeunes, les femmes ou les ruraux. Comment ces évaluations cernent-elles les enjeux particuliers de ces populations ? Certaines évaluations tiennent-elles compte des écosystèmes physiques à risque ? Comment ces évaluations sont-elles passées d’une pratique axée sur les constatations générales à des réflexions permettant de préciser ce qui fonctionne, pour qui, comment et dans quel contexte ?
L’évaluation peut-elle contribuer à remédier aux causes humaines, socio-économiques et naturelles de la vulnérabilité des populations ? (ST2-2)
La tendance actuelle est à reconnaître que les interventions publiques ont des effets différents, parfois contraires, sur différentes populations compte tenu de leur capacité à faire face au changement et à leur fragilité face aux forces en jeu. Comment les analyses intersectionnelles permettent-elles de valoriser ces différences situationnelles ? Quelles sont les causes de la fragilité ou de la marginalisation d’une population ? Comment l’évaluation peut-elle tenir compte de ces causes de fragilité et, peut-être, contribuer à y remédier ?
Quels changements de méthodologies ou d’approches sont nécessaires à une prise en compte des perspectives des populations à risque ? (ST2-3)
L’évaluation massive des effets spécifiquement attribuables à une intervention particulière a mené au développement des approches expérimentales en évaluation. Est-ce que l’approche expérimentale est viable pour l’évaluation visant les groupes marginalisés ? Quels changements de méthodologies ou d’approches sont nécessaires à une prise en compte des perspectives des populations à risque ?
Dialogue entre la demande et l'offre d'évaluation (ST3) - 14 déc. 2021
L’évaluation doit-elle privilégier un rôle critique remettant en question les structures de pouvoir ou administratif d’analyse du rendement ? Comment faire pour que l’évaluation soit utilisée pour l’apprentissage ? Quels sont les facteurs habilitants et les barrières à l'instauration d'une culture d'évaluation ? La complexité de l’environnement appuie-t-elle le besoin de professionnaliser ou rend-elle cette idée caduque ? L’évaluation doit-elle adopter de nouvelles approches pour appréhender les transformations ?
Comment faire que l’évaluation soit utilisée pour l’apprentissage ? (ST3-1)
Un fondement de l’évaluation comme profession est que la connaissance est nécessaire à l’apprentissage et à la décision. Il faut toutefois reconnaître que la notion même de connaissance est ancrée culturellement et que l’évaluation doit donc s’adapter à la sociologie des personnes qu’elle vise et à leur contexte. Compte tenu de la diversité dans laquelle elle baigne, comment faire pour que l’évaluation soit utilisée pour l’apprentissage ?
Quels sont les facteurs habilitants et les barrières à l'instauration d'une culture d'évaluation ? (ST3-2)
L’évaluation est une remise en question du savoir anecdotique, du sens commun et des préjugés historiques. Pour prendre racine dans une organisation, dans un gouvernement, dans un débat sur les politiques publiques, dans une nation, l’évaluation doit pouvoir compter sur la disponibilité des esprits à la remise en question de la connaissance reçue. Quels sont les facteurs habilitants et les barrières à l'instauration d'une culture d'évaluation ?
La complexité de l’environnement appuie-t-elle le besoin de professionnaliser ou rend-elle cette idée caduque ? (ST3-3)
La transformation du monde passe par la croissance de l’entropie et donc par la désorganisation et la réorganisation des systèmes. Entretemps, les situations deviennent plus complexes et les interventions, plus compliquées. Certains prétendent que l’évaluation doit en conséquence demeurer flexible et qu’il serait donc contreproductif de régenter sa pratique. D’autres pensent plutôt que l’évaluation a besoin de modèles et méthodes fortes pour appréhender la complexité. La complexité de l’environnement appuie-t-elle le besoin de professionnaliser ou rend-elle cette idée caduque ?
Systèmes nationaux d'évaluation (ST4) - 16 déc. 2021
Quel est l’état de la solidité des systèmes nationaux d'évaluation ? Sont-ils à même de faire face à la complexité grandissante ? Quelle peut être la contribution individuelle des pays à ces transformations par rapport à celle de la communauté internationale ? Quelle contribution attendre des différentes parties prenantes ? Quels systèmes d’évaluation sont les plus adaptés aux enjeux transformationnels ?
Quels sont les modes optimaux d’organisation des systèmes nationaux d’évaluation ? (ST4-1)
L’évolution de la pratique de l’évaluation en Afrique francophone se fait en trois étapes : (1) d’abord des initiatives isolées de formations ou de sensibilisation ; (2) ensuite, des actions plus ou moins concertées visant l’institutionnalisation de l’évaluation (mention dans les constitutions nationales, mise en place d’organisations championnes) ; (3) finalement, volonté de construire des systèmes nationaux efficaces visant la coordination des acteurs, l’alignement des évaluations sur les priorités nationales, la participation et l’inclusion dans les processus évaluatifs, etc. Toutefois, il y a encore peu de connaissances sur les modes d’organisation idéaux des systèmes nationaux d’évaluation, leurs fonctionnalités et leurs facteurs de succès. On se penchera sur les questions suivantes : qu’est-ce qu’un système national d’évaluation efficace ? Quel en serait le mode d’organisation optimal ? Comment fonctionnerait-il ?
Comment les SNE peuvent-ils s’adapter à l’accélération des changements ? (ST4-2)
Les systèmes nationaux d’évaluation sont parties d’écosystèmes en transformation. Comment apprécier la capacité des systèmes nationaux d’évaluation à faire face à l’accélération des changements ? Comment peut-on mesurer leur capacité à favoriser les nécessaires transformations que ces changements impliquent ? Ces deux questions renvoient à la capacité d’adaptation, d’évolution et donc d’innovation des systèmes nationaux d’évaluation. Mais de quoi cette capacité d’innovation dépend-t-elle ? Comment l’apprécier et surtout la développer ? Autant de questions qui peuvent être éclairées par les liens des systèmes nationaux avec la recherche, leur capacité à développer des nouveaux services pour les parties prenantes ou encore la diversité des acteurs qui les composent et des approches évaluatives qu’ils mettent en œuvre.
Quelles contributions attend-on des différents acteurs dans les SNE ? (ST4-3)
Le premier volet de ce sous-thème s’est penché sur la définition d’un système national d’évaluation efficace. Réussir une transformation systémique est cependant complexe alors que chaque partie prenante à un rôle à jouer dans le développement d’un système national d’évaluation viable et utile. Comment procéder ? Ce volet traitera de la place centrale des acteurs nationaux dans cette dynamique mais reconnaîtra la contribution attendue des partenaires internationaux. Il questionnera le rôle de l’Association nationale d’évaluation (ANÉ) et reviendra sur des expériences démontrant les facteurs de succès et d’insuccès du positionnement des ANÉ. Il évaluera l’importance des politiques nationales d’évaluation. Il insistera sur la nature des liens qui doivent s'établir entre les différents acteurs - ANÉ, gouvernement, parlement, judiciaire, média, société civile, acteurs internationaux, etc.