Évaluer nos résultats : changer des vies pour de bon

Pendant longtemps, le Rotary a pensé l'évaluation en termes de temps et d'argent investis dans une action, ou du nombre de personnes formées dans le cadre de nos actions et programmes. Si ces données sont utiles, notre approche de la mesure de nos résultats est en train de changer. 

Bien qu'il soit louable de connaître la valeur de l'argent, du temps et des autres ressources que nous rassemblons pour aider à répondre aux besoins d'une collectivité, nous ne pouvons pas nous en contenter. Nous avons des objectifs plus ambitieux. Nos membres veulent améliorer les conditions de vie partout dans le monde.  Et pour nous assurer que cela se produise – et que nous apprenons et progressons sur le plan individuel et collectif –, nous devons redoubler d'efforts pour évaluer les changements positifs qui résultent de nos actions. 

Et c'est ce que représente l'impact au Rotary. C'est le changement positif à long terme résultant de nos actions. Nos membres rejoignent le Rotary pour progresser au travers de leurs expériences et de leur service. Et une partie de ce cheminement passe par la réflexion et l'apprentissage. 

Nous devons maintenant savoir avec certitude si nous apportons un changement positif, pour déterminer si nos actions sont efficaces ou si nous devons les adapter, et pour comprendre exactement le type de résultats qu'elles produisent. Et nous devons nous assurer que le changement est durable. 

C'est pourquoi notre Plan d'action nous demande à tous, non seulement de fournir un excellent travail, mais aussi de mesurer les résultats complets de nos efforts, ce qui implique d'intégrer le suivi et l'évaluation dans chaque action que nous menons à bien. 

Le docteur Axel von Bierbrauer, responsable médical d'une action dans le district de Rarieda au Kenya, reconnaît que cela nécessite un nouvel état d'esprit. « La plupart des gens pensent qu'une donnée acceptable est 'former 100 personnes grâce à notre action'.  Mesurer ne s'arrête cependant pas à compter le nombre de personnes que vous avez formées. C'est la prochaine étape : vérifier la qualité. » En résumé, évaluer ne consiste pas seulement à compter le nombre d'agents de santé locaux formés dans le cadre d'une action, mais aussi à déterminer si ces agents mettent suffisamment en pratique leur formation dans leur travail avec les patients.

Isis Mejias, ambassadrice de l'Amicale d'action Eau, assainissement et hygiène et fondatrice et directrice de Global WaSH, explique que l’évaluation se concentrait habituellement sur le nombre de sources d'eau potable disponibles. « Mais cela ne capturait pas ce qui se passait lorsque des enfants n’étaient pas malades. Lorsque nous évaluons les résultats, nous pouvons voir comment les actions améliorent positivement les conditions de vie. Cela signifie des opportunités d'emploi, l'équité, des économies de temps, une amélioration de la santé – tout cela n'est pas visible si l'on prête simplement attention au nombre de nouvelles sources d'eau », explique-t-elle.

En plus de montrer notre impact, collecter des données fiables sur les résultats des actions peut également être une source d'inspiration. Une partenaire d'une action en Ouganda a déclaré à Mme Mejias qu'elle n'avait pas compris le lien entre la qualité de l'eau et la fréquentation scolaire, ni le fait que les filles manquent une semaine d'école chaque mois par manque de toilettes sûres ou de protections hygiéniques dont elles ont besoin lorsqu'elles ont leurs règles. « Évaluer l'impact a permis à cette partenaire de poursuivre son travail et de l'améliorer. Il ne s'agit pas seulement du nombre de pompes installées, mais aussi d’améliorer directement la vie d'une personne. Il s'agit d'envisager l'effet domino que peut avoir une eau propre », rajoute Mme Mejias. 

Marcelo Haick, administrateur de la Fondation Rotary et président du Corps des conseillers techniques, estime que la capacité à démontrer clairement nos résultats est également une puissante motivation pour recruter et fidéliser les membres. « Les jeunes, en particulier, ont des attentes lorsqu'ils rejoignent le Rotary – et ils le quittent lorsqu'ils constatent que ces attentes ne sont pas comblées. « Ils ont grandi et travaillent dans une culture axée sur les données ; mesurer et partager nos résultats est donc une façon de leur montrer que nous avons un véritable impact », explique-t-il  

Alors, comment savoir de quelles méthodes d’évaluation nous avons besoin ? Pour commencer, il faut utiliser les informations déjà recueillies. Randall Blair, chercheur au sein du cabinet de conseil en évaluation Mathematica, aide des fondations et des agences gouvernementales à déterminer les meilleurs types de programmes dans lesquels investir. M. Blair, qui est également récemment devenu membre du Rotary, affirme que pour bien commencer, il faut simplement faire une recherche sur Internet dès la première phase de votre action et exploiter l'importante quantité de données disponibles.

Vous pouvez réfléchir à un concept général, comme 'la réduction de la mortalité maternelle ou les méthodes éprouvées pour accroître l'alphabétisation'. « Pour rendre la recherche plus efficace, ajoutez les noms d'organisations internationales de confiance comme les Nations unies et la Banque mondiale. Ce type de recherche en phase préliminaire permet de trouver des solutions et des évaluations déjà éprouvées. », dit-il. 

Concernant la façon dont nous collectons les données nécessaires, aucune méthode ne convient à toutes les situations. Pour certaines actions, les enquêtes à grande échelle sont le meilleur moyen de collecter des informations sur les résultats. Pour d'autres, les résultats peuvent être évalués à l'aide d'indicateurs économiques, d'entretiens avec des habitants ou de discussions de groupe comprenant des parents et des dirigeants. 

Déterminer comment collecter des données peut également induire de faire appel au réseau renommé des membres du Rotary. Les Rotary clubs peuvent facilement trouver et travailler avec des autorités locales, des organisations non gouvernementales, des universités ou d'autres institutions de recherche qui, selon M. von Bierbrauer, ont déjà « les compétences, les connaissances et les réseaux nécessaires pour élaborer des stratégies, réaliser des évaluations de qualité, collecter et gérer des données, et analyser l'efficacité ».

Mme Mejias a utilisé cette approche pour une action en Ouganda. Elle a établi le contact avec une université locale qui a joué un rôle déterminant dans l'élaboration d'une enquête de référence basée sur des indicateurs locaux. Des étudiants de l'université sont allés de maison en maison pour réaliser l'enquête. Mme Mejias explique que les membres du Rotary pourraient jouer un rôle similaire dans la collecte de données, tout en déléguant le travail d'analyse à un partenaire.

Nous devons également fixer la fréquence de la collecte des données, explique Viveca Serder, coordinatrice technique de la Fondation pour l'alphabétisation et l'éducation de base : « Si nous ne connaissons pas le taux d'alphabétisation de départ, nous ne pouvons pas mesurer notre succès — nous devons donc le faire dès le début.  

Ensuite, rajoute-t-elle, réfléchissez à : Quelle est la prochaine étape ? Comment devrions-nous utiliser les fonds ? Notez ensuite les résultats que vous souhaitez voir obtenus dans un an, deux ans et lorsque le Rotary aura quitté l'action. Il est important de le faire dès le début, afin que les effets à long terme attendus fassent partie de la conception de l'action, et que nous sachions d'où nous partons et ce qui a changé grâce au Rotary. Bien souvent, cette évaluation devra être faite des années après la fin d'une action. »

Cette méthode de conception d'une action – identifiant les résultats souhaités et les étapes nécessaires pour y parvenir – est un processus connu sous le nom de théorie du changement. Elle peut s'appliquer à des actions de toute taille.

« C'est une feuille de route, ajoute M. Blair. Par exemple, dans un programme de formation pour enseignants, vous budgétez d'abord les fonds que vous allez dépenser pour la formation, la façon dont vous prévoyez cibler les écoles et les enseignants et ce que votre formation contiendra. Ensuite, vous pouvez organiser le changement de comportement et les bénéfices que vous attendez de la formation, à condition que vos prévisions se vérifient. L'implication des enseignants avec les élèves sera-t-elle meilleure et les élèves maîtriseront-ils mieux le matériel grâce à lui ? Tout ce qui résulte de la formation est quelque chose que nous pouvons mesurer en cours de route. »

Quelle que soit la façon dont vous définissez votre théorie du changement, avoir ce que M. Blair appelle « une vision du succès » vous aidera à avoir un meilleur impact. 

« Tant que tout le monde utilise le même plan détaillant comment atteindre les résultats souhaités, votre action en bénéficiera. Grâce à cela, des années plus tard, vous aurez changé le système de comportement de sorte qu'il ne revienne jamais à ce qu'il était auparavant. C'est cela avoir un impact », conclu-t-il.

Contactez le réseau de ressources de votre district pour en savoir plus.