Messergebnisse: Damit wir Gutes richtig machen

Lange Zeit dachte man bei Rotary bei der Ergebnismessung an das Geld und die Zeit, die wir in ein Projekt investiert haben, oder an die Anzahl der Menschen, die wir durch unsere Projekte und Programme geschult haben. Diese Informationen sind zwar nützlich, aber unser Ansatz zur Messung unserer Ergebnisse hat sich geändert. 

Es ist nach wie vor wichtig, Geld, Zeit und andere Ressourcen bei einer Projektausführung zu berücksichtigen, aber das ist nicht alles. Wir haben größere Ziele als das. Unsere Mitglieder wollen die Lebensqualität in Gemeinwesen nachhaltig verbessern.  Und um sicherzustellen, dass dies auch geschieht und dass wir individuell und kollektiv lernen und wachsen, müssen wir die positiven Veränderungen, die sich aus unserem Handeln ergeben, genau messen. 

Und das ist es, was "Wirkung" bei Rotary definiert. Es ist die positive, langfristige Veränderung, die sich aus unserem Handeln ergibt. Unsere Mitglieder treten Rotary bei, um in ihren Erfahrungen und in ihrem Dienst zu wachsen. Und ein Teil dieses Wachstums erfordert Reflexion und Lernen. 

Wir wollen mit Sicherheit wissen, ob wir positive Veränderungen bewirken - wir wollen während der Durchführung unserer Projekte feststellen, ob sie funktionieren oder ob wir Anpassungen vornehmen müssen. Und wir wollen genau verstehen, welche Art von Ergebnissen wir erhalten - und sicherstellen, dass der Wandel nachhaltig ist. 

Deshalb fordert unser Aktionsplan uns alle auf, nicht nur gute Arbeit zu leisten, sondern auch die Ergebnisse unserer Bemühungen in vollem Umfang zu messen - was bedeutet, dass wir die Überwachung und Bewertung in jedes unserer Projekte integrieren müssen. 

Dr. Axel von Bierbrauer, medizinischer Projektleiter für ein Projekt im Rarieda-Distrikt in Kenia, räumt ein, dass dies ein Umdenken erfordert. "Die meisten Leute glauben, dass akzeptable Daten darin bestehen, dass 100 Menschen durch unser Projekt geschult werden.  Bei der Messung wird aber nicht nur gezählt, wie viele Menschen man geschult hat. Es gibt noch einen nächsten Schritt - die Überprüfung der Qualität. Kurz gesagt, bei der Messung geht es nicht nur darum, die Anzahl der im Rahmen eines Projekts geschulten kommunalen Gesundheitshelfer/innen zu zählen, sondern auch darum, festzustellen, ob diese Helfer/innen die Schulung in ihrer Arbeit mit den Patienten/innen ausreichend anwenden."

Isis Mejias, Vertreterin der Rotary-Aktionsgruppe für Wasser, Sanitärversorgung und Hygiene (Water, Sanitation and Hygiene, WASH) und Gründerin und Leiterin der Organisation Global WaSH, sagt, dass sich die Messung früher auf die Anzahl der verfügbaren sauberen Wasserquellen konzentrierte. "Aber das erfasst nicht, was passiert, wenn Kinder ohne Krankheiten leben", sagt Mejias. "Wenn wir die Ergebnisse messen, können wir sehen, wie die Projekte das Leben der Menschen positiv verändern. Das bedeutet Arbeitsmöglichkeiten, Gleichstellung der Geschlechter, Zeitersparnis, verbesserte Gesundheit - all das wird nicht gesehen, wenn man nur auf die Zahl der neuen Wasserquellen achtet."

Sie sagt, dass das Sammeln von Informationen über die Projektergebnisse nicht nur unsere Wirkung zeigt, sondern auch eine Quelle der Inspiration sein kann. Eine Projektpartnerin in Uganda erzählte Mejias, dass ihr der Zusammenhang zwischen Wasserqualität und Schulbesuch nicht bewusst war und dass Mädchen jeden Monat eine Woche in der Schule fehlen, weil sie keine sichere Toilette haben und nicht die nötige Unterstützung bei der Hygiene während der Menstruation erhalten. "Die Messung der Auswirkungen hat diese Partnerin in die Lage versetzt, ihre Arbeit fortzusetzen und zu verbessern", sagt Mejias. "Es geht nicht nur um die Anzahl der installierten Pumpen, sondern darum, das Leben der Menschen direkt zu berühren. Es geht darum, sich vorzustellen, welche Auswirkungen sauberes Wasser hat. 

Marcelo Haick, Kuratoriumsmitglied der Rotary Foundation und Vorsitzender des rotarischen "Cadre of Technical Advisers", ist der Meinung, dass die Fähigkeit, unsere Ergebnisse klar zu demonstrieren, auch ein starker Anreiz ist, um Mitglieder zu gewinnen und zu halten. "Vor allem junge Menschen haben Erwartungen, wenn sie Rotary beitreten - und sie verlassen uns, wenn sie diese Erwartungen nicht erfüllt sehen", sagt er. "Sie sind in einer datengesteuerten Kultur aufgewachsen und arbeiten in einer solchen - die Messung und Weitergabe unserer Ergebnisse ist eine Möglichkeit, ihnen zu zeigen, wie wir wirklich etwas bewirken."  

Woher wissen wir also, welche Messungen wir brauchen? Ein erster Schritt ist es, herauszufinden, welche Informationen andere gesammelt haben. Randall Blair, leitender Forscher bei der Evaluierungs-/Beratungsfirma Mathematica, hilft Stiftungen und Regierungsbehörden dabei, die besten Arten von Programmen zu ermitteln, in die sie investieren sollten. Blair, der auch ein neuer Rotarier ist, sagt, es sei ein guter Ausgangspunkt, zu Beginn der Planung einfach das Internet zu durchsuchen und die große Menge an Daten zu nutzen, die zur Verfügung stehen: "Sie können nach einem Konzept suchen, wie z.B. 'Senkung der Müttersterblichkeit oder bewährte Methoden zur Verbesserung der Alphabetisierung'. Um die Suche effektiver zu gestalten, fügen Sie die Namen von vertrauenswürdigen internationalen Organisationen wie den Vereinten Nationen und der Weltbank hinzu", sagt Blair. "Diese Art der Recherche in einer frühen Phase hilft dabei, Lösungen zu finden, von denen bereits bekannt ist, dass sie funktionieren - und auch geprüfte Erfolgsmessungen."

Was die Art und Weise betrifft, wie wir die benötigten Informationen sammeln, so gibt es keine Methode, die für jede Situation geeignet ist. Bei einigen Projekten sind groß angelegte Umfragen der beste Weg, um Informationen über die Ergebnisse zu sammeln. Bei anderen können die Ergebnisse anhand von Wirtschaftsindikatoren, Interviews mit Gemeindemitgliedern oder Fokusgruppendiskussionen mit Eltern und Beamten bewertet werden. 

Bei der Entscheidung, wie Daten gesammelt werden sollen, kann auch die berühmte Networking-Power der Rotary-Mitglieder genutzt werden. Rotary Clubs können leicht lokale Regierungsstellen, Nichtregierungsorganisationen, Universitäten oder andere Forschungseinrichtungen finden und mit ihnen zusammenarbeiten, die laut von Bierbrauer bereits "über die Fähigkeiten, das Wissen und die Netzwerke verfügen, um Strategien zu entwickeln und Qualitätsmessungen durchzuführen, Daten zu sammeln und zu verwalten und die Wirksamkeit zu analysieren".

Rot. Mejias nutzte diesen Ansatz für ein Projekt in Uganda. Sie stellte eine Verbindung zu einer örtlichen Universität her, die bei der Entwicklung einer Basiserhebung von lokalen Indikatoren behilflich war. Studenten der Universität gingen von Haus zu Haus, um die Umfrage durchzuführen. Mejias meint, dass Rotary-Mitglieder eine ähnliche Rolle bei der Datenerhebung übernehmen könnten, während sie die analytische Arbeit an einen Partner delegieren.

Wir sollten auch festlegen, wie oft wir Informationen sammeln, sagt Viveca Serder, technische Koordinatorin des Kaders für Grundbildung und Alphabetisierung: "Wenn wir nicht wissen, wie hoch die Alphabetisierungsrate zu Beginn ist, können wir unseren Erfolg nicht messen - wir müssen dies also von Anfang an tun."  

Als nächstes, sagt sie, sollte man sich Gedanken machen: Was wird passieren? Wie sollen wir das Geld verwenden? Dann sollten Sie aufschreiben, was in einem Jahr, in zwei Jahren und nach dem Ausscheiden von Rotary aus dem Projekt geschehen soll. Es ist wichtig, all dies frühzeitig zu tun, damit die beabsichtigten Langzeiteffekte Teil des Projektentwurfs sind und wir wissen, von wo wir ausgehen und was sich durch Rotary verändert hat. Oftmals muss dies erst Jahre nach dem Ende eines Projekts bewertet werden.

Diese Methode der Projektgestaltung - die Ermittlung der gewünschten Ergebnisse und der Schritte, die nötig sind, um diese zu erreichen - ist ein Prozess, der als Theorie der Veränderung bekannt ist. Sie kann auf Initiativen jeder Größe angewendet werden. "Es ist ein Fahrplan für das, was passieren soll", sagt Blair. "Bei einem Lehrerfortbildungsprogramm zum Beispiel dokumentiert man zunächst, wie viel Geld man für die Fortbildung ausgeben will, wie man Schulen und Pädagogen ansprechen will und was die Fortbildung beinhalten soll. Dann können Sie die Verhaltensänderung und die Vorteile planen, die Sie von der Fortbildung erwarten, sofern Ihre Annahmen zutreffen. Werden die Lehrer/innen anders mit den Schülern/innen umgehen, und werden die Schüler/innen den Stoff dadurch besser beherrschen? Alles, was sich aus der Fortbildung ergibt, können wir im Laufe der Zeit messen."

Wie auch immer Sie Ihre Theorie der Veränderung definieren, eine "Vision für den Erfolg", wie Blair es nennt, wird Ihnen helfen, mehr zu bewirken. "Solange alle Beteiligten denselben Plan verwenden, der detailliert beschreibt, wie Sie die gewünschten Ergebnisse erreichen, wird Ihr Projekt davon profitieren", sagt Blair. "Auf diese Weise werden Sie Jahre später das Verhaltenssystem so verändert haben, dass es nie wieder so wird, wie es vorher war. Das ist Wirkung."

Wenn Sie mehr erfahren wollen: Nehmen Sie Verbindung zu Ihrem Distriktressourcennetzwerk (DRN) auf.