Impact Measurement - Wirkungsanalyse als Basis für Innovation

Warum Innovation in NPOs wichtig ist, um den Impact zu erhöhen und Resilienz aufzubauen, habe ich im letzten Artikel “Innovation in NGOs: Von Neugierde und Mut zum Scheitern” behandelt. Doch woher weiß man, wo genau es Verbesserungspotential gibt? Hier kommt die Wirkungsanalyse ins Spiel. Sie ermöglicht nämlich überhaupt erst zu wissen, wo Innovation nötig ist und wo nicht. In diesem Artikel findest Du einen einführenden Überblick ins Thema und erfährst, warum die Wirkungsanalyse zwar unverzichtbar, aber auch recht herausfordernd ist.

 

Was ist eine Wirkungsanalyse?

Die Wirkungsanalyse – oder Impact Measurement – ist eine Methode, um herauszufinden, ob die Dinge, die man tut, tatsächlich auf die definierten Ziele und die Mission einer Organisation einzahlen. Mit ihr lässt sich also prüfen, ob Projekte und Programme auf dem richtigen Weg sind, oder ob etwas verändert werden sollte. 

Sie besteht aus der Erhebung quantitativer und qualitativer Daten, ihrer Auswertung und der Interpretation der Ergebnisse.

 

Welchen Nutzen haben Wirkungsanalysen für NPOs?

Vielleicht denkst Du jetzt: “Warum soll ich meine spärlichen Ressourcen dafür aufwenden, da ist es doch besser, sie direkt in die Projekte zu investieren”. Das ist nicht ganz falsch, aber auch nicht ganz richtig. Eine Wirkungsanalyse kann in vielerlei hinsicht von Nutzen, und im Hinblick auf den bestmöglichen Ressourceneinsatz unverzichtbar sein:

 

Wissen statt Glauben

Persönliches Empfinden ist sehr subjektiv und kann durchaus in die Irre führen. Nur weil man denkt, dass ein Projekt wirksam ist, muss das nicht zwingend so sein. Vielleicht ist es auf eine ganz andere, nicht geplante Art wirksam, oder es gibt gar keinen oder sogar einen negativen Impact. Das zu wissen ist essentiell, um wirklich etwas zu verändern und die stets knappen Ressourcen sinnbringend einzusetzen.

 

Beweisen statt Behaupten

In der Kommunikation mit Fördergeber*innen und Spendenden ist es von Vorteil, konkrete und nachweisbare Ergebnisse vorlegen zu können. Die Wirkungsanalyse macht z. B. auch möglich, genaue Angaben dazu zu machen, was mit bestimmten Spendenbeträgen erreicht werden kann. Auch in Jahres- und Tätigkeitsberichten wirkt es sehr professionell, genaue Angaben über den Impact von Programmen machen zu können. Außerdem sind qualitative Daten – z. B. Interviews mit Projektmitarbeitenden oder Begünstigten – auch sehr nützlich beim Storytelling im Fundraising. 

 

Die Mission im Fokus

Um eine sinnvolle Wirkungsanalyse zu erstellen, muss klarerweise erst definiert sein, welche Wirkung man eigentlich erzielen möchte. Diese eingehende Beschäftigung mit Vision, Mission, Strategie und Zielen und die laufende Überprüfung der Programme hinsichtlich deren Beitrag dazu hilft, sich auf das Wesentliche zu fokussieren. 

 

Grauhaariger Mann, der am Gartenzaun interviewt wird
Qualitative Daten wie z. B. Interviews mit Begünstigten eignen sich toll für das Storytelling im Fundraising: Persönliche Geschichten und Zitate emotionalisieren und zeigen den Impact des Projektes auf.

Wirkungsorientierung

Ein weiterer Effekt von Wirkungsanalysen ist, dass man sich regelmäßig bewusst macht, welchen Beitrag man leistet. Das befeuert nicht nur das Storytelling, sondern trägt auch zu einem motivierten Team bei. Denn durch die konkreten Fakten, die sie schafft, sieht jedes Teammitglied besser, welchen Impact seine*ihre eigene Arbeit hat.

 

Innovationstreiber

Ergibt eine Wirkungsanalyse, dass ein Projekt nur wenig zum Erreichen der eigentlichen Mission beiträgt, ist das kein Weltuntergang. Im Gegenteil: Jetzt, wo man das weiß, können innovative Ideen gesammelt werden, um das Projekt zu verbessern und wieder “auf Schiene” zu bringen. Vielleicht kommt man auch zu dem Schluss, dass das Projekt eingestellt oder durch einen anderen Ansatz ersetzt wird – so oder so steht am Ende eine Erhöhung des Impacts und eine effizientere Nutzung von Ressourcen durch neue Ansätze und Ideen.

 

Stolpersteine kennen und vermeiden

Eine Wirkungsanalyse kann von ganz einfachen Messmethoden bis hin zu wissenschaftlichen Langzeit-Impact-Studien alles sein. Natürlich liefern letztere bessere und zuverlässigere Ergebnisse, allerdings kann ein solcher Aufwand kaum von einer NPO erwartet werden – besonders nicht von kleineren. Doch egal wie umfangreich das geplante Impact Measurement sein soll – Es gibt ein paar Aspekte, die vor allem am Anfang bedacht werden müssen, um ein realistisches und bewältigbares Modell für sich zu erarbeiten.

 

Die eine richtige Methode gibt es nicht

Welche Daten werden wie, wann, wo und von wem erhoben? Wie erfolgt die Auswertung und wie werden die Ergebnisse interpretiert? Hierzu gibt es keine Allround-Lösung. Vielmehr kommt es auf das jeweilige Projekt, das Ziel und die verfügbaren Ressourcen an, welche Methoden passen. 

Beschäftigt sich ein Projekt zum Beispiel mit der Verbesserung der Lebensqualität einer bestimmten Zielgruppe, lässt sich der Erfolg gut mit Befragungen messen. Sind die Begünstigten aber beispielsweise gerettete Tiere, braucht es zur Einschätzung der Lebensqualitätsverbesserung andere Mittel. 

 

Zeit bringt Einsichten, ist aber nicht immer da

Viele Projekte zielen auf eine nachhaltige, langfristige Verbesserung ab. Um diese zu bewerten, müssten aber auch langfristig Daten erhoben werden. Das ist oft nicht einfach oder gar unmöglich, weil z. B. die Projektfinanzierung nur auf drei Jahre ausgelegt ist, oder der Kontakt zu den Projektteilnehmenden nach einiger Zeit abbricht. Das sollte beim Design der Wirkungsanalyse von Anfang an bedacht werden!

 

Die Sache mit der Kausalität

Das Schwierigste an einer Wirkungsanalyse ist die eindeutige Verbindung eines Impacts mit den Maßnahmen einer Organisation. Möglicherweise gibt es weitere Projekte und Maßnahmen von anderen Akteur*innen, die sich ebenfalls auswirken, oder die Wirkung wurde z. B. gar nicht durch das Projekt selbst, sondern durch Nebeneffekte (wie z. B. Vernetzung) erreicht. Um hier alle anderen Aspekte korrekt mit einzubeziehen, sind oft aufwendige Studien erforderlich, deren Kosten kaum rechtfertigbar sind. Hier hilft z. B. die Zusammenarbeit mit anderen Akteuren, um verschiedene Maßnahmen mit demselben Ziel gemeinsam zu evaluieren und beispielsweise Teilnehmer*innen-Gruppen unterschiedlicher Maßnahmen zu vergleichen. 

 

Datenschutz

Junge Frau vor Bildschirm, auf dem Cyber Security steht
Um Impact zu messen, braucht es Daten. Wer mit sensiblen Informationen arbeitet, hat nicht nur eine rechtliche, sondern auch eine ethische Verpflichtung zum Schutz dieser Daten.

Da wir in NGOs häufig mit marginalisierten Gruppen arbeiten und die erhobenen Daten äußerst sensibel sind (z. B. personenbezogene Informationen über Gesundheit, sexuelle Orientierung, Gewalterfahrungen, etc.), ist zur Erhebung, Nutzung und Speicherung ein hoher Datenschutzaufwand erforderlich. Kommen solche Daten einmal doch in die falschen Hände, können nicht nur die betroffenen Personen, sondern auch die Organisationen enormen Schaden erleiden. Daher ist ein vernünftiger Umgang (so viele Daten wie nötig, aber so wenig wie möglich) und ein verantwortungsbewusster Rahmen wichtig.

 

Interner Widerstand

Projektmitarbeitende möchten oft einen direkten Unterschied machen und sind meistens von Aufgaben, die mit diesem Wunsch nicht in Verbindung gebracht werden können, nicht besonders begeistert. Außerdem könnte sich das Projektteam Sorgen darüber machen, was passiert, wenn die Analyse ergibt, dass das Projekt nicht den Impact hat, der sich erhofft wurde. Hier braucht es eine klare Kommunikation, die diese Sorgen zerstreut und klar macht, dass man aus möglichen schlechten Ergebnissen keine personellen Konsequenzen ziehen wird, sondern stattdessen daraus lernen und innovative Ansätze ausprobieren wird. 

 

Zu kleine Projekte

Klein-Projekte mit wenigen Begünstigten können durchaus ihren Sinn haben, eignen sich aber nicht für eine aussagekräftige Wirkungsanalyse – denn dann ist auch die Datenmenge zu klein, um wirklich verlässliche Aussagen machen zu können. 

 

Ein vernünftiges Maß finden

Impact Measurement muss nicht gleich hoch wissenschaftlich angegangen werden. Es ist sogar besser, erst einmal einfach und niederschwellig anzufangen, damit das Team den Nutzen erkennt und erste Erfahrungen mit Monitoring und Evaluation sammeln kann. Später kann man den Anspruch immer noch erhöhen und die Analyse komplexer gestalten, sofern die Ressourcen dafür vorhanden sind oder es Kooperationen mit Universitäten oder Forschungsinstituten gibt.

Selbst in kleinen NPOs mit sehr begrenzten Ressourcen ist es gut, zumindest Outputs und Outcomes zu messen. Diese geben zwar kein vollständiges Bild über den Impact ab, sind aber auch gute Anhaltspunkte, um die Entwicklung eines Projektes nachzuvollziehen und Verbesserungen abzuleiten. Außerdem können Outputs und Outcomes mit bestehenden Studien verknüpft werden, um sich einer Aussage über den eigenen Impact anzunähern. Ein Beispiel aus dem Bereich Bildung: 

Erkenntnisse aus wissenschaftlichen Studien zum Projektthema können ein guter Anhaltspunkt sein, um Output und Outcomes damit zu verknüpfen und den Impact abzuschätzen.

“Zuerst identifiziert man ein Set an Zielen, die direkt beobachtet werden können – zum Beispiel Schulbesuchszahlen, standardisierte Testergebnisse und High School Abschlüsse. Dann sucht man nach Studien, die diese Aspekte mit dem erwartbaren Einkommen oder der Lebensqualität verknüpfen. Zum Beispiel könnte eine Langzeitstudie aussagen, dass eine Verbesserung um 10% in den Testergebnissen mit einer Erhöhung der High School Abschlüsse von 4 % einhergeht, was sich wiederum in einer Erhöhung des Jahreseinkommens um 6.500 USD bemerkbar macht. An diese wissenschaftlichen Daten können die eigenen Projekte angeknüpft werden, wodurch der Impact zumindest abschätzbar wird.” (vgl. Harvard Business Review “Let’s Be Realistic about Measuring Impact”)

 

Messen – Verstehen – Verbessern

Durch die Wirkungsanalyse verstehen wir besser, was funktioniert und was nicht. Das ist eine grundlegende Voraussetzung, um Verbesserungen an der eigenen Arbeit vorzunehmen und innovative Ansätze zu entwickeln.

Allerdings ist ein realistischer und vernünftiger Zugang wichtig – denn nicht jede NPO ist in der Lage (und muss in der Lage sein), eigene Langzeitstudien durchzuführen oder sie zu finanzieren. Hier braucht es zukünftig mehr Investitionen in die Forschung an Universitäten und Instituten und langfristige Zusammenarbeit mit den Organisationen. 

 

Zurück zur Themenübersicht “Wirkungsanalyse: So geht Impact Measurement

Im nächsten Artikel widmen wir uns erst einer Begriffsklärung, bevor wir dann tiefer in die Materie der Wirkungsanalyse eintauchen. Damit Du die nächsten Artikel zum Thema nicht verpasst, abonniere einfach unseren Newsletter!

Speichern
Nach oben
Findest Du diesen Artikel hilfreich?