Den tatsächlichen Impact eines gemeinnützigen Projektes zu analysieren hilft dabei, Ressourcen effizient einzusetzen und die eigene Mission zielgerichtet voranzutreiben. Welche weiteren Vorteile die Wirkungsanalyse hat, aber auch welche Stolpersteine es zu beachten gilt, liest Du in unserem ersten Artikel zum Thema: Impact Measurement – Wirkungsanalyse als Basis für Innovation. Bevor Du Dich allerdings daran machst, ein Design für Deine Wirkungsanalyse zu erstellen, solltest Du die wichtigsten Begriffe dazu kennen und ihr Zusammenspiel verstehen. In diesem Artikel erklären wir Dir, was Du dazu wissen musst.
Was ist eine Wirkungsanalyse?
Eine Wirkungsanalyse (engl.: Impact Measurement) ist ein Prozess zur Evaluierung von Projekten und Programmen. Sie analysiert die Wirkung, die damit erzielt wurde, anhand qualitativer und quantitativer Methoden. Dafür erhebt sie Daten zur Leistung (Outputs), Daten zur Zielgruppe (Outcomes) und Daten auf gesellschaftlicher Ebene (Impacts).
Output – Was haben wir gemacht?
Die am einfachsten zu erhebende Dimension ist der Output. Er beschreibt, was das Projekt konkret hervorgebracht hat – also die Aktivität der Organisation. Allein durch den Output lässt sich noch keine Wirkung ableiten, denn er beruht nur auf den Annahmen einer Organisation, welche Maßnahmen letztlich eine Wirkung haben könnten. Um Output zu generieren, benötigt es auch nicht unbedingt eine strategische Ausrichtung – man kann z. B. einen Workshop durchführen oder zehn. Da mit den Workshops ja aber etwas bewirkt werden soll, sind Outputs keine guten Projektziele.
Ein wahres Beispiel aus meiner Studienzeit zeigt auf, warum Output alleine nicht aussagekräftig ist und vermeintlich logische Zusammenhänge manchmal Trugschlüsse sind: Eine Organisation hatte zum Ziel, die hygienisch bedingten gesundheitlichen Probleme in armen Regionen Afrikas zu verringern. Daher bauten sie moderne Sanitäranlagen in die Dörfer (Anzahl der gebauten Toiletten = Output) – je mehr Sanitäranlagen, desto besser die Hygiene ergo die Gesundheit. Eins und eins ist zwei, richtig? Falsch – wie Du gleich noch erfahren wirst.
Outcome – Was wurde damit erreicht?
Der Outcome beschreibt die kurz- bzw. mittelfristigen Effekte des Outputs. Er lässt sich dort erheben, wo der direkte Mehrwert des Projekts entsteht: bei der Zielgruppe. Somit sagt der Outcome schon wesentlich mehr darüber aus, ob die Maßnahmen eines Projektes (der Output) Wirkung zeigen.
Was passierte also mit den Toiletten in den afrikanischen Dörfern? Die Sanitäranlagen hatten ursprünglich den Zweck, dass die Dorfbewohner*innen ihre Notdurft nicht mehr in der freien Natur verrichten, da dies eine Gefährdung der Hygiene und damit der Gesundheit darstellte. Der beabsichtigte Outcome war also, dass die Zielgruppe die Toiletten verwendet und sich dort die Hände wäscht.
In der Praxis hatte das Projekt aber einen ganz anderen Outcome, wie durch qualitative Interviews herausgefunden wurde: Die Menschen nutzten die Gebäude als Hühnerställe. Dort hatte das Federvieh einen sicheren Schlafplatz, an dem sie nicht von Raubtieren gefressen werden konnten. Ein Problem, das die Zielgruppe als äußerst dringlich empfand, war gelöst – zumal das westliche Konzept einer Toilette für sie ohnehin unverständlich war.
Impact – Wie relevant war es?
Letztlich möchten wir mit unseren Projekten etwas Relevantes zur langfristigen Lösung gesellschaftlicher Probleme beitragen. Dieser Beitrag ist der Impact. Er ist immer eng mit Vision und Mission einer NPO verknüpft, denn genau darauf soll das Projekt ja einzahlen. Impact passiert also immer auf einer höheren Ebene – zum Beispiel gesamtgesellschaftlich oder in einer bestimmten Region, einem Kiez, etc.
Wie schon beim Outcome demonstriert, kann auch der Impact ein anderer als beabsichtigt, gar nicht vorhanden oder sogar negativ sein. So kann ein Projekt sich z. B. langfristig positiv auf die Begünstigten auswirken, gleichzeitig aber einen negativen Impact in einem anderen Bereich (beispielsweise auf die Umwelt) haben.
Naturgemäß ist der Impact schwierig zu messen. Es gibt zahlreiche Stakeholder, die an demselben Problem arbeiten und meistens ist es nicht so einfach herauszufinden, welchen Anteil am kollektiven Impact ein einzelnes Projekt hatte. Eine Organisation, die z. B. Öffentlichkeitsarbeit gegen Rassismus macht, zahlt damit zwar vermutlich auf gemeinsame Anstrengungen dazu ein, doch ein handfester kausaler Zusammenhang zwischen dem Projekt und einer gesamtgesellschaftlichen Verringerung des Rassismus ist kaum herzustellen. Eine Impact Analyse muss also alle Faktoren berücksichtigen, um den konkreten Impact eines einzelnen Projekts herauszufinden.
Dafür braucht es fundierte Langzeitstudien, die aufgrund des nötigen Know Hows und der Kosten kaum alleine von einer Organisation durchgeführt werden können. Dennoch gibt es Möglichkeiten, wie man sich dem eigenen Impact annähern kann, ohne selbst eine große wissenschaftliche Studie durchzuführen. Es gibt nämlich bereits zahlreiche Studien, die helfen können, den eigenen Impact anhand des Projekt-Outcomes zu “schätzen”:
- Angenommen, ein Projekt vermittelt ehrenamtliche Nachhilfestunden für Jugendliche mit schlechten schulischen Leistungen aus einkommensschwachen Familien. Das Ziel ist es, die Armut in der Zielregion XY nachhaltig zu senken. Es wurden 100 Schüler*innen insgesamt 2000 Nachhilfestunden gegeben (= Output).
- 90 % von ihnen absolvierten daraufhin erfolgreich ihr Abitur (= Outcome). Eine Studie besagt nun, dass Menschen mit Abitur im Durchschnitt ein um 30 % höheres Gehalt haben als Menschen ohne vergleichbaren Abschluss. Im Bezug auf diese wissenschaftliche Erkenntnis konnte das Projekt also 90 Jugendlichen zu einem um 30 % höheren Gehalt verhelfen. Weiters nehmen wir für dieses Beispiel an, dass diese 90 Jugendlichen 10% der in Armut lebenden Bevölkerung in der Zielregion entsprechen.
- Somit konnte das Projekt die Armut in der Zielregion um rund 10 % senken ( = Impact). Durch eine Evaluation nach z. B. 5 Jahren unter den Projektteilnehmenden kann dieser geschätzte Impact dann auch noch nach Möglichkeit konkret nachgewiesen oder widerlegt werden.
Zurück zu den Hühnern in der Toilette: Hier stellte sich ein toller Impact ein. Durch die sicheren “Ställe” hatten die Menschen weniger Verluste durch Raubtiere, also mehr Vieh und ergo mehr Eier (Outcome). Dadurch verbesserte sich die Ernährungssituation im Dorf stark und da sogar ein Überschuss an Eiern da war, konnte durch Handel sogar etwas zur Verbesserung der Einkommenssituation getan werden (Impact). Auch nicht schlecht, aber nicht im Sinne des eigentlich zu lösenden Problems. Das ursprüngliche Ziel – die Verminderung der hygienisch bedingten Erkrankungen – wurde verfehlt. Diese Erkenntnis war ein wichtiges Learning für die Non-Profit und der Start für ein Projekt, das sich erst einmal mit der Vermittlung von Zusammenhängen zwischen Hygiene und Gesundheit widmete.
Die Wirkungstreppe
Um noch besser zu verdeutlichen, wie Output, Outcome und Impact zusammenhängen und aufeinander aufbauen, gibt es das Konzept der Wirkungstreppe. Sie sollte am Beginn der Projektplanung stehen, denn sie verknüpft das, was getan werden soll mit dem, was dadurch erreicht werden soll.
Beim Erstellen einer Wirkungstreppe beginnt man in einem ersten Schritt auf Stufe 7 – welchen Wandel will ich in der Gesellschaft bewirken? – und arbeitet sich dann nach unten durch. Schritt 2 kehrt die Richtung um: Jetzt beginnt man bei Stufe 1 und arbeitet sich nach oben voran.
Sind beide Richtungen logisch und kann man ohne zu stolpern die Treppe hoch und runter laufen? Wenn ja, stimmt die Wirkungslogik und man kann zum nächsten Punkt in der Projektplanung gehen, dem Ausarbeiten der nötigen Schritte für die Wirkungsanalyse.
In unserem Beispiel scheiterte es am Übergang von der dritten zur vierten Stufe: Die Zielgruppe nahm das Angebot zwar an, aber auf eine ganz andere Art und Weise als beabsichtigt. Das lag daran, dass das Angebot den akuten Bedürfnissen der Zielgruppe (Schutz für ihre Nahrungsquelle Huhn) nicht entsprach. So konnte dann auch kein Bewusstsein für die Wichtigkeit von Hygiene geschaffen, geschweige denn Verhalten geändert werden.
Im nächsten Teil wird’s konkret
Zugegeben, Wirkungsanalysen machen Arbeit. Doch ihre Vorteile sind nicht zu verachten: Sie hilft dabei, Ressourcen zielgerichtet und wirkungsvoll einzusetzen und sie zeigt nachvollziehbar den Impact der eigenen Arbeit auf, was sowohl für die Mitarbeitenden-Motivation als auch für das Fundraising nützlich ist. Im nächsten Teil unserer Artikelserie zu Impact Measurement wird es konkret: Wie wählt man die richtigen Indikatoren, Zeitpunkte und Methoden für sein Projekt aus? Wie interpretiert man die Daten und Ergebnisse?
Zurück zur Themenübersicht: Wirkungsanalyse: So geht Impact Measurement
Damit Du den nächsten Artikel nicht verpasst, abonniere einfach unseren Newsletter! So erhältst du ca. einmal monatlich Informationen über neue Blogartikel, Termine, Veranstaltungen und unsere FundraisingBox: Newsletter abonnieren
- Stanford Social Innovation Review: „Using Data for Action and Impact“
- Stanford Social Innovation Review: „Getting Results: Outputs, Outcomes, Impact“
- Wirkung-Lernen.de: „Bestandteile der Wirkungslogik“
- Skala Campus: „Wirkungstreppe: Das sind die häufigsten Fehler“
