Subventions dans le domaine de la promotion de la paix et de la politique de sécurité humaine

3.2Evaluationspraxis der AMS (Hauptfrage 2)

3.2.1Wirkungsmodell und -messung

Im Bereich der Friedensförderung gibt es eine internationale Debatte über zweckmässige Wirkungsmodelle. Dabei werden die klassischen aus der internationalen Zusammenarbeit (IZ) kommenden RBM und M&E Ansätze in Frage gestellt (z.B. ICAI 2012, swisspeace 2017). Das solchen Modellen zugrunde liegende lineare Denken scheint eher ungeeignet für volatile Friedensprozesse. Die Bewertung der Wirksamkeit von einzelnen (kleinen) Projekten ist nur beschränkt aussagekräftig für den Erfolg oder Misserfolg von Friedensprozessen.

Die beschriebene Problematik bei den Wirkungsmodellen beeinflusst logischerweise direkt die Wirkungsmessung. Die Aktivitäten der AMS sind in einem Politikfeld angesiedelt, in welchem die standardisierte auf quantitativen Indikatoren basierende Evaluation der Tätigkeiten schwierig ist. Dies wurde von allen befragten Akteuren bestätigt. Zwar gibt es Literatur zu Teilgebieten der AMS, die sich dem Thema theoretisch oder im Sinne einer Praxisanleitung annimmt. Es existiert jedoch kein breit anerkanntes quantitatives Indikatorenset für die Bewertung von Tätigkeiten im Sinne der vier AMS-Wirkungsziele, das auch in der Praxis eine breite Verwendung findet.

Dies hat mehrere Gründe:

• Die AMS fördert regelmässig Aktivitäten, für welche eine grosse Visibilität nicht im Sinne der Wirkungsziele ist; zum Beispiel bei Mediationen. In solchen Fällen ist bereits die Erfassung des Outputs im Rahmen eines (auch internen) Berichtes unerwünscht, da teilweise politisch heikel (z.B. Treffen mit Mitgliedern von international verbotenen Organisationen).

• Die quantitative Datenerfassung ist in den fragilen Kontexten oftmals besonders schwierig, weil die Strukturen hierfür nicht vorhanden oder unzuverlässig sind.

• Die Datenerfassung in fragilen Kontexten kann zu weiteren Spannungen führen (zum Beispiel die Messung von ethnischer Zugehörigkeit).

• Die von der AMS geförderten Aktivitäten sind sehr kontextspezifisch. Dies bedingt jeweils angepasste Indikatoren, die neu hergeleitet werden müssen und kaum auf andere Kontexte adaptiert werden können.

• Die Frage des Messzeitpunkts ist eine weitere Herausforderung. Politische Prozesse, wie zum Beispiel die Einführung und Einhaltung von Menschenrechten oder Friedensverhandlungen, weisen oft eine nicht-lineare Entwicklungsdynamik auf, sind pfadabhängig und durch sogenannte kritische Wendepunkte (critical junctures) geprägt, die früher oder später oder auch gar nicht eintreffen können.

Diverse internationale Organisationen suchen aus diesem Grund immer noch nach einem adäquaten RBM System für den Politikbereich, in welchem die AMS tätig ist. Dieses soll geeignete Wirkungsmodelle und Indikatoren umfassen und das Risiko der Rechenschaftsfalle minimieren. Diese Falle besteht darin, dass nur messbare aber ev. irrelevante Massnahmen geplant werden. Die AMS hat deshalb (in Zusammenarbeit mit swisspeace) ein neues Wirkungsmodell erarbeitet, welches auf die Eigenheiten der AMS Rücksicht nimmt. Der Begriff Wirkungsmodell scheint aber etwas irreführend, als es sich eher um einen Instrumentenkasten mit Steuerungselementen handelt. Das 3- Säulenmodell sieht folgendermassen aus:

Abbildung 1: Das neue Wirkungsmodell der AMS

Quelle: AMS Controlling

Das Modell zeichnet sich durch Neuerungen und Verbesserungen aus, die allerdings erst noch umgesetzt werden müssen:

• Im Bereich Rechenschaft ist die AMS daran übergeordnete Wirkungsindikatoren zu definieren, welche Aussagen zu Outcomes zulassen. Dazu gehören z.B. «Anzahl multilateraler Initiativen, welche von der AMS massgeblich (mit)initiiert und von anderen Staaten (finanziell) unterstützt werden», «Anzahl Friedensprozesse, in denen die AMS in Absprache mit den Konfliktparteien als Akteurin involviert ist», «Beispiele verhandelter Abkommen zur Konfliktbeilegung, an denen die AMS als Akteurin beteiligt war».

• Im Bereich Steuerung stellt der halbjährliche Steuerungsbericht eine wichtige Grundlage für die strategische Steuerung der AMS dar (siehe Kapitel 3.1.2 für mehr Details). Während das Risikomanagement seit langem ein zentrales Instrument der AMS ist und in Kreditanträgen als vertiefte Kontextanalyse umgesetzt wird, ist das «Value Added Mapping» ein neues Instrument, welches eingeführt werden soll.

• Im Bereich Wirkung und Lernen soll im Herbst 2017 nebst den Selbst- und externen Evaluationen ein neues Instrument der Review auf Landes-/ Programmebene pilotiert werden.¹⁰ Dies erscheint sinnvoll, denn es erlaubt die Beurteilung der Wirksamkeit eines Bündels von Massnahmen/Projekten der AMS z.B. auf der Ebene eines Landes oder geografischen Schwerpunktes.

Im Rahmen der Erarbeitung von Projektdokumenten und Kreditanträgen wird Priorität auf die Erarbeitung einer Theory of Change und von Wirkungshypothesen gelegt. Diese (qualitativen) Veränderungsmodelle werden sodann in Selbstevaluationen und externen Evaluationen auf ihre Validität überprüft. Angesichts der Schwierigkeiten mit quantitativen Indikatoren scheint dies ein adäquates Vorgehen zu sein, um die Wirksamkeit von Projekten und Subventionen sicherzustellen und zu überprüfen.

Die Rechenschaftslegung der AMS Tätigkeiten findet über die jährlichen Aussenpolitischen Berichte (Bundesrat 2018a), die jährlichen Berichte des Bundesrates zur Migrationsaussenpolitik (Bundesrat 2018b), und die Annual Reports der 14 Kooperationsstrategien (siehe Tabelle 16) statt. Dass die AMS keinen eigenen und umfassenden Jahresbericht verfassen kann, führt zu einer etwas fragmentierten Darstellung der Resultate und damit auch der Visibilität der AMS.

Beurteilung KEK-CDC: Für die Evaluierung der AMS geförderten Projekte und Aktivitäten anhand von standardisierten quantitativen Indikatoren fehlt die methodische Grundlage. Die AMS investiert jedoch in die Entwicklung eines Wirkungsmessungsmodells zu dem nebst den etablierten qualitativen auch neue quantitative Wirkungsindikatoren gehören. Um die Instrumente zur Wirkungsorientierung zu verbessern, ist die AMS im Dialog mit anderen internationalen Akteuren im Bereich der Friedensförderung/menschliche Sicherheit. Die Analyse der Wirksamkeit des gesamten AMS Instrumentenpools in einem gegebenen Kontext durch die vorgeschlagenen (Peer) Reviews scheint eines gutes Potential für eine höhere Wirksamkeit zu haben.

3.2.2Das Berichtswesen

Der Berichts-Rhythmus zur Begleitung und Überprüfung der geförderten Projekte und Partner wird in den Kreditanträgen, den Verträgen und Projektdokumenten definiert, wobei halbjährliche bis jährliche Berichte und Treffen angeregt werden (AMS 2012). Gemäss den von uns in den Kreditanträgen gesichteten Berichtplänen ist ein jährlicher Rhythmus der Normalfall. Die Abschlusszahlung an einen Vertragspartner sieht zudem zwingend eine Prüfung der Abschlussdokumente vor. Diese bestehen aus einem Bericht und einer Abrechnung (narrativer und finanzieller Schlussbericht), wobei es sich beim Bericht auch um den Jahresbericht eines Vertragspartners handeln kann. Beides muss jeweils von der programmverantwortlichen Person visiert werden (AMS 2017: 18). Dabei wird nicht nur geprüft, ob die Dokumente vorliegen, sondern auch ob die Qualität akzeptabel ist. Die Gründe für eine ungenügende Bewertung sind gemäss dem Deckblatt zu den Abschlussunterlagen wie folgt:

• Schlechte Vertragsausführung (Verspätung bei der Einreichung der Berichte etc.)

• Nichterfüllung des Vertrages

• Unregelmässigkeiten.

Um die Nachvollziehbarkeit zu fördern, sind die Vertragspartner zudem angehalten, sich bei der Erarbeitung der Dokumente an der Struktur des Projektdokuments bzw. des Budgets zu orientieren. Dies erlaubt Personen, die mit dem Projekt nicht vertraut sind, sich schneller einen Überblick zu verschaffen.

Im Rahmen der Fallbeispiele wurden von der AMS die Unterlagen für eine Zwischenrechnung und vier Schlussberichte geliefert. In allen vier Fällen sind detaillierte Angaben zu den Ausgaben enthalten und es liegt eine externe Prüfung der Rechnung vor, wie dies bei Beträgen über CHF 100’000 in der Regel vorgesehen ist (AMS 2017: 9).

Handgeschriebene Notizen in den eingescannten Dokumenten zeigen, dass die Rechnungen genau kontrolliert werden.

Die von der Sektion SEF eingesetzten Expert/-innen berichten zudem zweimal pro Jahr über ihre Tätigkeiten. Diese Informationen spielen dann auch für die weitere Projektplanung eine wichtige Rolle.

Aus den geführten Interviews mit den strategischen Partnern geht hervor, dass das Reporting im Zusammenhang mit den Kernbeiträgen als angemessen und sinnvoll erachtet wird. Hingegen wurde mehrfach angesprochen, dass der Aufwand für die Berichterstattung zuhanden der AMS bei (kleinen) Projekten im Verhältnis zu den gesprochenen Mitteln als zu hoch beurteilt wird. In den letzten Jahren seien die Anforderungen an die Berichterstattung gestiegen, die Beiträge an Projekte jedoch gesunken.

Bewertung KEK-CDC: Die uns vorgelegten Abschlussunterlagen von Projektbeiträgen – bestehend aus einem narrativen und finanziellen Schlussbericht – belegen, dass es bei der AMS ein sehr systematisches und qualitativ gutes Vorgehen für das Berichtswesen gibt. Es ist zudem davon auszugehen, dass sich dies durch die Leitungsstelle Controlling und Qualitätssicherung verbessert hat.