Subventions dans le domaine de la promotion de la paix et de la politique de sécurité humaine

3.2.3Evaluationspraxis

Generell:

Die AMS verfügt über eine Anleitung für Evaluationen (AMS 2013a). Diese berücksichtigt die SEVAL und DAC-OECD Standards und lehnt sich an den Empfehlungen der OECD für die Evaluation für friedensfördernde Aktivitäten an (OECD 2012). Sowohl im Evaluationskonzept als auch in den Ausführungen zur Erstellung von Selbstevaluationen (z.B. AMS 2013b) wird angemerkt, dass AMS Evaluationen (selbst und externe) sich an den OECD-DAC Kriterien orientieren sollen: Relevanz, Effektivität, Impact, Nachhaltigkeit, Effizienz. «Gender» wird als zusätzliches Kriterium für alle Evaluationen definiert und gefordert.

Die Selbstevaluationen dienen primär dem Lernen und werden vom Projektpartner alleine oder in Zusammenarbeit mit dem HSA und der Zentrale aufgrund einer standardisierten Struktur erarbeitet. Die Vorgehensweise und die Methode ist sinnvollerweise nicht vorgegeben. Es ist das Ziel, dass pro Jahr 2 bis 3 Selbstevaluationen pro Sektion durchgeführt werden. Dies entspricht jährlich insgesamt rund 20 Selbstevaluationen in der AMS. Im Jahr 2016 hat die AMS insgesamt 23 Selbstevaluation durchgeführt und 2017 waren es 22, womit die Vorgaben erfüllt wurden.

Externe Evaluationen sollen primär vor neuen Finanzierungsphasen durchgeführt werden. Konkret besteht die Empfehlung, bei mehrjährigen Phasen- oder Programmfinanzierungen vor einer neuen Phase möglichst eine externe Evaluation zu realisieren (AMS 2012: 5). Bindende Vorgaben, wann eines der beiden Evaluationsinstrumente zur Anwendung kommt, gibt es nicht. Im Leitfaden zur Erstellung der Dokumente für die Projektplanung (AMS 2012: 2) wird verlangt, die Ausgestaltung von «Monitoring, Reporting, Evaluation» in einem separaten Kapitel in den Kreditanträgen abzuhandeln. Externe Evaluationen liegen aus dem Jahr 2017 insgesamt 8 vor, eine zusätzliche war zum Zeitpunkt der Nachfrage im Frühjahr 2018 noch nicht abgeschlossen. 2016 wurde eine externe Evaluation durchgeführt.

Ausdruck davon, dass der Themenbereich Monitoring und Evaluation bei der AMS in den letzten Jahren einen höheren Stellenwert erhalten hat, sind die Schaffung einer Leitungsstelle «Controlling und Qualitätssicherung» sowie verstärkte Bemühungen in Richtung einer rollenden Evaluationsplanung.

Für die Vergabe von externen Evaluationen gibt es bei der AMS keine Vorgaben, welche über die Beschaffungsrichtlinien des Bundes hinausgehen. Es gibt jedoch die Empfehlung die ToR bei SEVAL, CINFO und Alnap¹¹ zu publizieren und bei der Wahl des Evaluationsteams die Kriterien der (Themen-) Kompetenz und Unabhängigkeit stark zu gewichten (AMS 2013b, S. 8).

Die Kosten für die externen Evaluationen bewegen sich in den Jahren 2016 und 2017 zwischen CHF 7'000 und knapp 50’000 und liegen im Durchschnitt etwas über CHF 28’000. Im Verhältnis zum Vertragsvolumen sind das teilweise sehr kleine Beträge. Der Extremfall diesbezüglich ist die Evaluation der Strategischen Partnerschaft mit Small Arms Survey. Mit dieser Institution wurden zwischen 2014 bis 2017 Kernbeitragsverträge im Umfang von 8 Mio. CHF vereinbart, während die Kosten für die externe Evaluation bei 35’000 Franken lagen.

Auswertung der Fallbeispiele:

Von den insgesamt neun verfügbaren externen Evaluationen für die Jahre 2016 und 2017 wurden sechs und von den Selbstevaluationen zwei analysiert. Die wichtigsten Befunde dieser Querschnittsanalyse werden im Folgenden zusammengefasst. Die Evaluationen behandeln eine sehr breite Palette von unterschiedlichen Programmen und Projekten. So war in einem Fall der Evaluationsgegenstand das strategische Engagement der AMS in einem bestimmten Themenfeld (TF Dealing with the Past), in einem anderen Falle war es die Unterstützung eines Ausbildungskurses. Zudem befassen sich zwei der betrachteten Evaluationen mit strategischen Partnerschaften.

Die Gründe, weshalb eine externe Evaluation durchgeführt wurde, sind vielfältig und wiederspiegeln, dass es AMS intern diesbezüglich wenig Vorgaben gibt. Zu beachten ist, dass die AMS nicht immer allein über die Durchführung einer Evaluation entscheiden kann. Die ist etwa der Fall, wenn die AMS in einem Setting mit mehreren Geldgebern nicht die finanzielle Hauptlast trägt. Gemäss den geführten Gesprächen fördert die AMS jedoch auch in solchen Kontexten externe Evaluationen und engagiert sich für ein Tracking bezüglich der Umsetzung der Evaluationsempfehlungen. So hat die AMS, welche die Temporary International Presence in Hebron mit bis zu 5 zivilen Friedensförderern unterstützt, 2015 eine externe Evaluation angeregt. Dies verlangte längere Überzeugungsarbeit unter den Gebern. Die Evaluation wurde dann von NORAD ausgeschrieben. Für die Umsetzung der Empfehlungen existiert ein Umsetzungsplan.

Aus den schriftlichen Angaben der Evaluationsverantwortlichen geht hervor, dass die Durchführung von externen Evaluationen innerhalb der Sektionen (zumindest teilweise) diskutiert und abgestimmt wird. Da der finanzielle und personelle Aufwand für eine externe Evaluation deutlich grösser ist als für eine Selbstevaluation, werden externe Evaluationen vermehrt dann eingesetzt, wenn sie als Entscheidungsgrundlage für wichtige Entscheide dienen sollen (strategische Ausrichtung oder Weiterentwicklung von Projekten). Dies steht in Einklang mit den bestehenden internen Empfehlungen. Konkret angeführt wurden in — S. 30 —den schriftlichen Angaben die folgenden Gründe für den Entscheid, eine externe Evaluation durchzuführen:

• Substantielle Änderungen an Projekt oder Zusammenarbeit mit Vertragspartner;

• Externe Evaluation als Steuerungsinstrument gegenüber Vertragspartner. Zum Beispiel wenn der Vertragspartner Empfehlungen aus Selbstevaluationen nicht umsetzt;

• Interner Lernprozess für die Gestaltung von neuen Projekten oder

Projektverlängerungen (v.a. bei Selbstevaluationen);

• Finanzvolumen des Projektes.

Die Evaluationsmandate werden von den Evaluationsverantwortlichen öffentlich ausgeschrieben oder es wird eine Auswahl an Evaluationsbüros zur Offerteinreichung eingeladen. Letzteres ist etwa dann der Fall, wenn sehr spezifisches Vorwissen für die Evaluation unabdingbar ist. In einem Fall wurde die Vorauswahl vom zu evaluierenden Vertragspartner getroffen und der AMS oblag die finale Auswahl.

Mit einer Ausnahme liegen für die analysierten externen Evaluationen Management Responses (MR) vor oder sind in Erarbeitung. In der Regel sind die MRs knapp und präzise gehalten. Gemäss den schriftlichen Angaben wurden die Evaluationsergebnisse mit den Vertragspartnern oder intern diskutiert und weiterverwendet; in den meisten Fällen, indem versucht wird, die Empfehlungen umzusetzen. Wo dies nicht möglich ist, etwa weil die Projekte abgeschlossen wurden, dienten die Erkenntnisse für die Planung anderer Projekte.

Methodisch stützen sich die Evaluationen stark auf qualitative Methoden und Indikatoren. Wo möglich, kommen jedoch auch quantitative Methoden zum Einsatz, etwa bei einer Umfrage unter Teilnehmenden eines geförderten Kursangebots. Zudem wählen einzelne Evaluationen einen theoriebasierten Ansatz. Etwa indem sie die Theory of Change und die Wirkungshypothesen der Projekte beleuchten und den Aktivitäten und Resultaten gegenüberstellen.

Aufgrund der grossen Diversität der Evaluationsgegenstände sind die Evaluationsergebnisse nur begrenzt vergleichbar. Nichtsdestotrotz stützen sich vier der sechs gesichteten externen Evaluationen explizit auf die erwähnten DAC-Kriterien. Bei den Selbstevaluationen ist dies, wie bereits oben beschrieben, aufgrund der vorgegebenen Berichtsvorlage immer der Fall.

In den Interviews und Fokusgruppen mit Mitarbeitenden der AMS wurde mehrfach betont, dass die Messung der Wirksamkeit der AMS Instrumente ebenso wie die Nutzung von Evaluationen zur Weiterentwicklung der Instrumente eine Herausforderung darstellt. Eine Generalisierung von Evaluationsergebnissen sei aufgrund der hohen Kontextsensitivität der AMS-Aktivitäten meist nicht zulässig. Weil es in der Regel auch keine Folgephasen gibt, seien Evaluationen nur beschränkt nutzbar. Es wurde jedoch angeführt, dass AMS intern die Gelegenheiten für institutionalisiertes Lernen und die Reflektion über die Effektivität der eingesetzten Instrumente optimiert werden könnten.

Bewertung KEK-CDC: Die Selbstevaluationen sind ein von der AMS anerkanntes und relativ häufig angewendetes Instrument. Dagegen werden die externen Evaluationen eher kritisch betrachtet, weil der Aufwand für die Vergabe und Begleitung sehr gross ist. Die Erkenntnisse können oft nicht für neue Phasen verwendet werden, weil die Projekte kurz und kontextspezifisch sind. Mit der Wiederbesetzung der Leitungsstelle «Controlling und — S. 31 —Qualitätssicherung» wurde die Evaluationspraxis systematisiert. Die Evaluationspraxis für externe Evaluationen ist insgesamt und bei strategischen Partnerschaften aber noch verbesserungsfähig.