www.fragebogen.de

Online-Umfragen effizient

2.6 Phasen der Evaluation

Anhand der Zeitpunkte kann die Evaluation in Phasen gegliedert werden. Dazu gehört chronologisch aufsteigend Input, Verlauf, Zielerreichung und Transfer.

Planungsevaluation (Input-Evaluierung)

In der Planungsevaluation werden die Input-Faktoren analysiert, d.h. ob diese die Phase der Durchführung wie gleichermaßen die Phase danach unterstützen. Diese Faktoren können nach Gerl (1983, S.59 ff.) danach gemessen werden,

Die oben genannten Faktoren können weiter differenziert werden: Gefragt wird, inwiefern die Feinplanung einer Maßnahme folgende Faktoren berücksichtigt:

Weitere Feinheiten, die teilweise organisatorischer Natur sind, wie beispielsweise genügend Kursunterlagen, Anfahrtsbeschreibung, Verpflegung, sollten noch berücksichtigt werden.

Prozeßevaluation (Verlaufs-Evaluierung)

Die Prozeßevaluationist eng verwandt mit dem von Scriven geprägten Begriff der formativen Evaluation. Die „formative Evaluation bezeichnet die prozeßbegleitende Bewertung, die unmittelbar zur Prozeßsteuerung (...) verwendet wird“ (Kleber 1992, S.78).
Der Prozeß wird evaluiert, es können gegebenenfalls Änderungen und Korrekturen durchgeführt und laufende Vorgänge transparent gemacht werden. Die Prozeßevaluation stellt „einen Versuch dar, die Selbstverantwortung einer Gruppe (...) für ihren eigenen Lernprozeß zu ermöglichen und zu stärken" (Gerl 1983, S.29).

Nach Gerl (1983, S. 32) sollte der Einsatz dieser Methode jedoch nur sparsam erfolgen. Während einer Prozeßevaluation macht es also wenig Sinn, ganze Fragebatterien zu bearbeiten – die Kunst liegt in der Beschränkung des Umfangs und im Stellen der richtigen Fragen. Die Ergebnisse sollten dann mit der Gruppe diskutiert und die Konsequenzen im Konsens mit der Gruppe festgelegt werden.

Besonders für den Kursleiter kann die Anwendung der Prozeßevaluation von zentraler Bedeutung sein, da seine Wahrnehmung der Gruppensituation und der einzelnen Teilnehmer begrenzt ist. „Prozeßevaluation ist deshalb wichtig, um zu bemerken, wo der Absturz droht. Sie muß über Rückkopplungsmöglichkeiten verfügen, die ein Öffnen der Wahrnehmung fördern und die nicht kognitiv allein sind“ (Tietgens 1990, S.4). Durch diese Rückkopplung und Einbeziehung der Gruppe kann ein Regelkreis aufgebaut werden, der durch seine Transparenz mit hoher Wahrscheinlichkeit akzeptiert wird und die Lernsituation positiv beeinflußt.

Ergebnisevaluation(Output-Evaluierung)

Ein besonderer Schwerpunkt von Evaluationen liegt auf dem Lernergebnis. Unabhängig vom Vorgehen, mit dem das Ergebnis erzielt worden ist, gilt ein hoher „output“ (Gerl 1983, S.62) als Beweis für die Qualität einer Lern- veranstaltung.
Dabei können die Ergebnisse zu verschiedenen Zeitpunkten erhoben werden, wobei die Lernziele intendiert oder ohne Intention erlangt worden sein können. Die verschiedenen Stadien werden in Abbildung 5 dargestellt:

Abb. 9: Faktische und intendierte Lernergebnisse in Abhängigkeit der Zeit (Gerl 1983, S. 63)

Als Zeitpunkt bietet sich entweder das Ende des Kurses an, was im ersten Zweig dargestellt ist oder ein zeitlicher Abstand, damit die mittelfristige bzw. lang- fristige Wirkung des Kurses erfaßt werden kann.
Zu beiden Zeitpunkten können die Lernergebnisse intendiert oder faktisch erlangt worden sein. Intendierte, also gewollte Lernziele zeigen einen gewissen Erfolg der Maßnahme. Nicht intendierte Lernziele können genauso wichtig für den Teilnehmer sein, weil er aufgrund der Maßnahme, eine Erkenntnis erlangt hat, die er ohne die Teilnahme nicht bekommen hätte, obwohl diese im Kurs- setting nicht erwogen wurde.
Bei der Zurechnung bzw. Abgrenzung faktischer und intendierter Lernziele ergeben sich Probleme. Man ist mit folgenden Fragen konfrontiert: Was hat der Teilnehmer wirklich durch den Kurs gelernt? War es eher ‚Zufall‘, daß er Wissen und Fähigkeiten erlangt hat? Hätte er dies genauso ohne seine Teilnahme fertig bringen können?

Damit ist das permanente Manko der Evaluation benennbar: „Methodische Schwierigkeiten bereitet eine gewisse Asymmetrie der Bewertbarkeit, d.h. die Kosten einer Weiterbildungsmaßnahme sind i. d. R. relativ transparent, ihr Nutzen demgegenüber nur in Grenzen beurteilbar“ (Arnold/Krämer-Stürzl 1995, S. 3).

Daß eine Ergebnisevaluation zu einer Reduktion auf eine ‚Abschlußprüfung‘ mißbraucht werden kann, ist offensichtlich, wenn auch unter dem Namen von Evaluation nicht akzeptabel. Gerl gibt Tips für den Fall, daß eine solche Situation unumgänglich sein sollte. Die Prüfung sollte inhaltlich und organisatorisch so gestaltet sein, daß sie die Teilnehmer nicht dazu bringt, Kursinhalte ausschließlich im Hinblick auf die Abschlußprüfung zu rezipieren, so daß diese quasi rückwirkend Einfluß auf die Lernarbeit nimmt (Gerl 1983, S. 23).

Transferevaluation

Die Transferevaluationkonzentriert sich auf die Frage, inwieweit das in der Maßnahme vermittelte Wissen aus dem Lernfeld in das Funktionsfeld integriert werden konnte. Dabei kommen alle bereits genannten Probleme bei dem Übergang von Lernfeld ins Funktionsfeld zum Tragen.

Im Gegensatz zur Ergebnisevaluation kann der Transfer erst nach einer gewissen Zeit sinnvoll durchgeführt werden. Genannt wird in der Literatur ein Zeitraum von 2 bis 6 Monaten nach Abschluß der Fortbildungsmaßnahme. Jetzt erst wird wirklich sichtbar, welche Lernziele der Teilnehmer in den täglichen Arbeits- prozeß integrieren konnte.
Die Erwartungen an die Präzision der erhobenen Daten dürfen allerdings nicht zu hoch gesteckt werden, da hier nur schwer eine Abgrenzung zwischen dem im Kurs und dem durch die Umwelt vermittelten Wissenszuwachs möglich ist. Trotzdem ist die Bedeutung von langfristig geplanten Kontrollen für die Einschätzung von Lernerfolgen unbestritten, zumal sich in der Praxis viele Anregungen aus dem Kurs als nicht umsetzbar erweisen (Gerl 1983, S.86).

Ein Nebeneffekt der Transferevaluation ist, daß die Teilnehmer sich auch lange nach der Maßnahme weiterhin mit dem Inhalt auseinandersetzen und so u. U. wieder angeregt werden, bzw. jetzt erst zur Umsetzung schreiten.

Transferevaluation kann auch in einen Bezug zur summativen Evaluationgesetzt werden. Diese bezeichnet eine „nach längeren Zeiträumen abschließende Bewertung, die entweder nur ein Urteil abgibt (...) oder auch Empfehlungen ausspricht“ (Kleber 1992, S.78).
Der bezeichnende Unterschied zwischen summativer und formativer Evaluation sind die unterschiedlichen Zielgruppen. Bei der formativen Evaluation dient das Ergebnis der Verbesserung des Programmes und ist für die Programmbeteiligten unmittelbar wichtig. Bei der summativen Evaluation wird eine Einschätzung des Programmes vorgenommen und dient meistens Außenstehenden zur Beurteilung des Programmes.
Dabei ist eine Zielsetzung der summativen Evaluation, einen kompletten Einblick in alle Auswirkungen einer Maßnahme zu vermitteln. Dieser Einblick wird oft von Entscheidern, von „decision-makers“ (Grohmann 1997, S.67) als Grundlage für Entscheidungen genutzt.

Erwähnenswert ist eine zunehmende Aufmerksamkeit auf die summative anstelle der formativen Evaluation(vgl. Tietgens 1990, S. 6). Dies kann mit dem wachsenden Legitimierungszwangzusammenhängen.