2.8 Pädagogische Kriterien bzw. Forderungen

2.8.1 Pädagogische Gesichtspunkte

Bemerkenswert sind die von Gerl aufgestellten Forderungen, denen eine Evaluation genügen muß. Dabei wird eine klare ‚Ethik‘ der Evaluation festgelegt, die Evaluation nicht zur Ausbeutung verkommen läßt. Die wichtigste Forderung ist: „Evaluation soll dabei der betroffenen Lerngruppe bzw. ihren einzelnen Mitgliedern selbst und unmittelbar zugute kommen“ (Gerl 1983, S.20). Diese Forderung bedeutet, daß Evaluation niemals nur ausschließlich zur Profilierung des Kursleiters bzw. Trägers eingesetzt werden darf. Somit ist eine Evaluation fragwürdig, die rein zur Legitimierung durchgeführt wird.

Die Forderung, daß Evaluation den Kursteilnehmern direkt zugute kommen muß, relativiert Gerl. Sie muß nicht ausschließlich den Evaluierenden unmittelbar dienen, sondern kann auch „als Teil pädagogischer Forschung, auf dem ‚Umweg‘ über pädagogische Theoriebildung auf pädagogische Praxis“ (Gerl 1983, S.22) zurückwirken.

Vorteile können für zukünftige Kursteilnehmer durch genaue und zuverlässige Auswertungen entstehen. Aufgrund dieser kann eine exakte Interpretation der Ergebnisse stattfinden. Die Konzepte einer zeitgleichen bzw. nachträglichen Evaluation müssen sich nicht ausschließen und können sich ergänzen (ebd.).

Weitere Forderungen nach Gerl (1983, S.26 ff.) sind:
Evaluation soll ...

• Selbstverantwortlichkeit der Teilnehmer für eigenes Lernen hervorheben,
• Zeit zum Besinnen einräumen,
• das Bewußtwerden eigener Beobachtungen und Empfindungen ermöglichen.

Methoden der Evaluation sollen ...

• die Ausdrucksmöglichkeiten der Teilnehmer auf einem breiten Feld fördern,
• Transfer möglicher Lerngewinne auf andere Situationen bedenken und zu kommunizieren helfen,
• alle Teilnehmer und Leiter aktivieren.

Evaluation muß ...

• für die Umsetzung eventueller Konsequenzen, die aufgrund von Ergebnissen durch die Evaluation sinnvoll erscheinen, in der gesamten Gruppe diskutiert werden. Im Konsens beschlossene Maßnahmen für das weitere Vorgehen sollten umgesetzt werden,
• das Wohlergehen und die Rechte jedes Einzelnen wahren (Beywl 1996, S. 78),
• vollständig und fair erfolgen, damit Schwachpunkte behoben und Stärken ausgebaut werden können (ebd.).

Zusammenfassend nennt Beywl (1996, S.82) in den ‚Leitprinzipen für Evaluatoren‘ fünf Prinzipien der Evaluation:

1. Systematische Untersuchung,
2. Kompetenz,
3. Integrität/Aufrichtigkeit,
4. Achtung gegenüber den Menschen,
5. Verantwortung für das allgemeine und öffentliche Wohl.

2.8.2 Methodenmix

Gerl charakterisiert die schriftliche Befragung nach seiner Kriterienliste als relativ anspruchslose Form von Evaluation. Sein Hauptkritikpunkt ist, daß die Methode den Teilnehmer zu wenig aktiviert. Auch ermöglicht sie ihm, sich der Evaluation ohne großen Einsatz zu entledigen bzw. die Fragebogen nicht mit dem nötigen Ernst auszufüllen. Innerhalb der Evaluationssituation besteht auch keinerlei Möglichkeit zum Eingriff bzw. zur Kontrolle durch den Kursleiter, da eine Überprüfung auf die Ernsthaftigkeit nur schwer möglich ist. Gerls Hoffnungen sind aber, daß durch die schriftliche Evaluation schnell Daten erhoben werden können, um eine Diskussionsgrundlage zur „gemeinsamen Reflexion über den gegenwärtigen und den bevorstehenden Lernprozeß in der Gruppe verfügbar zu machen“ (Gerl 1983, S. 47).

Reicherts et al. (1987, S. 279) haben eine Matrix mit der Einschätzung der Eignung der verschiedenen Evaluierungsverfahren erstellt, deren wissenschaftliche Bestätigung durch empirische Methoden noch aussteht. Erwartungsgemäß existiert keine ‚ideale‘ Evaluationsmethode, so daß ein Methodenmix am geeignetsten erscheint. Nur mittels Kombination verschiedener Methoden lassen sich mehrere Aspekte einer Evaluation abdecken.

Ungeachtet der Forderung nach einem Methodenmix wird hier im folgenden nur noch auf die schriftliche Befragung eingegangen. Dies hat zwei Gründe:

• die schriftliche Evaluation (Fragebogen) ist m.E. der erste Schritt zum Einstieg in die Evaluation,
• sie kommt am besten dem Kursleiter und dessen Bedürfnissen bei computerbasierten Kursen entgegen.

Oft verfügen im technischen Weiterbildungsbereich die Kursleiter über keine pädagogische Ausbildung. Trotzdem und besonders deshalb sollte diesen Trainern ein Handwerkszeug zur Verfügung gestellt werden, und schriftliche Evaluationen stellen einen ersten Einstieg hierfür dar.

Für weitere Methoden der Evaluierung sei auf Bronner und Schröder (1983, S. 43 ff.) verwiesen.

2.8.3 Professionelle Evaluation

Nach Arnold ist die schriftliche Befragung (u.a. Fragebogen, Checklisten) zwar in der vor- und semiprofessionellen Erfolgskontrolle zu finden, verliert aber in der professionellen Erfolgskontrolle zunehmend an Bedeutung(vgl. Arnold 1996, S.234, Abb. 57).

Nach dem Standpunkt von Arnold würden die folgenden Kapitel keinen Sinn für die weitere Untersuchung einer professionellen Evaluation im Bereich der Erwachsenenbildung machen.

Diesem Standpunkt möchte ich widersprechen, da gerade im Kursbereich durch die Möglichkeiten der Computer neue Formen der Evaluationentstehen können, die den Prinzipen der schriftlichen Befragung folgen, aber durch den Technikeinsatz vollkommen neue Perspektiven bieten.

Dazu folgendes Beispiel, das den Aufwand der folgenden Arbeit rechtfertigt und im Gegensatz zu Arnolds Meinung steht:

Denkbar, von mir aber leider nirgends gesehen, ist in Computerkursen folgendes Szenario. Bei Kursbeginn formulieren die Teilnehmer ihre Erfolgskriterien unter der Fragestellung:

‚Für mich ist der Kurs erfolgreich, wenn ___‘
oder beispielsweise
‚Die Qualität des Kurses wird für mich bestimmt durch ___‘.

Dieses Statement wird von jedem Teilnehmer anonym in Frageform in den Computer eingegeben.

Beispielsweise für einen Kurs über eine Textverarbeitung:

‚Für mich ist der Kurs erfolgreich, wenn ich Serienbriefe erstellen kann.‘
o Ja oNein o keine Angaben

‚Die Qualität des Kurses wird für mich bestimmt durch die Atmosphäre im Kurs.‘
o stimme ich zu o lehne ich ab okeine Angabe

Am Ende (bzw. zur Zwischenevaluation) wird ein automatisch generierter Fragebogen mit allen Fragen jedes Teilnehmers durch alle Teilnehmer am Computer ausgefüllt. Die Ergebnisse sind sofort nach Abschluß der Befragung verfügbar und können nun als Diskussionsgrundlage dienen. Genau hier findet sich ein Anknüpfungspunkt zu Arnolds Forderung: „Damit die Qualität der Weiterbildung tatsächlich und nachhaltig gefördert wird, ist es (...) erforderlich, das Erfolgsbewußtsein der Beteiligten – Weiterbildner, Teilnehmer sowie deren Vorgesetzte und Kollegen – zu sensibilisieren und sie in einer systemischen Weise an dem Dialog über die Qualität der Weiterbildung zu beteiligen“ (Arnold 1999, S. 253).

Diese Variante ist ohne Computer nur schwer möglich, da es auf ein schnellstmögliches Vorliegen der ermittelten Ergebnisse (Meinungen) ankommt. Zur Verfeinerung des ‚durch Teilnehmer erstellten‘ Instrumentes könnte, sofern vom Kursteilnehmer akzeptiert, der Kursleiter die von den Kursteilnehmern erstellten Fragen auf Basis der Erkenntnisse, wie sie in dritten Kapitel präsentiert werden, überarbeiten und so dem Fragebogen einen Feinschliff verpassen. Weiterhin könnten auch die Kriterien des Kursleiters und des Trägers mit in den Fragebogen einfließen.

Die Erhebung findet anonym statt, und die Ergebnisse nach dem Ausfüllen durch die Teilnehmer dienen als Diskussionsgrundlage. So kann ein fortwährendes Sensibilisieren für die Qualität stattfinden und das Nachdenken über die Ursachen am Laufen gehalten werden.

Bei dieser Variante handelt es sich um eine Verfeinerung von Gerls Methode (vgl. Gerl 1983, S.77), die er als Gruppenaufgabe mit dem Namen „Methode 20: Selbstformulierter Lerntest“ vorstellt. Dabei ist es m. E. methodisch gleichgültig, ob Lerntests formuliert werden, oder die persönlichen Kriterien für einen erfolgreichen Kurs. Ob Lerntests oder persönliche Erfolgskriterien formuliert werden, hängt von der Zielsetzung und dem Verwendungszusammenhang ab.

Gerl nennt als Vor- und Nachteile dieses Vorgehens:

Die unter ‚persönliche Erfolgskriterien‘ genannten Punkte gelten genauso für die ‚selbstformulierten Lerntests‘.

Diese Methode kommt „der Leitvorstellung einer nicht-restriktiven Selbstevaluation der Beteiligten und der vollen Integration der Evaluation in den Lernprozeß trotz ihres inhaltlich-reproduzierenden Zuschnitts sehr nahe“ (Gerl 1983, S.78). Auch dem Anspruch von Arnold, daß Evaluation zur „Entwicklung des Erfolgsbewußtseins von Führungskräften und Mitarbeitern“ (Arnold 1996, S. 237) beitragen soll, wird durch diese beschriebene Variante der schriftlichen Befragung Rechnung getragen.

Aus diesem Grund ist es gerechtfertigt, wenn in den folgenden Kapiteln näher in die Technik der schriftlichen Befragung, also der Fragebogenerstellung einführt wird und im folgenden dann vorhandene Softwarelösungen auf ihre Funktionalität und die Unterstützung zur Gewinnung wissenschaftlicher Erkenntnisse untersucht werden.

Dabei sollte der Leser sich immer vor Augen halten, daß nicht die „technokratische Illusion einer Plan- und Meßbarkeit“ (Arnold 1996, S.225) von Evaluation verfestigt werden soll, sondern dem Erwachsenenbildner die Kenntnisse über das Instrumentarium sowie ein Bewußtsein über dessen Grenzen bekannt werden.