4.8 Vor- und Nachteile

"Computer sind nutzlos, sie können uns nur Antworten geben" (Pablo Picasso)

Computer und ihre Software sind zwar höchst nützliche Hilfsmittel zur Erstellung vonFragebogen, und darüber hinaus verfügen sie über technische Möglichkeiten, welche eine Auswertung erleichtern und Verzerrungsfaktoren eliminieren. Allerdings kann ein Computer noch nicht selbständig Fragebogen generieren. Er ist im formal-technischen Bereich als unabdingbares Instrument einzusetzen, doch die Inhalte und damit die adäquate Zusammenstellung der Fragen kommen nicht ohne das Wissen des Erstellers aus. Der Erwachsenenbildner verfügt über dieses Können und muß sich in der ‚Kunst des Fragens‘ bewähren, bevor der Computer mit seinen Auswertungen Antworten liefern kann.

Die Vor- und Nachteile werden unter zwei Perspektiven betrachtet:

• bei einer ‚geschlossenen‘ Befragung, d. h. mit einer definierten Befragtengruppe; die Zahl der Befragten ist also bekannt.
• bei einer offenen Befragung, bei der die Anzahl der Befragten beliebig groß ist und nicht im Einflußbereich des Untersuchers liegt.

4.8.1 Geschlossene Befragung - bekannte Befragtenanzahl

Vorteil: Aufwand der Erstellung

Der Aufwand der Erstellung ist kleiner als beim herkömmlichen Fragebogen. Die Softwarelösung kann, sobald man sich in die Bedienung eingearbeitet hat, bei regelmäßiger Nutzung eine große Arbeitserleichterung darstellen. Zeit und Kosten können gespart werden.

Vorteil: Durchführung der Befragung

Über Filterfragen können die Befragten geführt und vor irrelevanten Fragen verschont werden. Experimentelle Fragebogen sind möglich (Utz 1999, S. 315).

Bei idealem Einsatz der Möglichkeiten kann ebenso der Primacy-Effekt durch Randomisieren statistisch beseitigt werden. Dazu wird bei der Präsentation der Antwortmöglichkeiten deren Reihenfolge zufällig für jeden Befragten neu erstellt (Vogt 1999, S. 138 ff.).

Auswertungen der bisherigen Ergebnisse können als Anreiz und ‚Belohnung‘ für das Ausfüllen des Fragebogens in Echtzeit erzeugt und präsentiert werden, um eine etwaige dahingehende Neugier der Befragten zu stillen.

Vorteil: Auswertung

Die Datenqualität wird nicht negativ durch das Übertragen von Fragebogen in die Datenbasis beeinflußt, da dieser Schritt wegfällt. Wenn kein Medienbruch stattfindet, liegen die gewonnenen Daten sofort nach der Eingabe durch den Befragten in der Datenbasis vor und müssen nicht von Hand erfaßt werden.

Nachteil: Technikeinsatz

Der nötige Technikeinsatz macht webbasierte Evaluationen momentan bei einigen Projekten unmöglich. So ist es beispielsweise schwer vorstellbar, daß z. B. Senioren, die bisher keine Berührung mit Computern hatten, eine Bildungsmaßnahme webbasiert evaluieren.

4.8.2 Offene Befragung- unbekannte Interessentenanzahl

Eine offene Befragung ist mit Vorlesungen in großen Hörsälen mit den entsprechenden Studentenzahlen vergleichbar. Ob nun während solchen Vorlesungsreihen beispielsweise 200, 300 oder 800 Studenten anwesend waren, entzieht sich normalerweise der Kenntnis des Vortragenden. Er hat eine unbekannte Höreranzahl.

Einen Schritt weiter sind wir beim E-Learning und deren Evaluation. Diese ganz offene Form der Befragung ist dem Erwachsenenbildner in der Regel nicht so geläufig wie in dem gewohnten Kursalltag, in dem der Kursleiter einen räumlichen Bezug zu den Teilnehmern hat. Dieser Bezug entfällt meistens durch E-Learning. Genauso kann die Teilnehmerbeschränkung aufgehoben und ein offener, für jeden Interessierten zugänglicher Kurs kreiert werden. Der Kursleiter weiß in diesem Fall nicht, wie viele Teilnehmer sein Kurs hat. Wie ein solcher Kursaufbau aussehen kann, ist nicht Teil dieser Arbeit – hier seien die Vor- und Nachteile einer solchen Evaluation kurz skizziert.

Vorteil: Anzahl der Befragungen nahezu unabhängig von den Kosten

Durch eine webbasierte Umfrage ist der Kostenaspektder Befragtenanzahl nicht relevant. Es ist nahezu mit denselben Kosten verbunden, wenn 20 oder 20.000 Befragungen stattfinden. Es läßt sich also eine extrem hohe Anzahl von Befragten realisieren (Bandilla 1999, S. 9).
Dabei fallen räumliche Schranken, und eine weltweite Befragung ist somit denkbar. (Utz 1999, S. 315)

Nachteil: Datenqualität nicht beurteilbar

Es ist unklar, wie die Datenqualität bei offenen Befragungen bewertet werden kann. Die Erhebung ist in der Regel nicht beobachtbar, und dadurch sind die gewonnenen Daten nur schwer beurteilbar. Es gibt bisher keine wissenschaftlichen Untersuchungen zu diesem Problem. Dieser Nachteil kann durchaus gravierend sein (Vogt 1999, S. 127).

Nachteil: Unklare Grundgesamtheit

Durch die meistens unbekannte Grundgesamtheit sind verschiedene statistische Aussagen unmöglich zu ermitteln. Es fehlt die Möglichkeit, eine Stichprobenauswahl nach einem definierten Design zu erstellen, beispielsweise alle Schüler einer bestimmten Schule mit der Note 2 in Deutsch. Dieses eher statistisch erscheinende Problem hat weitreichende Auswirkungen auf eine wissenschaftlich fundierte Auswertung. Dabei eignen sich webbasierte Umfragen bereits heute durchaus für eine Vielzahl spezieller Fragestellungen (Bandilla 1999, S. 11 ff.).

Nachteil: Selbstselektion

Die Selbstselektion, also die Teilnahme von bestimmten Gruppen an einer Umfrage kann das Ergebnis stark beeinflussen. Da bei offenen Befragungen kein Teilnahmedruck vorliegt, beteiligen sich freiwillig vor allem motivierte, d. h. meist sehr positiv eingestellte oder auch verärgerte Befragte. Desinteressierte Leser werden sich der Selbstrekrutierung eher verschließen. Damit entsteht oft ein verhängnisvoller Selektionseffekt.

Berühmtes Beispiel dafür ist das „Literary Digest Desaster„: Eine Zufallsstichprobe in den USA aus 50.000 befragten Personen in Bezug auf ihre Wahlabsichten bei der Präsidentschaftswahl 1936 brachte wesentlich genauere Prognosen als die viel größere Umfrage der Literary Digest, die an 10 Mio. Amerikaner gerichtet war, von denen sich 2,3 Mio. (also 23 %) freiwillig beteiligten (Bandilla 1999, S. 18).