Publikationen

Checkliste: Evaluation von E-Learning erfolgreich durchführen

30. September 2014  

Im Jahrbuch eLearning & Wissensmanagement 2015 (Thema: Lerntrends 2015) habe ich einen Beitrag zum Bildungscontrolling und zur Evaluation von E-Learning veröffentlicht. In dem Beitrag stelle ich auch eine Checkliste vor, in der die Ideen des Beitrags zusammengefasst sind.

  1. Was sind die Ziele des Projektes, das evaluiert werden soll? Eine Evaluation vergleicht den geplanten mit dem tatsächlichen Zielzustand. Deshalb ist die Grundlage für eine Evaluation, einen geplanten Zielzustand möglichst genau zu definieren. Dazu gehört, z.B. das Festlegen von Lern- oder Entwicklungszielen, die an die Durchführung einer E-Learning-Maßnahme geknüpft sind.
  2. Was sind die Erfolgskriterien? Im nächsten Schritt muss festgelegt werden, wie das Erreichen des geplanten Zielzustands gemessen werden kann. Das können objektive Kriterien sein, wie z.B. ein Rückgang der Krankheitstage als Ergebnis einer E-Learning-Maßnahme zur Gesundheitsprävention oder die Steigerung der Verkaufszahlen bei einem Vertriebstrainings. Es können auch subjektivere Kriterien verwendet werden, z.B. die Steigerung der Zufriedenheit der Mitarbeitenden oder der wahrgenommene Nutzen einer E-Learning-Einheit.
  3. Welche Messmethoden werden eingesetzt? In diesem Schritt wird festgelegt, mit welchen Messmethoden die Kriterien gemessen werden, bzw. auf Basis welcher Daten die Bewertung erfolgt. Um ein möglichst genaue Bild zu erhalten, ist es sinnvoll, unterschiedliche Datenquellen zu nutzen, z.B. die subjektive Einschätzung der Teamleitenden zur Zufriedenheit der Mitarbeitenden mit objektiven Daten zu Krankheitstagen zu ergänzen. Je nach Fragestellung ist hier außerdem wichtig zu überlegen, ob es durch die bloße Befragung von Personen zur Verzerrungen der Bewertung kommen kann, z.B. dass Personen eine E-Learning-Maßnahme zwar als willkommene Abwechslung auffassen (und deshalb zufrieden sind), aber der tatsächliche Lernfortschritt eher gering ausfällt.
  4. Wer ist von der Maßnahme betroffen? Neben direkt Betroffenen (z.B. den Teilnehmenden einer E-Learning-Maßnahme) gibt es in der Regel weitere Personen, die von einer Maßnahme betroffen sind und deshalb zu deren Bewertung beitragen können. Neben Vorgesetzten und Kollegen, sind es in vielen Fällen Kunden oder Klienten (die z.B. die gestiegene Service-Qualität bewerten könnten). Es sollte außerdem überlegt werden, wer von den Ergebnissen einer Evaluation betroffen ist, und dadurch bei der Festlegung von Kriterien, Messmethoden und der Bewertung der Ergebnisse einbezogen werden sollte.
  5. Wird die Evaluation intern oder extern durchgeführt? Bei einer internen Evaluation sind die Personen, die für die Durchführung einer Maßnahme verantwortlich sind, auch für die Evaluation zuständig. Das kann sinnvoll sein, um die Ergebnisse der Evaluation direkt und unmittelbar in die Weiterentwicklung einer Maßnahme einfließen zu lassen, und stellt sicher, dass die Aspekte evaluiert werden, die aus Sicht der Verantwortlichen für den Erfolg ausschlaggebend sind und vor allem auch beeinflusst werden können. Bei einer externen Evaluation werden Personen mit der Evaluation beauftragt, die nicht für die Durchführung der Maßnahme verantwortlich sind, bzw. nicht direkt von den Ergebnissen der Evaluation betroffen sind. Diese „Sicht von außen“ stellt eine objektive und neutrale Bewertung sicher,
  6. Wer interpretiert die Ergebnisse? Die Erhebung von Daten (z.B. die Durchführung eines Wissenstests nach einer E-Learning-Maßnahme) und die Interpretation dieser Ergebnisse (ist eine Verbesserung von 5 auf 6 Punkte bereits als Erfolg zu werten?) lassen sich konzeptuell voneinander trennen. Werden bereits zu Beginn die entsprechenden Zuständigkeiten geklärt, beugt das späteren Konflikten vor. Dazu gehört auch die Frage, an wen die Ergebnisse kommuniziert werden. Sollen z.B. neben den Verantwortlichen auch die Teilnehmenden informiert werden? Soll das Ergebnis der Evaluation veröffentlicht werden? Das ist bei der Zusammenarbeit mit Partnern aus Hochschulen oft eine Voraussetzung.
  7. Bestehen ethische und rechtliche Bedenken? In der Regel wird bei Evaluationsprojekten der Betriebs- oder Personalrat miteinbezogen. Dabei geht es darum sicherzustellen, dass datenschutzrechtliche Vorgaben eingehalten werden, und die Ergebnisse der Evaluation keine nachteiligen Auswirkungen für Einzelne haben (die z.B. schlecht bei einem Wissenstest abschneiden, oder Unzufriedenheit mit einer Maßnahme äußern). Deshalb sollten alle Daten anonymisiert erhoben und Ergebnisse nur in aggregierter Form zurückgemeldet werden. Außerdem muss geprüft werden, ob es durch die Teilnahme an der Evaluation zu Belastungen oder Gefährdungen der Teilnehmenden kommen kann. Diese sind in den wenigsten Fällen physischer Art (z.B. durch das Abnehmen von Blut zu Messung von Cortisol als Indikator für Stress oder die Teilnahme an einer Simulationsübung), in der Regel geht es um mögliche psychische (z.B. durch die Rückmeldung negativer Leistungen) oder soziale Belastungen (z.B. wenn die negative Bewertung einer Führungskraft zu Konflikten im Team führt). Es sollten dabei auch Nachteile berücksichtigt werden, die sich für die Kontrollgruppe ergeben (z.B. durch die Nichtteilnahme an einer wirksamen Maßnahme) und geprüft werden, wie diese kompensiert werden können.
  8. Lohnt sich eine Evaluation? Die Evaluation von Trainings- und Entwicklungsmaßnahmen ist in vielen Bereichen mittlerweile Standard und wird oft von Auftrag- und Geldgebern gefordert. Eine Evaluation bedeutet immer einen zusätzlichen Aufwand. Dabei ist nicht nur die Planung der Evaluation und die Auswertung der Ergebnisse zu bedenken, sondern auch der Aufwand, der für die Teilnehmenden entsteht. Deshalb sollte zu Beginn der Evaluation neben den Zielen der Maßnahmen (siehe Punkte 1) auch das Ziel der Evaluation geprüft werden. Dabei wird festgelegt, wie die Ergebnisse der Evaluation genutzt werden, z.B. zur Verbesserung einer Maßnahme, zur Auswahl der effektivsten Maßnahme oder zur Entscheidung, ob eine Maßnahme weitergeführt wird.

Moskaliuk, J. (2014). Erfolg von Trainings- und Schulungsmaßnahmen messen und bewerten. In F. Siepmann (Hrsg.), Jahrbuch E-Learning und Wissensmanagement 2015 (S. 34-39). Albstedt: Siepmann media.

, , ,

By



Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.