Analyse der Bewertungen
Diese Analyse befasst sich gleichermaßen mit den
Bewertungen der Beispielaufgaben, wie mit den Bewertungen
während der Selbstbewertungsphase durch die anderen
Teilnehmer/innen. Es berücksichtigt die besseren Bewertungen
aus den Bewertungen der Trainer/innen und der Teilnehmer/innen
Diese "guten" Bewertungen werden dann für die Berechnung der
Gesamtnote verwandt.
Die Analyse wird am besten erst dann durchgeführt, wenn
die Bewertungen der Trainer/innen vorliegen. Diese Bewertung kann
als Maßstab (Benchmark) für die Einschätzungen
der Bewertungen der Teilnehmer/innen genutzt werden. Der/die
Trainer/in muss nicht alle Übungsaufgaben und
alle eingereichten Arbeiten bewerten. Damit die Analyse nun aber
aussagekräftig ist, sollte der/die Trainer/in mehr Arbeiten
bewertet haben als die Teilnehmer/innen dies im Durchschnitt
getan haben. Je mehr Bewertungen des/der Trainers/in vorliegen,
desto verlässlicher wird auch das Ergebnis dieser Analyse
sein.
Die Analyse wird sinnvollerweise mehrfach durchgeführt,
jedesmal wenn eine oder mehrere der verfügbaren Optionen
geändert wurde. Die verschiedenen Optionen werden durch die
Einstellungen oben auf der Seite gesteuert.
- Auf der Ebene der Fehleranalyse wird beim Laden der
Bewertungen der Trainer/innen die Gewichtung ihrer Bewertungen im
Vergleich mit den Bewertungen anderer Teilnehmer/inen definiert.
Wenn das Gewicht der Trainert/innen-Bewertung hoch sein soll, dann
sollte er/sie über den niedrigsten durchschnittlichen Fehler
in der Tabelle verfügen. Wenn er/die Trainer/in nicht als
erstes in der Liste aufgeführt wird, sollte der Wert
fürt den/die Trainer/in erhöht werden, bis er/sie die
niedrigste Rate hat. Das führt dazu, dass die
Trainer/innen-Bewertungen dominieren und gleichlautende
Bewertungen der Teilnehmer/innen ebenfalls an der Spitze der
Tabelle aufgeführt werden. Bewertungen anderer
Teilnehmer/innen, die sich am Ende der Tabelle befinden,
verweisen darauf, dass sie Bewertungen abgegeben haben, die von
der Bewertung des/der Trainer/in abweichen. Je mehr Bewertungen
des/der Trainer/in vorhanden sind, desto weniger ist es
erforderlich die Gewichtung zu korrigieren. Diese Option nimmt
keinen Einfluss auf die Berechnung der Schlussnote. In
dieser Berechnung der Note wird ein Durchschnittswert aller
vorhandenen Noten ermittelt, gleich ob sie von den Trainer/innen
oder den Teilnehmer/innen stammen.
- Die Gewichtung für die Benotung der Aufgaben wird in der
Berechnung der Schlussnote berücksichtigt. Ein
einfaches Formular dient der Berechnung der Leistung der
Teilnehmer/innen. Es ist das Verhältbis guter Beurteilungen
im Vergleich zur maximalen Zahl der möglichen
Einschätzungen. Wenn z.B. 3 Einschätzunge zu den
Übungsaufgaben und 5 Einschätzungen zu den
eingereichten Arbeiten abgegeben werden sollen und ein/e
Teilnehmer/in hat 7 Beurteilungen vorgenommen und eine ist
herausgenommen worden (siehe unten), dann wird ihre
Bewertungsleistung mit (7-1)/8, also 75 % ermittelt. Die
Gesamtnote wird nun aus der gewichteten Kombination der
Bewertungsleistungen und den Bewertungen der eigenen
Aufgabenstellung errechnet. Die Gewichtungen der beiden Faktoren
sind immer zunächst auf 1 gesetzt. Beide Teile werden danach
gleich stark gewichtet. Wenn Sie nun die Gewichtung für die
eigene Lösung der Aufgabe auf 0,5 setzen zählt diese 33
% der Gesamtbewertung, da die Gewichtung für die Bewertungen
anderer Arbeiten weiterhin bei 1 steht. 0,5 + 1 = 33% / 66
%
- Der Prozentsatz der Bewertungen, der bei der Berechnung der
Gesamtnote nicht berücksichtigt wird, kann auf zwei
verschiedene Arten festgelegt werden.
- Wenn die Teilnehmer/innen alle Bewertungen vorgenommen haben,
können sie die volle Punktzahl nur dann erreichen wenn keine
Bewertungen bei der Berechnung herausfallen. Wenn diese Option
auf 30 % eingestellt wird, wird erreicht, dass die
durchschnittliche Bewertungsleistung aus 70% der Bewertungen
errechnet wird (30 % fallen für die Bewertung weg).
- Alternativ kann die Zahl der nicht berücksichtigten
Bewertungen in der vierten Spalte der Tabelle eingestellt
werden.
Zusätzlich zur Fehlertabelle listet die Analyse die
Bewertungen aller Bewertungen und Noten auf. Diese Tabelle sollte
durchgesehen werden, um festzustellen, ob die Noten
nachvollziehbar sind. Wenn viele Bewertungen herausfallen, kann
es sein, dass einige Arbeiten gar nicht bewertet werden und die
Basis für die Errechnung der Schlussnote sehr niedrig
ist. Die Analyse zeigt die Zahl der eingereichten Arbeiten am
Anfang der Tabelle und kurz vor der Notentabelle an. Diese beiden
Zahlen sollten identisch sein. Wenn eine oder mehrere Arbeiten
unbewertet sind und der /die Trainer/in die Zahl der nicht
berücksichtigten Arbeiten nicht verändern will,
muss er/sie die Arbeit selbst bewerten und die Analyse
wiederholen. Es ist unbedingt erforderlich, dass alle Arbeiten
bewertet werden, bevor die Schlussnote veröffentlicht
wird.
Berücksichtigen Sie das Gleichgewicht zwischen der Zahl
der herausfallenden Bewertungen und der Gesamtbenotung. Je mehr
Bewertungen herausfallen, desto niedriger wird die Punktzahl der
Gesamtnote bei der Addition ausfallen. Wenn schlechte Bewertungen
nicht aus der Gesamtnote herausgenommen werden, werden die
Teilnehmer/innen sich über Qualität der Bewertungen
beschweren. Vorausgesetzt, dass ausreichend Arbeiten von dem/der
Trainer/in bewertet wurden, ist ein Wert von 15 % bis 30 % an
herausfallenden Bewertungen begründbar.
Hinweis: Diese Analysen benötigen einige Zeit und
erfordern einen iterativen Prozess. Mit Verzögerungen
muss daher gerechnet werden.