Folgender Blogbeitrag beinhaltet eine Reflexion der zweiten Durchführung sowie das Evaluationskonzept.
Online-Phase 21.12.12 – 09.01.13
Zwischen der ersten und der zweiten Sitzung mit den Schülern lagen die Weihnachtsferien. In dieser Zeit sollte jede Gruppe zwei kleine Aufgaben erledigen und auf Moodle bereitstellen. Die erste Aufgabe bestand darin, ihre Gruppenregeln knapp zu notieren und bis zum 21.12.2012 hochzuladen. Dies wurde von nur zwei der vier Gruppen erfüllt. Die zweite Aufgabe – eine Gliederung für den Vortrag und gleichzeitig Anker für die Recherche – sollte bis zum 05.01.2013 auf Moodle bereitgestellt werden. Nachdem keine der Gruppen eine Gliederung hochgeladen hatte und in Moodle die Einstellung “späteres Abgeben verhindern” angewählt war, haben wir den Gruppen jeweils eine Nachricht zukommen lassen. Diese beinhaltete neben einem Feedback zu den Gruppenregeln bei den Gruppen, in denen diese vorhanden waren, auch eine Erinnerung an die Abgabe der Gliederung und der Gruppenregeln. Es wurde eine neue Deadline für den 08.01.2013, 20 Uhr gesetzt. Lediglich eine Gruppe hielt sich an diesen neuen Termin und gab ihre Gliederung ab. Diese Gruppe bekam natürlich sofort Feedback von ihrer Tutorin.
Exkursion in die Universitätsbibliothek am 09.01.2013
Am Mittwoch, den 09. Januar 2013 trafen wir uns um 13 Uhr mit den Schülern und zwei Philosophiestundenten zu einer Bibliotheksrecherche in der Zentralbibliothek. Nach einer zeitlichen Verzögerung, bis alle Sachen in den Spinds verstaut waren, bekamen einige der Schüler eine Einführung in den OPAC. Wir erfuhren, dass viele der Schüler bereits eine zweistündige Führung durch die Universitätsbibliothek hatten bzw. OPAC aus der Stadtbücherei kannten. Diese Schüler brauchten daher keine weiteren Informationen zum Uni-OPAC und warteten kurz, bis die Einführung vorbei war.
Danach gingen wir in die Philosophie-Abteilung der Bibliothek, wo zwei der Gruppen sofort mit der Recherche loslegen konnten. Aufgrund der Störungen in den OPAC-Rechnern gab es eine kleine Verzögerung für die anderen zwei Gruppen. Wie sich herausstellte, hatten einige Teams eine handschriftliche Gliederung bzw. einen mündlichen “Plan”, nach dem sie anfingen zu recherchieren. Ob sie das Hochladen der Gliederung zu umständlich fanden oder ob die Deadline zu kurzfristig gesetzt war, kann unter Umständen in der Evaluations herausgefunden werden.
Die beiden Gruppen mit den Themen “Augustinus” und “Thomas von Aquin” wurden deutlich schneller fündig. Hier bestand die Herausforderung darin, nicht zu viel Material zu finden. Größere Probleme bei der Recherche hatte die Gruppe mit dem Thema “Das Entstehen neuer Kraftzentren – Ausbreitung des Islam und Entstehung des Frankenreiches” (Ursprünglicher Name “Philosophie in Klöstern und Unis”). Wie wir bereits erwartet hatten, ist das Thema sehr speziell und lässt sich nur schwer recherchieren. Nachdem der Herr Schwertschlager um 14 Uhr nachgekommen ist, konnte er selbst den Schülern bei der Recherche helfen. Auch die Philosophiestudenten halfen speziell bei dieser Gruppe mit zu recherchieren.
Besonders gefreut hat es uns, als einige der Schüler sich mit den Philisophiestudenten in Diskussionen vertieften und sich auch über berufliche Perspektiven dieses Studiengangs unterhielten. Zum Schluss der Exkursion um 14:30 hatten drei der Gruppen ein bis zwei kopierte oder eingescannte Quellen und konnten nach Hause gehen. Trotz der anfänglichen Schwierigkeiten, hatte aber auch die vierte Gruppe bis 15 Uhr genügend Quellen eingescannt, sodass auch sie mit der Vorbereitung ihrer Präsentation beginnen können.
Herr Schwertschlager zeigte sich sehr zufrieden von der Exkursion und betonte, dass es den Schülern unheimlich gut gefallen und sicherlich wietergeholfen habe.
Evaluationskonzept
Im folgenden Abschitt soll das bereits in der Sitzung vorgestellte Evaluationskonzept noch etwas detaillierter dargestellt werden.
Evaluationszweck und -ziele
Entgegen der Präsentation in der Sitzung ist das Ziel unserer Evaluation nicht die “Verbesserung und Weiterentwicklung”, sondern “Kontrolle und Legitimation”. Wir fragen uns bei dieser Bewertung unserer Lernmaßnahme, ob vorab im Konzept gesetzte Ziele erreicht wurden (Reinmann, 2012; S. 5; S. 8). “Verbesserung und Weiterentwicklung” erwies sich als nicht mehr passend, da es überwiegend qualitativ gemessen wird und wir lieber quantitativ vorgehen möchten. Zudem erfasst man dabei nicht nur die Ergebnisse einer Maßnahme, sondern auch noch das Konzept und die Prozesse der Lernmaßnahme (Reinmann, 2012; S. 8). Diese zwei Punkte sind aber nicht Ziel unserer Evaluation. Wir wollen uns darauf konzentrieren, das Erreichen der Ziele von “Philhistory” zu überprüfen. Ziele der Schüler waren dabei Teamfähigkeit, Präsentationskompetenz und Problemlösekompetenz.
Evaluationsgegenstand
Insgesamt ist es unser Ziel, das gesamte Projekt “Philhistory” bzw. das didaktische Konzept des forschenden Lernens zu evaluieren. Konkret wollen wir dabei auf die Wirkungen des Projekts eingehen. Uns interessiert, ob die Schüler durch das Projekt z.B. gelernt haben, besser im Team zu arbeiten und wie sie an komplexe Aufgabenstellungen herangehen können (Reinmann, 2012; S.10). Wir wollen hierbei quantitativ messen, welche kurzfristigen Wirkungen das forschende Lernen hinterlassen hat (Reinmann, 2012; S. 11). Langfristige Wirkungen zu messen ist uns nicht möglich, weil die Evaluation direkt im Anschluss an die letzte Sitzung mit den Schülern erfolgen wird und zudem der Kausalzusammenhang zwischen bestimmten Kompetenzen und diesem konkreten Kurs nicht gegeben wäre. Zusammenfassend kann man bei unserem Konzept von einer Wirkungs- oder Ergebnisevaluation sprechen.
Evaluationsfragestellungen
Die zentrale Fragestellung unserer Evaluation lautet: “Haben die Schüler ihre Lernziele erreichen können oder haben sie sich denen zumindest angenähert?”. Die Lernziele des Projekts “Philhistory” waren für die Schüler primär die Teamkompetenz, die Präsentationskompetenz und natürlich die Problemlösekompetenz.
Bewertungskriterien
Das Projekt “Philhistory” soll mittels der Evaluation auf exakt vier Punkte hin bewertet werden: Akzeptanz, Effektivität der Maßnahme, Lerntransfer und die Frage nach der individueller Aufwand-Nutzen-Bilanz. Dabei spricht man von sogenannten “lernbezogenen” Bewertungskriterien (Reinmann, 2012; S. 12-13). Die Akzeptanz erfragen wir z.B. durch Fragen wie “Ich fand das Projekt interessant.” und “Mir hat die Exkursion in die Universitätsbibliothek genutzt”. Die Effektivität der Maßnahme möchten wir herausfinden, indem wir nach der empfundenen Lernleistung fragen: “Dieses Projekt hat meine Fähigkeiten verbessert, eine Präsentation zu erstellen”. Durch hypothetische Fragen wie “Ich weiß nach dieser Präsentation, was ich bei der nächsten besser machen kann”, möchten wir etwas über den Lerntransfer erfahren. Hier kann man natürlich nicht überprüfen, ob ein Transferlernen tatsächlich stattgefunden hat, sondern nur die Einschätzung der Schüler darüber erfahren. Durch die Frage “Welchen Aufwand hatte dieses Projekt verglichen mit den anderen Schulfächern im Schnitt?” versprechen wir uns in Kombination mit Fragen zum Lernerfolg eine Aussage über die individuelle Aufwand-Nutzen-Bilanz der Schüler. Etwas unklar ist bislang, welche Bewertungsmaßstäbe als Bezugspunkt für die Evaluationsdaten gewählt werden. Eine Möglichkeit wäre es, zeitlich zu vergleichen (Was wussten und konnten die Schüler vor dem Projekt, was wissen und können sie jetzt?). Diese Variante ist in unserem Fall allerdings problematisch, da wir weder eine Konrollgruppe haben noch eine Erhebung der Fähigkeiten der Schüler zu Beginn des Projekts vorgenommen haben. Eine zweite Möglichkeit ist es, die Evaluationsergebnisse mit den gesetzten Zielen zu vergleichen (Reinmann, 2012; S. 14). Hierfür wird noch eine konkrete und ausführliche Definition der von uns gesetzten Ziele benötigt. Also z.B. was wir bei der Teamkompetenz als Lernleistung erwartet haben. Dabei fragen wir ab, ob die Schüler bestimmte Ebenen und Dimensionen der Ziele Teamfähigkeit, Präsentationskompetenz und Problemlösekompetenz erreicht haben.
Evaluationsmethoden und -design
Beim Design der Evaluation entschieden wir uns für eine summative interne Fremdenevaluation. Summativ ist sie, weil die Evaluationsbögen am Ende der letzten Sitzung, also auch nach Beendigung des Projekts, ausgeteilt werden. Uns interessiert es, das Projekt “zusammenfassend, bilanzierend und ergebnisorientiert” zu evaluieren (Reinmann, 2012; S. 16). Die Evaluation wird intern sein, weil wir das Projekt konzipiert und durchgeführt haben und es auch selbstständig ohne fremden Eingriff evaluieren werden. Positiv an einer internen Evaluation ist, dass der zeitliche Aufwand recht gering ausfällt und wir als interne Projekttutoren mit dem Evaluationsgegenstand, sprich den Inhalten des Projekts und der Zielgruppe, gut vertraut sind. Negativ daran ist, dass wir unter Umständen nicht objektiv genug an die Sache herangehen und manipulierende Fragen formulieren (Reinmann, 2012; S. 17). Obwohl wir intern evaluieren, handelt es sich um eine Fremdenevaluation, weil sie nicht von uns selbst ausgefüllt wird, sondern von den Schülern (Reinmann, 2012; S. 18-19). Sie beantworten dabei die Evaluationsfragen nach ihrer eigenen Einschätzung und dienen der Evaluation als Datenquelle. Diese sogenannte “Evaluation durch Nutzer” (Reinmann, 2012, S. 19) hat den Vorteil, dass sie objektiv ist. Allerdings kann es dabei auch zu Abwehrreaktionen der Schüler kommen. Da wir das von vornherein wissen, werden wir das bei der Interpretation unserer Ergebnisse mitberücksichtigen.
Unsere Evaluation wird von der Erhebungsmethode her eine schriftliche paper-pencil Befragung mit etwa 25 geschlossenen Fragen und einer offenen Frage sein. Uns ist bewusst, dass das eine eher “reaktive Methode” ist, weil wir durch unsere Anwesenheit beim Ausfüllen oder die Formulierung der Fragen die Antworten der Schüler beeinflussen können. Andererseits erlaubt es die mangelnde Zeit nicht, das Erreichen der Projektziele durch z.B. verdeckte Beobachtung zu prüfen. Dabei ist auch unklar, ob man das bei minderjährigen Schülern überhaupt machen dürfte (Reinmann, 2012; S. 21). Bei der Auswertung unserer Daten möchten wir quantitativ-statistisch vorgehen, weil sich das bei geschlossenen Fragen besonders anbietet. Hierbei werden wir uns überwiegend auf die auf die Kennwerte der Merkmale wie die Häufigkeit und die zentrale Tendenz konzentrieren (Reinmann, 2012; S. 21).
Vorgehen bei der Evaluation
Momentan befinden wir uns am Ende der Planungsphase und am Anfang der Durchführungsphase. Das Konzept steht und der Fragebogen ist grob fertig. In den nächsten Tagen wird er fertiggestellt und getestet. Falls nach dem Pretest Änderungen vorzunehmen sind, können wir sie in dem Zeitplan noch hervorragend vornehmen (bis spätestens Dienstag Mittag). Am nächsten Mittwoch, den 23.01.2013 findet die letzte Sitzung mit den Schülern des Anna-Gymnasiums statt. Am Ende dieser dritten Sitzung werden wir die Evaluationsbögen austeilen und in der darauffolgenden Woche die Daten aufbereiten und auswerten. Bis zur Seminarsitzung am 06.02.2013 werden die Ergebnisse bereits vorliegen und können im Plenum vorgestellt werden.
Quellen:
Reinman, G. (2012). Studientext Evaluation. Universität der Bundeswehr, München. Verfügbar unter: http://lernen- unibw.de/studientexte