One Minute Madness

Heute ist “Tag der Informatik” im Informatikzentrum. Es gibt viele Info-Stände verschiedener Lehrstühle und Unternehmen, ein Vortragsprogramm, Zeugnisse werden vergeben und zum Ende des Tages hin wird es ein reichhaltiges Buffet geben… und mittendrin bin gleich auch ich: nämlich in der One-Minute-Madness (OMM) um 15 Uhr. 20 Doktoranden stellen in je 100 Sekunden ihr Forschungsthema anhand einer nicht-animierten Folie vor. Ich bin Nummer 18 und schon etwas aufgeregt, weil eineinhalb Minuten wirklich nicht so lang sind.

Das ist meine Folie: OMM_Folie

Damit ich mit der Zeit hinkomme, habe ich mir diesmal auch ausnahmsweise mal notiert, was ich sagen möchte und schon ausprobiert, ob der Text in der vorgegebenen Dauer überhaupt verständlich gesprochen werden kann. Hier mein Text:

“Ich untersuche diese bunte Pflanze. Der Boden bzw. der Kontext auf dem diese Pflanze wächst ist die “Verbesserung der mediengestützten Hochschullehre”. In den letzten Jahren nutzen immer mehr Lehrende in ihren Lehrveranstaltungen eLearning-Elemente, wie z.B. Lernportale, Vorlesungsaufzeichnungen oder auch komplexe Übungsprogramme. Dadurch entsteht den Lehrenden meist ein Zusatzaufwand, der durch mehr Effizienz in Arbeitsprozessen und mehr Effektivität der Lehre – indem mehr unterschiedliche Lernende unterstützt werden – gerechtfertigt sein soll. Um dies zu überprüfen, eignet sich die Methodik der Aktionsforschung (auch Action Research genannt). Sie ähnelt der iterativen Softwareentwicklung. Lehre wird in mehreren Evaluationszyklen untersucht und Schritt-für-Schritt verbessert. Um den Aufwand der durch Datensammlung und Auswertung entstehen kann, möglichst zu minimieren, entwickle ich Informatik-Tools, die Aktionsforschungsprozesse vereinfachen sollen, so dass mehr Lehrende (und auch Studierende) motiviert werden, ihre Lehre zu analysieren und zu optimieren. Zur Entwicklung der Tools müssen Aspekte und Methoden verschiedener Disziplinen und Themenbereiche, wie der Psychologie, Pädagogik, Data Mining, Web- und Portaltechnologien, Datenschutz oder Usability,  betrachtet und zusammengeführt werden. Das ist die wesentliche Herausforderung meines Forschungsvorhabens.”

Bitte Daumen drücken, dass ich kein Blackout habe und mit der Zeit hinkomme!

Meine Diss in verständlichem Deutsch?

… Immer wieder wird man  gefragt und dann steht man vor der Herausforderung oder besser Kunst jemandem der nicht auch nur annähernd was damit zu tun verständlich und in wenigen Sätzen das eigene Forschungsthema zu erläutern ohne dabei einzuschläfernd zu wirken…

“Was das Thema meiner Dissertation ist? Es beschäftigt sich mit Evaluation von Blended Learning Veranstaltungen [ähhh... was?]. Genauer gesagt mit Action Research in Blended Learning Veranstaltungen [nochmal ähhh... was?]. Action Research bedeutet, dass die Lehrenden und Studierenden selbst ihre Lehrveranstaltung in der sie agieren evaluieren. Der Zweck dahinter ist die Verbesserung der Lehre, in diesem Fall auch der Online-Lehre [ahhhso...!?! <keine Vorstellung>]. Ziel meiner Dissertation ist diesen begleitenden Evaluations- und Qualitätssicherungsprozess, den jeder auch jetzt schon durchführen kann, wenn er oder sie gerne möchte, zu vereinfachen. Dafür entwickle ich – wie Informatiker/innen das so gerne machen – Tools, die die Nutzer bei ihren Action Research Aktivitäten unterstützen sollen [hmmmm....ok ... verstehe... jaja]. Speziell geht es bei mir um Monitoring-Tools [wat?]. Eine meiner Vermutungen ist, dass mehr Lehrende ihre Lehre informell evaluieren, wenn sie derartige AR-Tools in den von ihnen bereits genutzten Learning Management Systemen vorfinden [...???]. Dafür müssen die Tools natürlich besonders Nutzerfreundlich sein. Es muss klar sein, wie die Tools zu verwenden sind. Eine Möglichkeit ist vielleicht, Standardauswertungen zur Verfügung zu stellen, die bereits vorhandene, interessante Daten visuell verständlich und ansprechend aufbereiten. Dafür könnten z.B. Logfile-Analysen durchgeführt werden, die mit Hilfe von Data Mining Algorithmen [... Bahnhof???] neue vorher nicht sichtbare Informationen präsentieren und visuell verständlich aufbereiten.”

…hier drehts sich der Zuhörer nun spätestens hilfesuchend um, ob jemand zur Ablenkung eingreifen kann… Ich bin aber noch nicht fertig und komme langsam in Fahrt …

“Für die Visuelle Aufbereitung eignen sich z.b. Dashboards. Diese sind auch dafür nützlich Daten aus verschiedenen Quellen zusammen auf einer Seite übersichtlich zu präsentieren. Durch die zeitnahe Präsentation während des Verlaufs einer Lehrveranstaltung kann der Betrachter (richtig und falsche) Schlüsse über stattfindende Lehr- und Lernprozesse ziehen. Über Interaktion mit den anzeigten Daten können weitere Informationen gewonnen werden. Um den Prinzipien des Action Research dabei zu folgen, sollten jedoch Forschungsfragen formuliert bzw. ausgewählt werden, die die Lehrenden interessieren. [Du liest diesen Text immernoch?] Erst durch die Bestimmung der Forschungsfragen wird es auch möglich zu definieren, welche Methoden zur Datensammlung benötigt werden. Diese Bestimmung kann entweder automatisch erfolgen oder durch den Benutzer manuell. [Wow... du interessierst dich auch für das Thema oder eher für mich ???]

Durch eine Analyse möglicher Forschungsfragen, habe ich bereits eine ungefähre Ahnung davon bekommen, welche Daten relevant werden könnten. Es scheint als seien (quantitative und qualitative) Daten, die aus Fragebögen an die Studierenden gewonnen werden, eine zentrale Quelle, die in diversen Veröffentlichungen auch immer wieder erwähnt wird. Eine weitere Möglichkeit quantitative Daten zu bekommen sind Logfile Analysen, die häufig in Kombination mit Fragebogenauswertungen durchgeführt werden um Interpretationen zu festigen/verifizieren. Auch wichtig sind anscheinend Klaursur oder e-Testdaten. Diese geben nämlich Aufschluss darüber, ob das Lernen erfolgreich war oder nicht. [Immernoch am Ball?? Dann bitte ich um Feedback!!!]

Die interessanten Fragen, die auf erfolgreiches Lernen und Betrachtung von Diversity im Lernen abzielen, beziehen immer mehrere Datenquellen ein. Dafür ist es wichtig, dass die Daten einer Person zugeordnet werden können. Erst dann kann man sagen: Dieser Nutzer hat sich so und so im Lernportal bewegt, hat folgende Antworten auf unseren Fragebogen gegeben und hat folgende Note in der Hausaufgabe/Klausur. Die richtige, tatsächliche Person ist dabei nicht wirklich relevant (kein Assessment), d.h. es ist egal wer dieser Student ist. Die persönlichen Daten können also auch unter einem Pseudonym abgespeichert werden, weil die Analyse sowieso über eine größere Gruppe von Nutzern durchgeführt werden soll. Das Pseudonym muss allerdings für die Zuordnung und Korrelation unterschiedlicher Daten eindeutig sein. Einerseits könnte man hier …”

nee … Schluß!… jetzt ist Feierabend! bätsch… Lass uns über was anderes reden…  #vuvuzelas #wm #lost-ende #gntm ich bin bestens informiert und kann mich anpassen…

What makes humans human?

What makes you a human?

How do you act human?

Gedanken zu Lehre, Blended Learning, Zugriffsstatistiken und Nutzerprofilen

Obwohl ich mittlerweile schon recht viel über Lehren und Lernen weiß (siehe Beitrag heute morgen: Warum Lehre ich gerne?), heißt das natürlich nicht, dass ich eine Lehrveranstaltung vor ihrem Beginn von Vorne bis Hinten durch-konzeptionieren kann, sodass alles „wie geschmiert“ und erfolgreich (im Sinne, dass die Studierenden die Lernziele erreichen) abläuft. Denn jede Lehrsituation ist anders und bringt neue Herausforderungen. Insbesondere sind meist die Lernenden andere Personen und somit unterschiedlich zu den Lernenden früherer ähnlicher Situationen, die ich kennen gelernt bzw. erlebt habe.

Wie gehe ich also mit der Herausforderung „gute Lehre“ um?

Ich starte zunächst zu Beginn einer Lehrveranstaltung mit einer Menge von Annahmen darüber, welche Rahmenbedingungen (vorhandene Eigenschaften der Lernenden, Lernumgebungen, Materialien, Qualifikationen der Lehrenden und Betreuer…) gegeben sind und wie die Lehrveranstaltung daher ablaufen wird. Basierend auf diesen Annahmen entwickle ich (oder habe ich bereits) ein Lehrkonzept. Dann beobachte und erlebe und beeinflusse ich während der Durchführung, wie es wirklich ist. Wenn etwas anders ist als ich vorhergesehen habe, muss ich meine Vorstellungen/Annahmen bzw. meinen Plan flexibel anpassen. Dies geschieht meistens unterbewusst, indem ich einfach reagiere anstatt mich wirklich hinzusetzen und ein neues Konzept zu machen. Das Ganze ist ein dynamischer, fließender Prozess, welcher auf Beobachtung, Erleben, Reflexion, Interpretation und Anpassung an die jeweilige Situation basiert, und der laufend und parallel stattfindet bzw. sich zyklisch wiederholt. Eine ganz wesentliche Lehraktivität ist – meiner Meinung nach – zu jeder Zeit möglichst unvoreingenommen zu beobachten und kritisch zu reflektieren.

Im folgenden möchte ich mich auf Blended Learning Szenarien beziehen, die sowohl aus Präsenz-Lehrveranstaltungen als auch aus Phasen des mediengestützten (Selbst-)Lernens bestehen (auch ergänzt durch Online-Kommunikation und Kollaboration). In einer Situation, in der ich von Angesicht-zu-Angesicht agiere, kann ich für das Beobachten all meine Sinne einsetzen. Anders ist es dagegen in den Phasen, in denen die Lernenden nicht körperlich anwesend sind. Dennoch habe ich auch hierzu Annahmen darüber, was sie machen und wie sie lernen, und versuche ich auch hier möglichst viel zu beobachten, um herauszufinden, ob meine Annahmen richtig sind.

Hier eine Beispielsituation: Ich gebe den Lernenden innerhalb einer Präsenzveranstaltung die Aufgabe, einen Text zu lesen. Mit meinen Augen kann ich sehen, wer liest. Zumindest nehme ich an, dass jemand liest, wenn die Augen der beobachteten Person auf den Text gerichtet sind und ab und an (in angemessenem Tempo) die Seiten umgeblättert werden. Wenn ich merke, dass die Blicke sich von Text lösen und es unruhig im Raum wird (höre ich mit meinen Ohren), weil Gespräche aufkommen oder andere Aktivitäten aufgenommen werden, kann ich davon ausgehen, dass der Text entweder fertig gelesen wurde oder es andere Gründe (z.B. Unverständnis) gibt, warum nicht weiter gelesen wird. Ich kann dementsprechend reagieren, indem ich z.B. nachfrage „Seid ihr fertig?“ oder „Gibt es Verständnis-Schwierigkeiten?“ oder die Lernenden auffordere weiter zu lesen. Je nach Reaktion kann ich eine interaktive Übung anschließen, den Text diskutieren lassen, Fragen beantworten usw.

In einer vergleichbaren Online-Lernphase, in welcher Lernende aufgefordert sind einen Text zu lesen, habe ich gar keine, erheblich weniger oder im besten Fall andere Möglichkeiten die Situation zu beurteilen. Zudem lesen nicht unbedingt alle Lernenden einen Text gleichzeitig, sondern verteilt über einen gewissen Zeitraum. Meist muss ich nach Ablauf des vorgegebenen Lese-Zeitraums einfach blind davon ausgehen, dass der Text gelesen wurde, weil ich es gesagt habe. Es sei denn, die Lernenden werden aktiv und fangen an online (innerhalb meines Sichtfeldes) zu kommunizieren.

Eine weitere Option, die Blindheit zu überlisten, ist, dass ich aufgrund meiner bisherigen Lehr-Erfahrungen weiß, inwiefern es Probleme geben kann (Lernende vergessen zu lesen oder haben Verständnis-Schwierigkeiten, usw.). Daher kann ich bestimmte, angepasste Aktivitäten einplane ohne genau zu wissen, ob sie wirklich notwendig sind:  In der Annahme, dass viele Lernende vergessen den Text rechtzeitig zu lesen, kann ich z.B. per
E-Mail an die Aufgabe erinnern. Ich kann auch eine Verständnis-Frage anschließen und durch die Antworten der Lernenden (wenn es welche gibt) erkennen, wo diese stehen.

Noch eine weitere Möglichkeit, die mir ein Gefühl dafür gibt, inwiefern die Lernenden die Leseübung wahrscheinlich schon erledigt haben, sind möglicherweise im genutzten eLearning-System vorhandene Zugriffsstatistiken auf den Text. Solange der Text noch gar nicht angeklickt wurde, ist die Wahrscheinlichkeit sehr hoch, dass er noch nicht gelesen wurde. Ganz sicher kann ich natürlich nicht sein, weil der Text evtl. in der Bibliothek ausgeliehen wurde. Aber weil dieser Beschaffungsweg – meiner Vermutung nach – für die Lernenden umständlicher ist, als einfach auf den Online-Text zuzugreifen, kann ich doch annehmen, dass keiner ihn bisher gelesen hat.

Zeigt die Statistik dagegen, dass es schon einige Klicks auf den Text gab, so kann ich davon ausgehen, dass er von einige Lernenden auch schon gelesen wurde. Zumindest wurde er angeschaut und vielleicht auch heruntergeladen. Wenn er heruntergeladen wurde, kann er jederzeit wieder offline gelesen oder auch an andere Lernende weitergegeben werden. Also bedeutet eine geringere Zugriffszahl im Vergleich zur Anzahl der Lernenden nicht, dass nicht alle den Text gelesen haben. Aber diese Zahl gibt mir zumindest Anlass darüber nachzudenken, ob wirklich alle den Text gelesen haben, und ggf. weitere Nachforschungen (z.B. mit Hilfe von Umfragen) anzustellen oder nochmal an die Aufgabe zu erinnern.

Aus diesem Grund und anderen Gründen halte ich Zugriffsstatistiken und Nutzerstatistiken für ein wichtiges Werkzeug zur Beobachtung der Lernenden in den Online-Lernphasen von Blended Learning Veranstaltungen. Ihre Analyse und Interpretation muss jedoch sorgfältig durchdacht werden, da leicht Fehlschlüsse gemacht werden können. Auch sind Zugriffsstatistiken meist schwer zu lesen und viele Fragen zur Nutzung von Online-Lernressourcen oder Funktionalitäten können nicht (sicher) beantwortet werden. Zu Marketing- oder Verkaufs-Zwecken in Web-Projekten und Social Communities (wie z.B. StudiVZ oder Amazon) wurden die Analysemöglichkeiten auf Basis von Zugriffsstatistiken und Nutzungsprofilen jedoch bereits tiefer gehend erforscht. Viele dieser Forschungsergebnisse wurden erst rudimentär bezüglich ihres Potentials für Blended Learning Szenarien analysiert.

In vielen Learning-Management-Systemen sind heute bereits Zugriffsstatistiken auf Basis von Logfiles mit unterschiedlichem Aussagewert integriert. Auf individuelle Nutzerprofile der Lernenden muss jedoch meist aufgrund der Datenschutzproblematik verzichtet werden. Eine Möglichkeit Datenschutzverstöße zu umgehen ist die Anonymisierung oder Pseudonymisierung der gesammelten Daten. Auch hier muss jedoch gewährleistet werden, dass keine Rückschlüsse auf das Nutzungsverhalten konkreter Personen möglich sind.

Wie können Nutzer- und Zugriffstatistiken sinnvoll und datenschutzrechtlich unbedenklich in eLearning-Systeme integriert werden, sodass Lehrende ihre Blended Learning Szenarien besser beobachten und erforschen können?

Hier möchte ich diese Überlegungen, die ich im Rahmen meiner Promotion mache, zunächst unterbrechen. Ich bin sehr interessiert an euren Kommentaren und werde die Gedanken demnächst fortführen. Was ging euch durch den Kopf, während ihr gelesen habt?

Welche Tätigkeiten werden in der Aktionsforschung ausgeführt?

Wer kann mir helfen Interviewpartner/innen zu finden? Im Rahmen meines Promotionsvorhabens suche ich Lehrende, die ihre Lehre beobachten, analysieren, bewerten und verbessern (also Aktionsforschung machen). Melde dich einfach per Mail an actionresearchtool@googlemail.com oder mit einem Kommentar zu diesem Beitrag, z.B. mit einer Antwort auf die Frage:

Welche Tätigkeiten werden in der Aktionsforschung ausgeführt?