Kann KI Feedback geben?

Abstract

Studierende wünschen sich Feedback, am besten sofort und für alle ihre erzeugten Produkte. Im Lehralltag lässt sich das für Lehrende oft nur schwer umsetzen, insbesondere da gutes Feedback nicht nebenbei formuliert werden kann. Trotzdem bemühen sich die Lehrenden: geben schriftliches Feedback, nehmen ein kurzes Audio auf oder fügen digital Notizen und Fragen hinzu. Andererseits zeigen Berichte aus Projekten und Experimenten, dass eine KI (Künstliche Intelligenz) wie ChatGPT zeiteffizient und qualitativ hochwertig Feedback geben kann. Im Online-Kurs Experimentieren mit KI im Februar 2025 probierten wir das aus.

Experiment

Schritt 1: Erstellung von Lernzielen/Kriterien/Feedback für eine Reflexions-Aufgabe

Prompt: erstell mir Kriterien / Lernzielen für diese Aufgabe … für einen zehntägigen Trainingskurs für Hochschullehrende mit dem Titel „Experimentieren wir mit KI“. Sowie eine Beurteilungsskala … (z.B. 1 (sehr gut) bis 5 (nicht genügend))

ChatGPT4.0 erstellt Lernziele und Kriterien für Feedback und Beurteilungsskala (1–5). Es fragt: Soll die Skala in einem bestimmten Format für die Bewertung genutzt werden (z. B. Punktesystem oder qualitative Rückmeldung)?

Prompt: ich würde sie gerne für ein punktesystem und eine qualitative rückmeldung nützen

Details siehe hier

Schritt 2: Bewertung der Reflexion, die die Trainerin geschrieben hat

Prompt: bitte bewerte anhand des angehängten punktesystems und gib mir individuelle Kommentare und eine Zusammenfassung meiner Abgabe

ChatGPT hat ok bewertet, der ChatBOT der FH JOANNEUM Contoso / AIDA war bei der Bewertung wesentlich strenger. Allerdings kann man bei Contoso / AIDA kein Punktesystem anhängen, sondern muss alles in den Prompt kopieren. Der Prompt wird dadurch sehr lang und unübersichtlich, funktioniert jedoch problemlos. Detail siehe hier

Schritt 3: Strenger bewerten

Kann der Einsatz von ChatGPT auch zu einer strengeren Bewertung führen?

Prompt: in diesem strang hast du einen text mithilfe von kriterien bewertet. könntest du strenger bewerten?

Es zeigt sich, dass eine strengere Bewertung durchaus möglich ist. Das Feedback ist immer noch freundlich und unterstützend. Detail siehe hier

Diskussion

Erste Experimente mit KI-generiertem Feedback im Online-Kurs verliefen erfolgversprechend. Die Kolleg:innen schätzten das freundliche Feedback zu ihren Reflexionen, experimentierten mit unterschiedlichen KIs. Auch bei Fachaufgaben war das Feedback überraschend nützlich.

Bei weiteren Versuchen zeigten sich jedoch einige Probleme. Im Februar 2025 rechnete vor allem ChatGPT oft falsch, die Summe der Punkte passte dann nicht mit den Unterbewertungen zusammen. Auch inhaltlich, je nach Fachgebiet, war das Feedback nicht immer passend oder zielführend.

Eine Teilnehmerin machte die Erfahrung, dass Contoso/AIDA immer strenger bewertete, je mehr Texte vorlagen. – Überhaupt darf man nie vergessen, dass eine KI üblicherweise nicht zweimal dasselbe Ergebnis produziert!

Als Fazit aus dem Experiment könnten Lehrende ihre Studierende begleiten, sich KI-generiertes Feedback zu Aufgaben zu holen, bei denen kein Lehrenden-Feedback vorgesehen ist. Die Begleitung durch Lehrende kann dazu beitragen, dass Studierende eine kritische Sicht auf KI-generierte Inhalte entwickeln, Kompetenzen im Umgang mit KI erwerben und deren Möglichkeiten und Grenzen einschätzen können.

Rahmen

• für unterschiedliche Themen und Rahmenbedingungen möglich
• Ausprobiert von Jutta Pauschenwein

Weitere Quellen

• Erstellung von Lernzielen/Kriterien/Feedback für eine Reflexions-Aufgabe
• Bewertung der Reflexion
• Strenger bewerten

Recherche mit Perplexity, Sichtung zahlreicher Quellen, händische Auswahl

• Chi-Hung Tseng, Thi-Thanh-Nga Tran, Thi-Hoai-Thu Nguyen (2024): The use of ChatGPT in teaching and learning: A systematic review. Frontiers in Education. – aus dem Artikel: strengths of using ChatGPT were identified as …ability to evaluate writing tasks and provide feedback – ChatGPT takes on the role of evaluator, providing real-time feedback and assessment to students, thereby driving continuous improvement in their learning journey. In general, digital teachers, aided by AI technologies such as ChatGPT, can handle many of the cognitive tasks that human educators have previously performed (Ivanov and Soliman, 2023). – ChatGPT has restrictions on the length of the task created (Chaudhry et al., 2023). It is limited in the number of words that can be generated per answer, which may affect the complexity and depth of the answers provided (Stojanov, 2023).
• Stellungnahme zu KI – fzs ( freie zusammenschluss von student*innenschaften) – …kann KI experimentelles Lernen verbessern, indem sie durch maschinelles Lernen Feedback gibt und in Kombination mit virtueller Realität einen zugänglichen Raum für praktische Erfahrungen schafft – KI-gestützte …Feedbacksysteme könnten detaillierte Rückmeldungen geben, die im aktuellen Hochschulsystem durch die Arbeitsbelastung der Lehrpersonen in diesem Umfang bisher nicht möglich sind, jedoch die persönliche Lernentwicklung von Studierenden fördern können.
• Joscha Falck (2024). Lernförderliches Feedback mit Künstlicher Intelligenz – Tipps und Tools für den Unterricht – Interessant zu lesen, auch wenn es sich auf den Schulunterricht bezieht.