ExamSim - Simulator für mündliche Prüfungen

An der Universität Bayreuth wurde ein KI-basierter Simulator für mündliche Prüfungen entwickelt, der Studierende durch einen digitalen Avatar als Prüfer unterstützt. Der Avatar stellt KI-generierte Fragen, reagiert auf die Antworten der Studierenden und kann Rückfragen stellen, die auf die spezifische Antwort eingehen. Das System bietet verschiedene Schwierigkeitsgrade und ist für unterschiedliche Fachbereiche einsetzbar. Mithilfe von KI-gestützten Analysetools wird die Prüfungssituation umfassend ausgewertet. Die Auswertung erfolgt auf Basis von Blickkontakt, Gestik (mittels NOVA), gesprochenem Text (Transkription und LLM-Analyse) und Stimmmodulation (mit VoceVista). Studierende erhalten detailliertes Feedback zu diesen Aspekten. Die Pilotphase des Systems ist für das Wintersemester 24/25 geplant.

Hintergründe und didaktischer Mehrwert
Der Einsatz von Simulationen in der Hochschullehre ist nicht neu, jedoch bietet die Integration von KI in der Form eines digitalen Avatars neue Möglichkeiten. Der Simulator ermöglicht Studierenden das gezielte Üben von mündlichen Prüfungen, wobei typische Stresssituationen simuliert werden. Dies trägt zur Verbesserung der rhetorischen Fähigkeiten und zur Reflexion über die eigene Präsentationskompetenz bei. Lehrende profitieren davon, da die aufgezeichneten Daten wertvolle Hinweise auf typische Schwächen der Studierenden geben, die gezielt adressiert werden können.

Ein besonderer Mehrwert besteht in der universellen Einsetzbarkeit des Simulators. Er kann in verschiedenen Fachbereichen eingesetzt werden, von Geisteswissenschaften über Naturwissenschaften bis hin zu Rechtswissenschaften. Die Anpassungsfähigkeit der Fragen und Szenarien ermöglicht es, auf spezifische Prüfungsanforderungen einzugehen.

Nutzungsszenarien und didaktische Integration
Der Simulator lässt sich auf vielfältige Weise in Lehrveranstaltungen integrieren. Er kann sowohl als Prüfungsvorbereitung genutzt werden als auch zur Übung spezifischer Kompetenzen wie der spontanen Reaktion auf Rückfragen oder der Strukturierung von Antworten. Studierende üben dabei in einem geschützten Rahmen, bevor sie in einer realen Prüfungssituation stehen.

Lehrende können den Simulator im Rahmen von Tutorien einsetzen oder als Pflichtaufgabe in eine Modulprüfung integrieren. Die Anpassbarkeit der Fragen und der KI-gesteuerte Avatar bieten dabei die Möglichkeit, die Simulation auf das jeweilige Fach und die Lernziele abzustimmen.

Betreuung und Vorbereitungen
Die Nutzung des Simulators erfordert eine kurze Vorbereitung seitens der Lehrenden. Diese sollten das System mit Prüfungsinhalten und typischen Fragen ausstatten, die auf die Zielgruppe und das jeweilige Studienfach zugeschnitten sind. Der Aufwand ist jedoch überschaubar, da Vorlagen für verschiedene Fachbereiche und Prüfungsszenarien bereitgestellt werden. Eine Einweisung in das System sowie eine Schulung der Studierenden im Umgang mit dem Avatar sind empfehlenswert.

Transferpotenzial und Einsatz an anderen Hochschulen
Zukünftig kann der Simulator auch an anderen Hochschulen eingesetzt werden. Voraussetzung ist eine Anpassung der Fragen und Bewertungskriterien an die spezifischen Anforderungen der jeweiligen Fachrichtungen sowie das technische Equipment.

Evaluation und Akzeptanz
Um die Akzeptanz und den Nutzen des Simulators zu bewerten, ist eine begleitende Evaluation vorgesehen. Geplant sind qualitative Interviews und Fragebögen, um die Erfahrungen der Studierenden und Lehrenden zu erfassen. Themenschwerpunkte sind dabei die wahrgenommene Nützlichkeit, die Angemessenheit der Fragen und der Umgang mit Datenschutzaspekten.

Programmierung, Ziele und Forschungsfragen
Die Entwicklung des Simulators erforderte eine umfangreiche Programmierung, insbesondere zur Verknüpfung von Assistants in ChatGPT mit dem HeyGen interactive Avatar und künstlich erzeugter Stimmen mit Elevenlabs sowie zur Integration der verschiedenen Analysetools wie NOVA. Ziel ist es, ein realitätsnahes Prüfungsszenario zu bieten, in dem Studierende auf authentische Weise ihre mündlichen Prüfungsfähigkeiten verbessern können. Forschungsfragen beinhalten die Wirksamkeit des Avatars zur Reduktion von Prüfungsangst und die Verbesserung von nonverbalen Kommunikationsfähigkeiten.

Ablauf und Interaktivität des Avatars
Der Avatar stellt nicht nur Fragen, sondern kann auch Rückfragen stellen, die den Studierenden fordern, tiefer auf das Thema einzugehen oder spezifische Aspekte zu erläutern. Diese Interaktivität ermöglicht eine realitätsnahe Prüfungssituation, die dem Lernprozess förderlich ist.

Technische Umsetzung und Software
Die Analyse der körperlichen Verhaltensweisen erfolgt durch NOVA, während die Textanalyse durch ein Large Language Model (LLM) durchgeführt wird. VoceVista kommt für die Auswertung der Stimmmodulation zum Einsatz. Diese Tools wurden integriert, um eine ganzheitliche Betrachtung der Prüfungsleistung zu ermöglichen.

Zusammenarbeit mit externen Experten
Für den Simulator haben wir mit Dr. Christian Fey (Geschäftsführer des Zentrums für digitales Lehren und Lernen (DigiLLab), Universität Augsburg), Tobias Hallmen (Lehrstuhl für Menschzentrierte Künstliche Intelligenz, Universität Augsburg) zusammengearbeitet. Wir bedanken uns für die engagierte Mitarbeit!

Seminare zur Einführung

• 4.11.2024, 9 Uhr: https://profilehreplus.de/seminare/simulator-fuer-muendliche-pruefungen-ki-gestuetzte-avatare-bieten-geschuetzte-pruefungssituationen-dil
• 4.12.2024, 9 Uhr: https://profilehreplus.de/seminare/simulator-fuer-muendliche-pruefungen-ki-gestuetzte-avatare-bieten-geschuetzte-pruefungssituationen-dil-1
• 20.1.2025, 14 Uhr: https://profilehreplus.de/seminare/simulator-fuer-muendliche-pruefungen-ki-gestuetzte-avatare-bieten-geschuetzte-pruefungssituationen-dil-2

Historie der Vorträge und Durchführungen

• 04.11.24 - Premiere
• 08.11.24 - Vortrag bei Tagung des Verbands der Lehrkräfte für berufliche Schulen
• 28.11.24 - Vortrag bei e-Prüfungssymposium (ePS24) an der TUM
• 04.12.24 - 2. Premiere
• 12.12.24 - 1. Durchführung mit Studierenden
• 17.12.24 - 1. Durchführung mit Schülerinnen und Schülern an der Mittelschule Hersbruck

Ihr Ansprechpartner für den Simulator:
Paul Dölle, wiss. Mitarbeiter am Zentrum für Hochschullehre