ZApprO versus ZÄPrO: Ergebnisse einer ersten Vergleichsstudie

Beide Veranstaltungen (Tab. 1) beinhalteten jeweils eine Vorlesung sowie ein Praktikum und schlossen mit einer summativen Prüfung ab, welche aus einem theoretischen (schriftlichen) und einem praktischen Teil bestand [18, 19]. Alle den Prüfungen zugrunde liegenden Items wurden an vorher definierten NKLZ-Lernzielen orientierend konzipiert. Voraussetzung für die Prüfungszulassung war, alle praktischen, in einem Testatheft nachzuweisenden Arbeitsschritte absolviert zu haben. Bei allen Prüfungen war eine einmalige Wiederholung möglich.

Die Lehrveranstaltung TPK basierte auf der alten ZÄPrO und fand innerhalb von 7 Semesterwochen mit jeweils 40 Semesterwochenstunden (SWS) von Anfang August bis Mitte September 2022 statt. Somit ergab sich eine Gesamtzeit von 280 Semesterstunden [18].

In der neuen Studienordnung sind der modulare Aufbau und die Ausweisung der Lehrveranstaltungen nach Maßstäben des europäischen Credit-Transfer-Systems vorgegeben [19]. Die Lehrveranstaltung ZPDT wurde interdisziplinär und kompetenzorientiert (NKLZ-basiert) erstellt. Hierzu gehörte die Etablierung einer Curriculums-Arbeitsgruppe (CA), die aus 8 Mitgliedern aus den Bereichen Prothetik (2), Zahnerhaltung, inkl. Parodontologie (2), Oralchirurgie (1), Kieferorthopädie (1) sowie Studierenden der Fachgruppe Zahnmedizin (2) bestand.

Erstellt wurde die Lehrveranstaltung während insgesamt 9 Sitzungen der CA, die von August bis Dezember 2021 stattfanden. Zusätzlich wurde erstmalig ein Anatomie-Einführungskurs zu Beginn angeboten. Im TPK hingegen wurde der Anatomiekurs schon über 3 Semester gelehrt.

Die Lehrveranstaltung fand innerhalb von 14 Semesterwochen mit jeweils 5 SWS (2 SWS für die Vorlesung + 3 SWS für das Praktikum) von Mitte April bis Mitte Juli 2022 statt. Somit belief sich die Gesamtzeit der Semesterstunden in Präsenz auf 70.

Zusätzlich wurden Selbststudienzeiten definiert, welche für die Vorlesung (51) und das Praktikum (76) insgesamt 127 Semesterstunden umfassten. Dadurch betrug die Gesamtzeit der Lehrveranstaltung 197 Semesterstunden. Im Rahmen des Selbststudiums wurden praktische und theoretische Aufgaben erledigt, die seitens der Lehrenden mit einem kontinuierlichen Feedback unterstützt wurden.

In beiden Kursen wurde eine schriftliche Prüfung im Einfach-Wahl-Verfahren (Single Choice) durchgeführt, wobei entweder 45 Fragen in 70 min (TPK) oder 30 Fragen in 45 min (ZPDT) zu beantworten waren. 14 der Klausurfragen waren in beiden Prüfungen identisch und bildeten die Grundlage der späteren Gegenüberstellung der erreichten Ergebnisse.

Den 14 gemeinsamen Klausurfragen wurde jeweils ein entsprechendes NKLZ-Lernziel zugeordnet. In Abhängigkeit von der Selbsteinschätzung der Lernenden hinsichtlich des entsprechenden Lernziels in der nachfolgenden Evaluation und den zugeordneten Resultaten in der Klausur (richtige oder falsche Antwort) war es somit möglich, Aussagen über die Übereinstimmung von Selbst- und Fremdeinschätzung (Bewertung durch Lehrende) zu treffen.

Die praktische Wissensüberprüfung beinhaltete in beiden Kursen die Präparation des Zahnes 11 im Phantomkopf zur Aufnahme einer vestibulär verblendeten Verblendmetallkrone innerhalb von 2 h. Diese bildete die Grundlage der späteren Gegenüberstellung der erreichten Ergebnisse. Zusätzlich musste in der TPK-Prüfung der Zahn 26 aus 250 g Plastilin-Knetmasse in Übergröße modelliert werden (Prüfungszeit 3 h), während in der ZPDT-Prüfung der gleiche Zahn im Labor aus Modellierwachs in natürlicher Größe modelliert werden sollte (Prüfungszeit 2,5 h).

Bewertet wurden alle praktischen Prüfungen anhand objektiver Bewertungskriterien durch dieselben kalibrierten Prüfenden, bestehend aus Zahnärztinnen und -ärzten der Poliklinik für Zahnärztliche Prothetik (siehe Abb. 1–3 im Onlinematerial). Es war obligatorisch, beide Prüfungsteile erfolgreich zu absolvieren, um die praktische Prüfung insgesamt zu bestehen. Auch im Rahmen der praktischen Wissensüberprüfung konnten unter Bezugnahme auf die Selbsteinschätzung hinsichtlich entsprechender praktischer Lernziele Aussagen über Selbst- und Fremdeinschätzung getroffen werden.

Die nach jeder Lehrveranstaltung regulär stattfindende, fachbereichsinterne Evaluation aus Sicht der Lernenden fand jeweils am Ende des ZPDT- und TPK-Kurses anonym statt. Sie bestand aus 4 Abschnitten:

Zur Erfassung der speziellen Lehr- und Lernbedingungen wurde ein mehrteiliges Evaluationsinstrument nach der Delphi-Methode erarbeitet [20, 21]. Basierend auf Fragebögen aus ähnlichen Publikationen wurde ein initiales Instrument entwickelt [22‐30]. Dieses wurde anschließend sukzessive in 23 Delphi-Runden optimiert und inhaltlich an die beiden Lehrveranstaltungen angepasst. Der finale Fragebogen bestand aus 5 Abschnitten:

In einem Pretest wurde der Fragebogen an einer Referenzgruppe (5 über die Studie informierte Lernende aus den Fachsemestern 5–9, ZÄPrO) vorab online getestet. Das Meeting wurde mit der Zustimmung aller aufgezeichnet. Dieser Pretest wurde anhand der Think-aloud-Methode durchgeführt [31] und im Anschluss die finale Version des Fragebogens konstruiert.

Der Einsatz der Fragebögen zur Erfassung der speziellen Lehr- und Lernbedingungen erfolgte in beiden Kohorten nach Abschluss der theoretischen und praktischen Wiederholungsprüfungen digital (Software „Sosci-Survey“ 3.2.44, München). Die Befragung begann am 14.10.2022. Im Abstand von je 2 Wochen wurden die Lernenden in 3 Erinnerungs-E-Mails zur Teilnahme gebeten. Um die Rücklaufquote zu erhöhen, wurden die Teilnehmenden in der 48. und 51. Kalenderwoche im Rahmen von Lehrveranstaltungen nochmals direkt an die Bearbeitung der ausgeteilten Bögen erinnert, welche dann pseudonymisiert bearbeitet und anonym ausgewertet wurden.

Um zusätzlich eine Evaluation aus Sicht der Lehrenden zu erhalten, wurde ein Fragebogen (angelehnt an den Fragebogen zur Erfassung spezieller Lehr- und Lernbedingungen der Lernenden) erstellt, welcher am Ende der jeweiligen Kurse anonym von den Personen bearbeitet wurde, die an diesen mitgewirkt hatten (siehe Abb. 11–12 im Onlinematerial).

Die statistische Auswertung fand in Zusammenarbeit mit der Abteilung „Qualitätssicherung Prüfungen“ der Medizinischen Fakultät Heidelberg statt. Nach einer explorativen Analyse der erhobenen Daten (Mittelwerte (MW), Standardabweichungen, Mediane, Minima, Maxima) erfolgten die Bestimmung teststatistischer Kennwerte sowie Gruppenvergleiche mittels Welch-t-Test für unabhängige Stichproben. Es wurden die Software SAS for Windows 9.3 (SAS Institute, Cary, NC, USA) und R 4.2.1 (The R Foundation for Statistical Computing, Wien, Austria) verwendet.

In Tab. 2 befinden sich die MW der erreichten Punktzahlen der Wissensüberprüfung. Eine Übersicht der internen Konsistenzen und der Gütekriterien ist Tab. 3 zu entnehmen. Ein Vergleich der Prüfungskohorten ist als Flussdiagramm in den Abb. 1 und 2 dargestellt.

Die Durchfallquote der ersten theoretischen Prüfung betrug 29 % im TPK versus 8 % im ZPDT. Nach der Wiederholungsprüfung lagen die finalen Durchfallquoten in beiden Lehrveranstaltungen bei 0 %.

Die Durchfallquote der ersten praktischen Prüfung betrug 44 % im TPK versus 29 % im ZPDT. Die finalen Durchfallquoten lagen im TPK bei 3 % und im ZPDT bei 5 %. Am häufigsten führten die Leistungen bei der Zahnpräparation zum Nichtbestehen (11 von 16 im TPK vs. 10 von 11 im ZPDT).

Für die Gegenüberstellung der Selbsteinschätzung der Lernenden (subjektiv eingeschätzte theoretische und praktische Kompetenzen) und der Fremdeinschätzung der Lehrenden (objektiv bewertete Prüfungsergebnisse) wurden die Angaben bzgl. der Lernziele auf dem Evaluationsbogen den korrespondierenden Prüfungsergebnissen gegenübergestellt.

In ihren theoretischen Kompetenzen schätzten sich die Teilnehmenden der Lehrveranstaltung TPK zu 64,3 % übereinstimmend mit den objektiv bewerteten Prüfungsergebnissen ein, für die Teilnehmenden der Lehrveranstaltung ZPDT lag dieser Wert bei 69,6 %. Bezüglich der praktischen Kompetenzen ergab die Selbsteinschätzung der Teilnehmenden der Lehrveranstaltung TPK einen Wert von 69,8 %, während für die Lehrveranstaltung ZPDT ein Wert von 82,5 % ermittelt werden konnte.

Die fachbereichsinterne Evaluation wurde im TPK von 56 % und im ZPDT von 27 % der Lernenden vollständig ausgefüllt. Signifikante Unterschiede ergaben sich hinsichtlich der Beantwortung einzelner Fragen (siehe Tab. 2 im Onlinematerial). So wurde die Frage, ob der/die Lehrende hilfreiches Feedback auf die Beiträge der Studierenden gebe, von Lernenden des ZPDT signifikant niedriger bewertet als vom TPK (MW: 3,2 im TPK vs. 2,4 im ZPDT, p = 0,0285; 1 = stimme voll und ganz zu bis 6 = stimme überhaupt nicht zu). Auf der anderen Seite wurde die Frage, ob die Stoffmenge zum zeitlichen Rahmen der Veranstaltung passe, vom TPK signifikant niedriger bewertet (MW: 3,2 im TPK vs. 4,7 im ZPDT, p = 0,0015).

29 Lernende des TPK und 22 Lernende des ZPDT bearbeiteten den Fragebogen vollständig (Rücklaufquoten von 76 % bzw. 56 %). Die statistische Auswertung der internen Konsistenz (Cronbachs Alpha) ergab einen Wert von 0,95.

Insgesamt wurde die jeweilige Lehrveranstaltung vom TPK signifikant niedriger bewertet als vom ZPDT (MW: 2,3 im TPK vs. 2,6 im ZPDT, p = 0,0119; 1 = sehr gut/stimme voll zu bis 5 = mangelhaft/stimme gar nicht zu). Ebenfalls statistisch signifikante Unterschiede zeigte die getrennte Bewertung der theoretischen (MW: 2,2 im TPK vs. 2,5 im ZPDT, p = 0,0015) und praktischen (MW: 1,9 im TPK vs. 3,1 im ZPDT, p < 0,00001) Wissensvermittlung.

Aus der Subgruppenanalyse ergaben sich keine signifikanten Unterschiede hinsichtlich der Bewertung der theoretischen (Frage 12 „Situationsabformung und Modellherstellung – konventionell und digital“ mit einem MW von 1,8 im TPK vs. 2,0 im ZPDT, p = 0,4845) und praktischen (Frage 52 „Digitale Abformung und Design der Restauration“ mit einem MW von 2,5 im TPK vs. 3,1 im ZPDT, p = 0,1265) Vermittlung digitaler Kompetenzen.

Das Erreichen der lernzielbasierten Kompetenzen insgesamt wurde vom TPK und ZPDT ähnlich bewertet (MW: 2,6 im TPK vs. 2,5 im ZPDT, p = 0,4654). Signifikant unterschiedlich hingegen wurde die Relevanz des Anatomiekurses als Vorbereitung für die Lehrveranstaltung bewertet (MW: 2,3 im TPK vs. 1,5 im ZPDT, p = 0,0027). Weitere Ergebnisse befinden sich in Tab. 3 im Onlinematerial.

Bezüglich der Vergleichsparameter 1, 2 und 4 gab es in der Gesamtbetrachtung keine signifikanten Unterschiede zwischen beiden Veranstaltungen. Der Vergleichsparameter 3 wurde hingegen insgesamt signifikant niedriger von Lernenden des TPK-Kurses bewertet.

Die Teilnehmenden der vorliegenden Studie gehörten 2 unterschiedlichen Semestern (Kohorten) an. Weiterhin erfolgte keine randomisierte Zuteilung. Die Lernenden des TPK waren zudem im Schnitt 4 Jahre älter als die des ZPDT, hatten bereits mindestens 4 Semester des Zahnmedizinstudiums absolviert und befanden sich somit nicht mehr in Regelstudienzeit. Diese Limitation war durch die unterschiedlichen Studienordnungen vorgegeben. Eine entsprechende Harmonisierung wurde in mehreren Studien gefordert, dies war jedoch in der vorliegenden Untersuchung nicht umsetzbar [5, 44, 45]. Die genannten Faktoren gehen mit unterschiedlichen Erfahrungen mit dem Studium der Zahnmedizin einher. Die Studierenden des TPK verfügen über mehr Lebens- und Bildungserfahrung, was sich auf ihre Fähigkeiten, ihr Wissen oder ihre Motivation auswirken könnte. Dies limitiert die Vergleichsmöglichkeit und Generalisierbarkeit.

Ein Abbruch der Lehrveranstaltung erfolgte durch 1 (3 %) TPK- bzw. 4 (9 %) ZPDT-Lernende. In keinem der Fälle wurde der Abbruch begründet, die Lernenden nahmen weder an der Prüfung noch an den Evaluationen teil. Lernende, die nicht zur Prüfung zugelassen wurden oder nicht antraten, verringerten die Fallzahl ebenfalls. Dies traf jedoch nur auf den ZPDT zu (2 von 45, 4 %).

Die in der Studie verglichenen Lehrveranstaltungen fanden zu unterschiedlichen Zeiten statt (ZPDT: April bis Juli 2022, TPK: August bis September 2022). Dementsprechend fanden die Prüfungen und die fachbereichsinterne Evaluation ebenfalls nicht zeitgleich statt. Die hier evaluierte Lehrveranstaltung TPK wurde letztmalig durchgeführt, sodass erneute Vergleichsmöglichkeiten entfallen. Da die Lehrinhalte jedoch auch von den Studienordnungen der Universitäten abhängen [4], können die Lehrveranstaltungen TPK und ZPDT zwischen den Standorten variieren. Um die Generalisierbarkeit der Evaluationsergebnisse der Lehrveranstaltung ZPDT zu erhöhen, sind zukünftige multizentrische Untersuchungen empfehlenswert [46].

Am Universitätsstandort Frankfurt am Main erfolgte ein Vergleich der Lehrveranstaltung „Zahnmedizinische Propädeutik mit Schwerpunkt Dentale Technologie“ (ZPDT), die nach der aktuellen Approbationsordnung (ZApprO) im ersten Studienabschnitt implementiert wurde, mit der Lehrveranstaltung „Kurs der Technischen Propädeutik“ (TPK), die entsprechend der alten Approbationsordnung für Zahnärzte (ZÄPrO) vor der zahnärztlichen Vorprüfung stattfand. Der Kohortenvergleich zeigte eine ausgewogene Bewertung der Parameter „Wissensüberprüfung“, „fachbereichsinterne Evaluation zur Erfassung genereller Rahmenbedingungen aus Sicht der Lernenden“ sowie „Evaluation zur Erfassung spezieller Lehr- und Lernbedingungen aus Sicht der Lehrenden“. Lediglich die „Evaluation zur Erfassung spezieller Lehr- und Lernbedingungen aus Sicht der Lernenden“ fiel signifikant zugunsten des TPK aus, insbesondere im Hinblick auf die theoretische und praktische Wissensvermittlung. Die hier formulierte Hauptforschungsfrage, ob es bezüglich der untersuchten Parameter Unterschiede zwischen den beiden Lehrveranstaltungen gibt, muss somit differenziert beantwortet werden: Es zeigt sich eine Diskrepanz zwischen subjektiver Beurteilung der Wissensvermittlung und objektiv bewerteten Prüfungsergebnissen. Letztere könnten Ausdruck der neu implementierten Selbststudienzeiten in Kombination mit korrektivem Feedback im ZPDT sein. Diese sollten aus Sicht der Autorenschaft weiterhin angeboten werden. Für die Zukunft erscheint es relevant, die zahnmedizinische Ausbildungsforschung auf konkrete Faktoren zu fokussieren, die die Ausbildungsqualität der Lernenden möglicherweise beeinflussen, wie z. B. die benannten Selbststudienzeiten oder die Bedeutung von gezieltem Feedback. Der fakultätsübergreifende Einsatz der speziell für die Anwendung im Rahmen der ZApprO entwickelten Evaluationsinstrumente könnte dabei hilfreich sein.