Vorbereitungsreport: Unterschied zwischen den Versionen

Version vom 11. Oktober 2014, 15:19 Uhr

Indem die Zahl der Studienplätze trotz des Ausbaus mit dem Interesse an einem Medizinstudium nicht annähernd Schritt halten kann, wurden die Fragen der Vorbereitung immer relevanter: Welche ist notwendig, welche sinnvoll und welche eher kontraproduktiv? Die Bereitschaft, alles Mögliche für eine Zulassung zu tun, wurde immer grösser und es ist nicht leicht, die richtige Haltung zur Vorbereitung zu finden. Seit Beginn des EMS 1998 existieren kommerzielle Trainingsanbieter, die den Eindruck erwecken, dass man nur erfolgreich sein kann, wenn man einen solchen Kurs besucht. Wir nennen dies ebenfalls von Beginn an - "Geschäft mit der Angst" und versuchen, über Fakten und Fiktionen aufzuklären.

Das hauptsächlich gestreute Missverständnis besteht darin, dass wir etwas gegen "Training" (= Vorbereitung) hätten und der Test nur ohne Vorbereitung funktioniere würde. Das ist leicht widerlegbar und steht so nirgends: Auch die offiziell empfohlene Vorbereitungsstrategie mit ihren zahlreichen Materialien ist ziemlich aufwändig. Der Dissens besteht in 2 einfachen Punkten:

In früheren Jahren wurden diese Fragen ausführlich untersucht^[1][2][3] und anhand der in Deutschland vorliegenden Ergebnisse auch auf dem Symposium vor Einführung des EMS erörtert^[4]. In keiner Untersuchung wurde bisher eine Unterlegenheit der selbständigen Vorbereitung anhand des offiziellen Materials nachgewiesen - die gemeinsame (nichtkommerzielle) Vorbereitung schnitt dabei immer am besten ab. Man muss sich allerdings vorbereiten, um sich mit den Aufgaben vertraut zu machen, um sein Fähigkeitsniveau optimal umsetzen zu können.

Dieses "Geschäft mit der Angst" findet man leider bei nahezu allen bedeutenden Zulassungstests dieser Welt. Insbesondere, weil der EMS kein Wissenstest ist und "Pauken" wenig hilft, ist Aufklärung hier wichtig. Die eigentliche Grenze sind die relativ stabilen Fähigkeiten, die Möglichkeiten der Verbesserung derselben durch solche Kurse ist aufgrund der psychologischen Theorie zur Stabilität von Fähigkeiten limitiert.

Wir unterstellen dieses "Geschäft mit der Angst" keinesfalls allen Anbietern. Es gibt mittlerweile auch eine Menge seriöser Anbieter, die vor allem Probeläufe und eine Hilfe bei der Vorbereitung anhand des offiziellen Materials anbieten und dies auch zu fairen finanzielle Bedingungen. Nicht immer ist die "Eigenmotivation" hoch genug, sich ausreichend vorzubereiten und professionelle Hilfe kann dabei sinnvoll sein. Andererseits hat die "Vorbereitungsindustrie" eben doch nicht den Einfluss, den sie sich offenbar selbst gern zuschreibt, wenn man die aktuelle Presse verfolgt.

Die Auswertung 2014 liefert auch Rückschlüsse auf die Effizienz der Vorbereitung

Abb.1: Vergleich der mittleren Aufgabenschwierigkeiten gewerteter und nicht gewerteter Aufgaben für Gruppen aufgrund Regression und Prozenträngen: Nur Unterschiede bei nicht gewerteten Aufgaben nachweisbar - Zum Vergrössern klicken

Die Nichtwertung von 14 Aufgaben 2014 aufgrund vorheriger Bekanntheit hat die Diskussion intensiviert, ob der Besuch eines Trainingskurses sinnvoll oder gar notwendig ist, um zugelassen zu werden.

Unfreiwillig lieferte die Analyse der Version 2014 auch einen starken Beleg, dass das Training zumindest viel weniger wirksam ist als immer behauptet wurde. Denn wenn Aufgaben vorher bekannt waren, muss sich das auch in besseren Ergebnissen für Kursteilnehmer zeigen - und kann man diese identifizieren, kann man nach sonstigen Trainingseffekten suchen^[5].

• Sogar bei den 14 vorher bekannten Aufgaben führen Trainingskurse nicht wirklich dazu, dass sich eine nennenswerte Gruppe „Trainierter“ deutlich von den anderen absetzt. Gesamthaft sind auch die Punktwerte der 14 vorher bekannten Aufgaben normalverteilt und die Zahl der Personen mit 14, 13 oder 12 Punkten entspricht der Erwartung.
• Mittels zweier Methoden lässt sich jeweils eine kleine Personengruppe finden, die eher quantitative Vorteile in diesen 14 vorher bekannten Aufgaben hatte (siehe Abb. 1)^[6]

• • Für beide Gruppen (siehe Balkendiagramm rechts als Lösungswahrscheinlichkeit bzw. Itemschwierigkeit) ist ein Vorteil nur in den nicht gewerteten Aufgaben sichtbar (was wegen der Art der Gruppenbildung natürlich so sein muss und trivial ist).
  • Wichtig ist: Bei den vorher nicht bekannten Aufgaben in den drei betroffenen Aufgabengruppen tritt kein Unterschied auf bzw. sind die Leistungen sogar etwas schlechter.
  • Die Unterschiede sind vergleichbar mit Leistungen bei beiden nicht betroffenen Aufgabengruppen des Faktors Schlussfolgerndes Denken: "Planen und Organisieren", sowie "Medizinisch-naturwissenschaftliches Grundverständnis".
  • Störungen hätten sich z.B. in geringfügigeren aber vorhandenen Unterschieden zugunsten der Trainingsgruppe auch bei den nicht gewerteten Aufgaben der betroffenen Aufgabengruppen zeigen müssen - mehr als in den nicht betroffenen Aufgabengruppen. Praktisch entspricht das Ergebnis genau der Erwartung, wenn man 14 beliebige Aufgaben von drei nicht betroffenen Aufgabengruppen für die Gruppenbildung verwendet hätte^[7]. Die Differenzen in den nicht gewerteten Aufgaben sind - durch die Art der Gruppenbildung - natürlich auch kein Beleg, dass es eine grössere Personengruppe gäbe, die überhaupt profitiert hat (weil die maximalen Differenz bei den nicht gewerteten Aufgaben ja zur Gruppenbildung verwendet worden ist).

Dass "Viel hilft viel" nicht für die aufgewendete Zeit gilt, wurde in den Vorbereitungsreports auch bestätigt. Möglicherweise sind die Kursteilnehmer durch die angebotene Menge in diesen Kursen auch so überfordert, dass sie sich die Aufgaben mit ihren Lösungen gar nicht merken können.

Ergebnisse der Befragung 2014

Abb. 2: Stunden Vorbereitung 2014 - Zum Vergrössern klicken

Abb. 3: Stunden Vorbereitung 2014 und Einfluss auf das Testergebnis - Zum Vergrössern klicken

Abb. 4: Stunden Vorbereitung Selbststudium abhängig vom Maturitätsdurchschnitt - Zum Vergrössern klicken

Abb. 5: Wirkung einiger Vorbereitungselemente auf das Testergebnis 2014 - Zum Vergrössern klicken

Abb. 6: "Ideale" selbständige Vorbereitung versus professionelles Training - Zum Vergrössern klicken

Abb. 7: Geringere Trainierbarkeit des Konzentrationstests - Zum Vergrössern klicken

Abb. 8: Zusatzfragen - Zum Vergrössern klicken

Auch 2014 erfolgte am Ende des Eignungstests eine Befragung. Die Teilnahme ist wie in jedem Jahr freiwillig, dennoch haben 3106 von 3173 Personen teilgenommen und den Fragebogen personalisiert abgegeben. Die Repräsentativität ist gegeben.

Wie viele Stunden bereitet man sich vor?

Abb. 2 zeigt, wie viele Stunden in den drei Kategorien

• selbständige Vorbereitung/Selbststudium,
• gemeinsame Vorbereitung (aber nicht in kommerziellen Kursen) sowie
• professionelle Vorbereitungskurse

angegeben worden sind. Bei der Teilnahme an professionellen Kursen ist zu beachten, dass 160 Personen die sich lediglich bis zu 10 Stunden vorbereitet haben eingerechnet sind. Wahrscheinlich werden auch Teilnahmen an Probeläufen hier mit gerechnet, die gegen Bezahlung erfolgte. Wie bereits früher ist festzustellen, dass Personen, die an kommerziellen Kursen teilgenommen haben, zusätzliches Selbststudium angeben und z.B. die Test Info durchgearbeitet haben. Insgesamt ist die Vorbereitung intensiver geworden und man nutzt mehr Möglichkeiten.

Es zeigt sich auch, dass vor allem die Zeit der selbständigen Vorbereitung und auch der Vorbereitung in Gruppen den deutlichsten Anstieg beim Testergebnis zeigen (Abb. 3). Geringe Vorbereitungszeiten hier korrespondieren mit schlechteren Leistungen (man muss sich vorbereiten). Der frühere Befund, dass irgendwann eine Sättigung durch die Vorbereitungsintensität entstanden ist, relativiert sich etwas. Das kann daran liegen, dass Personen mit sehr guten und guten Leistungen sich auch mehr vorbereiten, ein gewisser Druck entstanden ist, wirklich genug zu tun. Darauf deutet die Grafik hin, welche die selbständige Vorbereitungszeit abhängig vom Maturitätsdurchschnitt darstellt.

Was allerdings wie früher geblieben ist: Bei professionellen Trainingskursen gibt es diesen Zusammenhang zwischen Intensität und Leistung nicht.

Was sich auch wieder bestätigt, ist die Abhängigkeit der Vorbereitungsintensität vom Maturitätsdurchschnitt in dem Sinne, dass Leistungsbessere auch mehr tun (Abb. 4, Stunden Selbststudium für drei Klassen gebildet nach dem Maturitätsdurchschnitt). Dabei ergibt sich eine Konfundierung: Leistungsbessere = höhere Fähigkeiten = intensivere Vorbereitung und es ist dann die Frage, ob die besseren Testergebnisse dann an den Fähigkeiten oder der Vorbereitungsintensität liegen.

Wie wirksam sind die einzelnen Vorbereitungselemente?

Es konnte angekreuzt werden, welche Vorbereitungselemente man genutzt hat. Durcharbeiten der Test Info, Teilnahme an einem Probelauf, Durcharbeiten der Originalversionen zeigen signifikante Unterschiede im Kontrast beim Test-Prozentrang zwischen Personen (Abb. 5), die dies jeweils getan und nicht getan haben. Auch der Austausch zwischen Personen, die den Test bereits gemacht haben, zeigt Unterschiede. Erwartungsgemäss bringt die Wiederholung schulischen Wissens keinen signifikanten Unterschied. Vor allem die Teilnahme am Probelauf bringt einen deutlichen Effekt - deshalb ist es weiter sinnvoll, dass man an solchen Probeläufen teilnimmt, die von den meisten Schulen angeboten werden (die Schulen haben dazu eine Information vom ZTD erhalten, wie dies am besten durchzuführen ist^[8]).

Ist die empfohlene Vorbereitung einem professionellen "Training" gleichwertig?

Um hier die Konfundierungen durch mehrere Trainingselemente auszuschliessen, wurde eine "Idealgruppe" definiert, die sich genauso vorbereitet hat wie empfohlen:

• Test-Info durchgearbeitet
• An einem Probelauf teilgenommen
• Eine oder beide Originalversionen durchgearbeitet
• Keine Teilnahme an einem professionell organisierten Kurs
• Für das Selbststudium mindestens 20 Stunden aufgewendet.

Dieser "Idealgruppe" wurden nun drei Gruppen gegenübergestellt, die ein professionelles Training absolviert haben

• einmal nur die Angabe einer Teilnahme
• einmal mit mehr als 20 Stunden Teilnahme
• einmal mit mindestens 500 Franken Kosten.

Keine dieser drei Vergleiche (Abb. 6) zeigt Vorteile der professionellen Trainingsgruppe - im Gegenteil ist der erreichte mittlere Prozentrang der "Idealgruppe" höher.

Man könnte einwenden, dass es Unterschiede bei der Auswahl der Vorbereitungsmassnahmen gibt - etwa dass die Leistungsbesseren oder die Leistungsschlechteren jeweils professionelle Kurse präferieren. Dem ist nicht so, es besteht kein signifikanter Unterschied bezüglich des mittleren Maturitätsdurchschnittes^[9]: 4.89 für die "Idealgruppe" vs. 4.97 für die drei Auswahlen für professionelles Training.

Bringt exzessives Üben bei "Konzentriertes und sorgfältiges Arbeiten" etwas?

Bekanntlich wechseln Anforderung und Zeichen dieser Aufgabengruppe jedes Jahr. Seitdem dies so ist, entsprechen die Verteilungen einer Normalverteilung, sind keine linksschiefen Verteilungen mehr vorhanden. Die Übungsdurchgänge mit Material aus dem Vorjahr zeigen einen sehr geringen Einfluss. Abb. 7 zeigt, dass die Zahl der Übungsdurchgänge sehr stark mit den insgesamt aufgewendeten Stunden im Selbststudium in Beziehung steht (wobei wieder eine Konfundierung zwischen Motivation und Leistungsniveau vorhanden ist). Verglichen damit sind die mittleren Punktwertunterschiede von 3 Punkten sehr marginal.

Zusatzfragen

Es wurden drei Zusatzfragen gestellt:

• Der EMS war im Vergleich zu den Erwartungen (schwieriger - einfacher)
• Einschätzung des Vorbereitungsumfanges (zu wenig - zu viel)
• Einschätzung der Tagesform zu sonst (besser - schlechter)

Alle drei Fragen waren fünfstufig mit einer mittleren Stufe nach dem Zutreffensgrad zu beantworten. In der Abb. 8 sind die mittleren Stunden der drei Vorbereitungsarten, die mittlere Maturitätsnote und der mittlere Testprozentrang (je mit Standardabweichung und gültiger Personenzahl, für welche die verglichenen Merkmale vorliegen). Grau sind die Werte markiert, die auf einer zu kleinen Personenzahl beruhen. Der Vergleich mit den Erwartungen zeigt für die Stufen keine bedeutsamen Unterschiede bei den Maturitätsnoten und auch bei den Stunden in kommerziellen Trainings. Selbststudium und gemeinsame Vorbereitungsstunden unterscheiden sich deutlicher - ebenso der Test-Prozentrang. Letztlich belegt dies, dass vor allem die beiden letztgenannten Vorbereitungsarten das Gefühl der "Erwartungsentsprechung" beeinflussen. Wer sich als "viel zu wenig vorbereitet" einschätzt (was mit niedrigen Stunden bei selbständiger und gemeinsamer Vorbereitung in Beziehung steht), erreicht im Mittel wirklich niedrigere Test-Prozentränge. Die mittleren Stunden in professionellen Kursen sind wiederum bei der Selbsteinschätzung der Vorbereitung viel weniger unterschiedlich. Sprich: Ohne Selbststudium/gemeinsame Vorbereitung, aber mit im Mittel 26 Stunden professioneller Vorbereitung werden schlechtere Testergebnisse erzielt. Insgesamt hängt die Selbsteinschätzung der Vorbereitung vor allem von den Stunden im Selbststudium und der gemeinsamen Vorbereitung ab. Die Tagesform wiederum beeinflusst das Testergebnis, hängt aber viel weniger von den Vorbereitungsstunden ab.

"Inflation" der erzielten Leistungen?

Abb. 9: Verlauf der mittleren prozentual erreichbaren Punktwerte für die Testjahre - Zum Vergrössern klicken

Richtig ist, dass der notwendige zu erreichende Testwert für eine Zulassung über die Jahre angestiegen ist - weil die Nachfrage nach Studienplätzen, besonders in der Humanmedizin, deutlich stärker gewachsen ist als das ebenfalls gewachsene Studienplatzangebot. Dies liegt in der Funktion des Testergebnisses als Zulassungskriterium begründet: Es wird aus der Rangreihe die Personenzahl zugelassen, welche genau der Kapazität entspricht. Siehe dazu z.B. die statistischen Berichte.

Die Punktwertskalen für alle Teilnehmenden (Abb. 9) bleiben demgegeüber über die Jahre vergleichbar (um 60% werden richtig gelöst) und übrigens auch vergleichbar normalverteilt. Hier würde sich eine vermutete "Inflation" in einer Zunahme der prozentualen Lösungswahrscheinlichkeit oder Schiefe zeigen müssen, was nicht der Fall ist^[10]. Die Behauptung, dass man immer besser werden müsse, weil durch die professionellen Trainingsanbieter immer mehr Personen immer bessere Leistungen erreichen, kann daher klar in den Bereich der "Werbeaussagen" bzw. Legenden eingeordnet werden^[11]

Was bleibt

Es bleiben drei Dinge gültig:

• Man muss sich vorbereiten, sich mit den Aufgabentypen vertraut machen und darf während des Tests keine Zeit verlieren, die Instruktionen zu lesen oder die Anforderungen zu verstehen. Personen mit sehr geringer Vorbereitungszeit errechnen auch niedrigere Ergebnisse - haben den Test vielleicht nicht ernst genug genommen, sind nicht motiviert o.ä.
• Man kann durch selbständige Vorbereitung mit den öffentlich zugänglichen Vorbereitungsmaterialien (oder noch besser gemeinsame Vorbereitung in Gruppen) genauso erfolgreich sein, wie durch den Besuch kommerzieller Vorbereitungskurse. Natürlich ist ein solcher Kursbesuch auch motivierend, weil Impulse "von aussen" gesetzt werden. Einige Anbieter betonen genau diesen Aspekt der Gemeinsamkeit und der Vorgabe, was man bis wann tun sollte und bekämpfen so gemeinsam mit den Teilnehmern den "inneren Schweinehund". Dabei werden auch moderne Medien genutzt - und häufig sogar die "offiziellen" veröffentlichten Originalversionen. Dies ist auch nicht immer teuer. Dagegen ist nichts einzuwenden, solange man nicht NUR durch diese Kursbesuche einen Vorteil erzielen kann.
• Die empfohlene Vorbereitung kann ebenso effektiv sein wie der Besuch professioneller Trainingskurse.

Einzelnachweise und Fussnoten

1. ↑ Vorbereitungsreport 2005 * Vorbereitung auf den EMS – was und wie viel ist richtig?
2. ↑ Vorbereitungsreport 2004
3. ↑ Vorbereitungsreport 2003
4. ↑ Die Trainierbarkeit von Testleistungen im Zusammenhang mit einem Eignungstest für das Medizinstudium in der Schweiz Rainer Hofer & Klaus-Dieter Hänsgen S. 82 ff Bericht 3 des ZTD 1996
5. ↑ Solche objektiven "Felddaten" sind noch aussagefähiger als Fragebogendaten, wo wir letztendlich auf die Auskunftsbereitschaft der Personen angewiesen sind. Obwohl wir letztere auch als ausreichend einschätzen, sind die Befunde aus dem "Feld" dahr sehr wertvoll
6. ↑ * Relative Unterschiede: Ein Ansatz führte über eine Regressionsanalyse. Über die Punktwerte in den gewerteten Aufgaben kann abgeschätzt werden, welcher Punktwert in den 14 eliminierten Aufgaben aufgrund des Leistungsniveaus jedes Kandidaten erwartet werden durfte. 50 Personen, deren Punktwerte in den 14 Aufgaben diesen Erwartungswert am deutlichsten übertreffen, wurden in der Folge in die "wahrscheinliche Trainingsgruppe" eingeteilt - dort ist die höchste Wahrscheinlichkeit gegeben, dass diese Personen von der Bekanntheit der Aufgaben profitiert haben. Nicht alle dieser Personen müssen aber am Trainingskurs teilgenommen haben, der Unterschied kann zufällig bzw. messfehlerbedingt sein. Wenn es aber überhaupt diesen Profit gibt, der grösser als der Messfehler ist, müssen sich diese Personen in dieser Gruppe gehäuft finden. Andernfalls gäbe es überhaupt keinen Trainingseffekt. Die Zahl 50 wurde nach Versuchen mit weniger und auch mehr Personen gewählt, um einen optimalen Kontrast zu finden. Eine Erweiterung dieser Gruppe führt zu einer „Verdünnung“ des Anteils tatsächlich profitierender Personen und Nivellierung der Effekte, eine Reduktion schmälert die statistische Aussagefähigkeit. Diese Trainingsgruppe unterscheidet sich nicht von den übrigen Personen bezüglich der Gesamtleistung.
   • Absolute Unterschiede: Eine weitere „Extremgruppe 90/50“ wird aus 49 Personen gebildet, die in den 14 ungewerteten Aufgaben mindestens Prozentrang 90 erreicht haben (also zu den besten 10% in diesen Aufgaben gehören, das bedeutet mindestens 11 Aufgaben gelöst haben), sowie im Faktor „Schlussfolgerndes Denken“ bestehend aus den fünf Aufgabengruppen Mathematisch-naturwissenschaftliches Grundverständnis, über alle gewerteten Aufgaben maximal Prozentrang 50 erreicht haben (also zu den „schlechteren“ 50% in den gewerteten Aufgaben dieses Faktors gehören). Auch hier ist also die Diskrepanz zwischen gewerteten und ungewerteten Aufgaben am höchsten - es gilt die gleiche Einschränkung wie oben, dass die Unterschiede auch messfehlerbedingt sein können. Diese Extremgruppe hat bedingt durch die Auswahl durchschnittlich schlechtere Gesamtleistungen als die übrigen Personen.
7. ↑ Genauer formuliert: Es wären die Personen gewählt worden, welche die extremsten Differenzen in den 14 Aufgaben haben, was auch dort den Unterschied vergleichbar zeigen würde - dann nur messfehlerbedingt. Da der Erwartungswert des Messfehlers Null ist würde bei Annahme keiner weiteren systematischen Fehler bei den übrigen Aufgaben ebenfalls keine Differenz (bzw. eine schlechtere Leistung in der Extremgruppe) erwartet werden. Da unsere Ergebnisse diesem erwarteten Modell entsprechen, ist dies ein Beleg, dass bei den gewerteten Aufgaben keine Vorteile durch die Bekanntheit der nicht gewerteten erreicht worden sind.
8. ↑ Diese wurde über die Konferenz der Gymnasialrektoren verteilt und ist dort erhältlich.
9. ↑ Die Maturitätsdurchschnittsnote ist statistisch gesehen eine gute Schätzung für die Studieneignung, schneidet in entsprechenden Metaanalysen praktisch genauso gut ab wie das Ergebnis fachspezifischer Studierfähigkeistests. Das Problem der eingeschränkten Vergleichbarkeit der Ergebnisse im Einzelfall fällt bei statistischen Analysen weniger ins Gewicht.
10. ↑ Vergleiche auch die jährlichen Berichte des ZTD mit der Verteilung der Punktwerte
11. ↑ Die erreichten mittlerern Absolut-Puntwerte bzw. auch deren Umrechnung in Prozent möglicher Punkte wie in der Abbildung sind zwischen den Jahren nicht vergleichbar, weil die Summen der Schwierigkeiten der einzelnen Aufgaben variieren und es durchaus Jahre mit schwierigeren oder leichteren Aufgaben geben kann (was die Schwankungen erklärt). Erst die Standardisierung zum Testwert bzw. heute Test-Prozentrang stellt die Vergleichbarkeit zwischen Jahren her. Deshalb ist das Gleichbleiben des prozentualen Niveaus der erreichten mittleren Punktwerte ein starkes Indiz, dass sich nichts an der "Schwierigkeits-Fähigkeits-Balance" des Tests seit 1998 geändert hat.