Vorbereitungsreport: Unterschied zwischen den Versionen

Aus ZTDWIKI
Wechseln zu: Navigation, Suche
Zeile 1: Zeile 1:
 
{{EMSHeader}}{{Imenue}}
 
{{EMSHeader}}{{Imenue}}
{{Merke|'''Es gibt ein neues Schweizer Diskussions-Forum für alle Fragen um den EMS:'''
 
 
'''http://lernenmitfun.xobor.de/''' }}
 
 
 
<big>'''Facts und Fictions zu Vorbereitung und Training beim EMS'''</big>
 
<big>'''Facts und Fictions zu Vorbereitung und Training beim EMS'''</big>
  

Version vom 6. September 2019, 09:02 Uhr

ems-logo-wiki.png

Free.png Test-Vorbereitung EMS.. Free.png EMS-BLOG.. Free.png Presse & Dokumente..

Dieses WIKI wird nicht mehr aktualisiert. Neue Informationen werden auf die Website des ZTD übernommen.

Möglicherweise sind einige Informationen hier veraltet.

Facts und Fictions zu Vorbereitung und Training beim EMS

Vorbereitung ist richtig, wichtig und notwendig

Da die Zahl der Studienplätze trotz Ausbaus mit dem wachsenden Interesse an einem Medizinstudium nicht annähernd Schritt halten kann, wurden Fragen zur Vorbereitung auf den Eignungstest für das Medizinstudium (EMS) immer bedeutsamer: Was ist notwendig, was sinnvoll und was eher kontraproduktiv? Seit Beginn des EMS 1998 existieren auch Angebote kommerzieller Trainingsanbieter[1]. Wir sahen von Beginn des Testeinsatzes an die Gefahr eines "Geschäftes mit der Angst" und versuchen, Vorbereitungseinflüsse zu evaluieren sowie über Fakten und Fiktionen aufzuklären[2].

Eine Fehlinformation ist, dass der Test nur ohne Vorbereitung = Training[3] oder nur mit gleicher Vorbereitung für alle funktionieren würde. Ersteres wird schon durch die Existenz einer empfohlenen Vorbereitungsstrategie mit ihren Materialien widerlegt, die ebenfalls Aufwand bedeutet. Es müssen zweitens auch nicht alle Personen gleich vorbereitet sein - weil Vorbereitung auch ein Zeichen von Motivation und Anstrengungsbereitschaft ist und diese im Test wie später im Studium ausgleichend wirken können ("Begabung oder Fleiss"). Da es sich um keinen Wissenstest handelt, den man "pauken" kann, ist der Einfluss der Vorbereitung allerdings begrenzt[4]. Niemand hat auch etwas dagegen, wenn solche Kurse besucht werden (entsprechende "Feindbilder" sind auch nur konstruiert, um die Nachfrage anzuheben).

Drei Punkte wurden bisher betont und durch Ergebnisse bestätigt. Sie werden gern von Trainingsanbietern unkorrekt dargestellt:

  • Vorbereitung (Training) ist notwendig.
  • Man kann durch selbständige oder besser gemeinsame Vorbereitung ebenso erfolgreich sein wie durch Besuch professioneller Kurse. Man kann solche Kurse besuchen (niemand hat wirklich etwas dagegen), muss es aber nicht.
  • Viel hilft nicht immer viel. "Pauken" hilft nicht, weil es kein Wissenstest ist. Man kann ein den Fähigkeiten entsprechendes Niveau erreichen - nicht mehr und nicht weniger.

Ein Zugewinn an Leistung durch Vorbereitung kommt vor allem aus einer Vertrautheit mit den Aufgabentypen, keinem Zeitverlust beim Verstehen der Instruktionen und dem "Training" solcher formaler Informationsverarbeitungsstrategien wie Textanalyse und -verstehen, visueller Analysefähigkeiten, "Lerntechniken", Gedächtnis u.a. Dieses "Training" ist auch nicht nutzlos für das spätere Studium, wo solche formalen Fähigkeiten und Techniken notwendig sind. Wenn sich jemand z.B. für die Gedächtnisaufgaben mit Mnemotechniken beschäftigt, ist ein Nutzen über den Test hinaus anzunehmen - auch für den Studienerfolg.

Weil es aber keinen "endlichen" Wissenskatalog (wie z.B. bei einer Biologieprüfung) gibt, den man nur vollständig "pauken" muss, die einzelnen Aufgaben und die Anforderungen nur formale Gemeinsamkeiten haben und es praktisch unendlich viele Varianten gibt, stösst dieses "Training" irgendwann an eine Grenze: wenn die Schwierigkeit die individuelle Fähigkeit zur "eigentlichen" Lösung der Aufgabe übersteigt. Für die Studierfähigkeit gilt, was für intellektuelle Fähigkeiten insgesamt gilt: sie sind relativ stabile dispositionelle Persönlichkeitsmerkmale.

In früheren Jahren wurden diese Fragen ausführlich untersucht[5][6][7] und anhand der in Deutschland vorliegenden Ergebnisse auch auf dem Symposium vor Einführung des EMS erörtert[8]. Unvorbereitet oder mit wenig Vorbereitung sind die Leistungen schlechter. In keiner Untersuchung wurde bisher aber eine Unterlegenheit der selbständigen Vorbereitung anhand des offiziellen Materials gegenüber professionellen Kursbesuchen nachgewiesen - die gemeinsame (nichtkommerzielle) Vorbereitung schnitt bisher immer am besten ab.

Es gibt mittlerweile auch eine Menge seriöser Anbieter, die vor allem Probeläufe und eine Hilfe bei der Vorbereitung anhand des offiziellen Materials anbieten und dies auch zu fairen finanzielle Bedingungen. Nicht immer ist die "Eigenmotivation" hoch genug, sich ausreichend vorzubereiten und professionelle Hilfe kann dabei sinnvoll sein.

Die Auswertung 2014 liefert auch Rückschlüsse auf die Effizienz der Vorbereitung

  • Für vorher bekannte Aufgaben gelingt kein Nachweis, dass eine (ggf. kleine) Personengruppe nennenswert profitiert hätte.
  • Personen, die noch am wahrscheinlichsten die Aufgaben kannten, weisen keine Vorteile bei der Lösung voher unbekannter Aufgaben auf. Mit oder ohne Kursbesuch kann man vergleichbare Leistungen erreichen.
  • Hätte es keinen physikalischen Beweis für vorherige Aufgabenbekanntheit gegeben, sondern nur einen Verdacht, würden die Daten allein diesen nicht bestätigen.
Abb. 0: Vergleich Häufigkeitsverteilung 14 bekannte (nicht gewertet) und nicht bekannte Aufgaben der drei betroffenen Aufgabengruppen - Zum Vergrössern klicken
Abb.1: Vergleich der mittleren Aufgabenschwierigkeiten unbekannter (gewerteter) und unbekannter (nicht gewerteter) Aufgaben für Gruppen aufgrund Regression und Prozenträngen: Nur Unterschiede bei nicht gewerteten Aufgaben - Zum Vergrössern klicken

14 Aufgaben aus drei Aufgabengruppen waren einer unbekannten Personenzahl eines Trainingsanbieters vorab bekannt[9] - andere Aufgaben nicht. Dadurch ergibt sich die Möglichkeit, die Wirksamkeit dieses Kurses modellhaft "im Feld" zu überprüfen[10]. Die Wirksamkeit des "Trainings" sollte sich auf zwei Ebenen zeigen:

  1. Die 14 vorher bekannten Aufgaben müssten für diese Personengruppe leichter lösbar gewesen sein - es müsste entweder eine Häufung von Personen mit "vollen Punktzahlen" dafür geben und/oder die Verteilung von der sonst üblichen Normalverteilung abweichen, falls die Unterschiede eher quantitativ sind. Häufungen bei hohen Punktzahlen (bis zu Mehrgipfligkeiten) sprächen für qualitative Unterschiede. Ist der Unterschied eher quantitativ (z.B. nur geringere relative Verbesserungen bei diesen Personen), müsste sich dies als Schiefe zeigen, weil diese Teilgruppe bessere Werte als erwartet erreicht[11]
  2. Indem über die 14 Aufgaben Personen identifiziert werden können, die noch am wahrscheinlichsten an einem solchen Kurs teilgenomen haben[12] , kann man prüfen, ob diese Personen auch bei den vorher nicht bekannten Aufgaben bessere Leistungen erzielen als die anderen. Gibt es also eine exklusive allgemeine Leistungsverbesserung nur durch diese Trainingskurse?

Die Auswertung der Testdaten des EMS zeigt folgende Ergebnisse zur ersten Frage[13]:

  • Das Maximum von 14 Punkten in den 14 vorher bekannten Aufgaben (sehr gute Personen oder Personen, die optimal von Vorwissen profitierten) erreichen nur 33 Personen. Dies sind 1% der Gesamtgruppe – was die Erwartung auch unter normalen Umständen wäre. Fasst man 13 und 14 Punkte zusammen, sind es 109 Personen, was ebenfalls in der Erwartung liegt. Gäbe es eine nennenswerte Gruppe von Personen, die (fast) alle Aufgaben aufgrund der vorherigen Bekanntheit gelöst hat, müssten hier mehr Personen vertreten sein. Abbildung 0 zeigt, dass sowohl in den gewerteten (unbekannten), als auch in den ungewerteten (möglicherweise bekannten) Aufgaben die Punkteverteilung nahezu ideal einer symmetrischen Glockenverteilung folgt und auch keine Schiefe als Zeichen quantitativer Unterschiede vorhanden ist (Schiefe .00 für gewertete, .08 für ungewertete Aufgaben, Kurtosis bzw. Wölbung: -.50 und -.54). Entweder haben sehr wenige Personen dieses Material tatsächlich gesehen, oder diese haben sich die richtigen Lösungen der vorher bekannten Aufgaben nicht merken können.

Eine genaue Identifikation jener Personen, die von der Bekanntheit der Aufgaben profitiert haben können, ist nicht realistisch, da Unterschiede ebenso messfehlerbedingt sein können. Für die Anwendung statistischer Prüfmethoden zur Beantwortung der zweiten Frage sollen stattdessen Personengruppen mit der höchsten Wahrscheinlichkeit eines Profitierens von der Aufgabenbekanntheit herausgefiltert und verglichen werden:

  • Relative Unterschiede: Ein Weg führte über eine Regressionsanalyse. Über die Punktwerte in allen gewerteten Aufgaben des Faktors „Schlussfolgerndes Denken“ kann abgeschätzt werden, welcher Punktwert in den 14 eliminierten Aufgaben aufgrund des individuellen Leistungsniveaus jedes Kandidaten erwartet wird. 50 Personen[14], deren Punktsummen diesen Erwartungswert am deutlichsten übertrafen, wurden in die „Trainingsgruppe“ eingeteilt – dort ist die höchste Wahrscheinlichkeit gegeben, dass diese Personen von der Bekanntheit der Aufgaben profitiert haben. Nicht alle diese Personen müssen am Trainingskurs teilgenommen haben, der Unterschied kann auch zufällig bzw. messfehlerbedingt sein. Wenn es aber überhaupt einen systematischen Effekt eines Profitierens gibt, der grösser als der Messfehler ist, müssen sich die „trainierten“ Personen in dieser Gruppe gehäuft finden. Andernfalls hätte die Bekanntheit zu überhaupt keinen relevanten Vorteilen geführt. Diese Trainingsgruppe unterscheidet sich nicht von den übrigen Personen bezüglich der mittleren Gesamtleistung (113.2 Vergleichsgruppe, 113.5 Trainingsgruppe als mittlerer Punktwert) – die Differenz zwischen gewerteten und ungewerteten Aufgaben kann auf allen Leistungsstufen auftreten.
  • Absolute Unterschiede: Eine zweite „Extremgruppe 90/50“ wird aus 49 Personen gebildet, die in den 14 ungewerteten Aufgaben mindestens einen Prozentrang von 90 erreicht haben (zu den besten 10% in diesen Aufgaben gehören, mindestens 11 Aufgaben gelöst haben), sowie im Faktor „Schlussfolgerndes Denken“ über alle gewerteten Aufgaben maximal den Prozentrang 50 erreicht haben (zu den „schlechteren“ 50% in den gewerteten Aufgaben dieses Faktors gehören). Auch hier ist die Diskrepanz zwischen gewerteten und ungewerteten Aufgaben am höchsten – es gilt die glei-che Einschränkung wie oben, dass die Unterschiede auch messfehlerbedingt sein können. Diese Extremgruppe hat bedingt durch die Auswahl durchschnittlich schlechtere Gesamtleistungen als die übrigen Personen – die Leistung in den ungewerteten Aufgaben ist „absolut“ besser.

Vergleicht man die mittleren Lösungswahrscheinlichkeiten für gewertete und ungewertete Aufgaben innerhalb der drei betroffenen Aufgabengruppen, wird deutlich (Abbildung 1): Die durchschnittlichen Lösungswahrscheinlichkeiten beider Personengruppen mit dem wahrscheinlichsten Vorwissen bewegen sich in allen drei Untertests für die bekannten Aufgaben zwischen 0.8 und 0.9 (was durch die Art der Gruppenbildung trivial ist).

Bedeutsamer ist, dass diese Personengruppen bei den unbekannten Aufgaben aller drei betroffenen Aufgabengruppen jeweils gleiche oder etwas geringere mittlere Punktwerte aufweisen als die Vergleichsgruppe. Das Ausmass dieser Unterschiede entspricht im Niveau genau den Differenzen in beiden nicht betroffenen Aufgabengruppen (wo alle Aufgaben vorher unbekannt waren) des gleichen Faktors „Schlussfolgerndes Denken“. Das Ergebnis entspricht der Erwartung, wenn man 14 beliebige Aufgaben aus einer vorher unbekannten Testversion herausgreift und messfehlerbedingte Unterschiede für diese "anreichert"[15].

Ein genereller Vorteil durch das Training bei anderen Aufgaben lässt sich nicht belegen, wenn die Gruppe mit der wahrscheinlichsten Trainingsteilnahme keine Vorteile bei allen übrigen Aufgaben hatte - selbst wenn Zeitvorteile bestanden haben können[16]. Die These, dass professionelles Training effektiver ist als eine andere Vorbereitung lässt sich durch diese Ergebnisse nicht stützen.

Update 2015: Wir haben mittlerweile ca. 7.5 kg Trainingsmaterial von ehemaligen Teilnehmern erworben und analysiert. Eine Erkärung, warum "Vorkenntnisse" von Aufgaben derart wirkungslos bleiben, kann allein die Masse dieser Aufgaben sein. Niemand weiss ja während des Trainings, welche der Aufgaben wirklich im Test verwendet werden. So bleibt zwar das Gefühl, "Die Aufgabe kenne ich doch", eine Erinnerung an die Lösung scheint aber weniger gut bis gar nicht zu gelingen. Deshalb profitierten auch die Guppen, die die Aufgaben am wahrscheinlichsten kannten, nicht wirklich. Dazu kommt, dass zahlreiche Aufgaben auch fehlerhaft sind und so gar nicht lösbar sind. Der Ausschluss vorher bekannter Aufgaben bleibt formaljuristisch dennoch die beste Entscheidung.

Ergebnisse der Befragung 2014

Abb. 2: Stunden Vorbereitung 2014 - Zum Vergrössern klicken
Abb. 3: Stunden Vorbereitung 2014 und Einfluss auf das Testergebnis - Zum Vergrössern klicken
Abb. 4: Stunden Vorbereitung Selbststudium abhängig vom Maturitätsdurchschnitt - Zum Vergrössern klicken
Abb. 5: Wirkung einiger Vorbereitungselemente auf das Testergebnis 2014 - Zum Vergrössern klicken
Abb. 6: "Ideale" selbständige Vorbereitung versus professionelles Training - Zum Vergrössern klicken
Abb. 7: Geringere Trainierbarkeit des Konzentrationstests - Zum Vergrössern klicken
Abb. 8: Zusatzfragen - Zum Vergrössern klicken

Auch 2014 erfolgte am Ende des Eignungstests eine Befragung. Die Teilnahme ist wie in jedem Jahr freiwillig, dennoch haben 3106 von 3173 Personen teilgenommen und den Fragebogen personalisiert abgegeben. Die Repräsentativität ist gegeben.

Wie viele Stunden bereitet man sich vor?

Abb. 2 zeigt, wie viele Stunden in den drei Kategorien

  • selbständige Vorbereitung/Selbststudium,
  • gemeinsame Vorbereitung (aber nicht in kommerziellen Kursen) sowie
  • professionelle Vorbereitungskurse

angegeben worden sind. Bei der Teilnahme an professionellen Kursen ist zu beachten, dass 160 Personen die sich lediglich bis zu 10 Stunden vorbereitet haben eingerechnet sind. Wahrscheinlich werden auch Teilnahmen an Probeläufen hier mit gerechnet, die gegen Bezahlung erfolgte. Wie bereits früher ist festzustellen, dass Personen, die an kommerziellen Kursen teilgenommen haben, zusätzliches Selbststudium angeben und z.B. die Test Info durchgearbeitet haben. Insgesamt ist die Vorbereitung intensiver geworden und man nutzt mehr Möglichkeiten.

Es zeigt sich auch, dass vor allem die Zeit der selbständigen Vorbereitung und auch der Vorbereitung in Gruppen den deutlichsten Anstieg beim Testergebnis zeigen (Abb. 3). Geringe Vorbereitungszeiten hier korrespondieren mit schlechteren Leistungen (man muss sich vorbereiten). Der frühere Befund, dass irgendwann eine Sättigung durch die Vorbereitungsintensität entstanden ist, relativiert sich etwas. Das kann daran liegen, dass Personen mit sehr guten und guten Leistungen sich auch mehr vorbereiten, ein gewisser Druck entstanden ist, wirklich genug zu tun. Darauf deutet die Grafik hin, welche die selbständige Vorbereitungszeit abhängig vom Maturitätsdurchschnitt darstellt.

Was allerdings wie früher geblieben ist: Bei professionellen Trainingskursen gibt es diesen Zusammenhang zwischen Intensität und Leistung nicht.

Was sich auch wieder bestätigt, ist die Abhängigkeit der Vorbereitungsintensität vom Maturitätsdurchschnitt in dem Sinne, dass Leistungsbessere auch mehr tun (Abb. 4, Stunden Selbststudium für drei Klassen gebildet nach dem Maturitätsdurchschnitt). Dabei ergibt sich eine Konfundierung: Leistungsbessere = höhere Fähigkeiten = intensivere Vorbereitung und es ist dann die Frage, ob die besseren Testergebnisse dann an den Fähigkeiten oder der Vorbereitungsintensität liegen.

Wie wirksam sind die einzelnen Vorbereitungselemente?

Es konnte angekreuzt werden, welche Vorbereitungselemente man genutzt hat. Durcharbeiten der Test Info, Teilnahme an einem Probelauf, Durcharbeiten der Originalversionen zeigen signifikante Unterschiede im Kontrast beim Test-Prozentrang zwischen Personen (Abb. 5), die dies jeweils getan und nicht getan haben. Auch der Austausch zwischen Personen, die den Test bereits gemacht haben, zeigt Unterschiede. Erwartungsgemäss bringt die Wiederholung schulischen Wissens keinen signifikanten Unterschied. Vor allem die Teilnahme am Probelauf bringt einen deutlichen Effekt - deshalb ist es weiter sinnvoll, daran teilzunehmen. Derartige Probeläufe werden von den meisten Gymnasien angeboten (die Schulen haben dazu Informationen vom ZTD zur Organisation und Durchführung erhalten[17]).

Ist die empfohlene Vorbereitung einem professionellen "Training" gleichwertig?

Um hier die Konfundierungen durch mehrere Trainingselemente auszuschliessen, wurde eine "Idealgruppe" definiert, die sich entsprechend der Empfehlung vorbereitet hat:

  • Test-Info durchgearbeitet
  • An einem Probelauf teilgenommen
  • Eine oder beide Originalversionen durchgearbeitet
  • Keine Teilnahme an einem professionell organisierten Kurs
  • Für das Selbststudium mindestens 20 Stunden aufgewendet.

Dieser "Idealgruppe" wurden nun drei Gruppen gegenübergestellt, die ein professionelles Training absolviert haben

  • einmal nur die Angabe einer Teilnahme an einem professionellen Kurs (ja - nein)
  • einmal mit mehr als 20 Stunden Teilnahme in professionellen Kursen
  • einmal mit mindestens 500 Franken Kosten

Keine dieser drei Vergleiche (Abb. 6) zeigt Vorteile der professionell vorbereiteten Trainingsgruppe - immer ist der erreichte mittlere Prozentrang der "Idealgruppe" höher. Angaben für die Auswahl zur Trainingsgruppe wurden dabei gegenüber den Angaben zur Auswahl der "Idealgruppe" in den drei Vergleichen vorgezogen, was die geringen Unterschiede in den Stichprobenumfängen der Idealgruppe erklärt[18]. Man könnte einwenden, dass es Unterschiede bei der Auswahl der Vorbereitungsmassnahmen gibt - etwa dass die Leistungsbesseren oder die Leistungsschlechteren jeweils professionelle Kurse präferieren. Dem ist nicht so, es besteht kein signifikanter Unterschied bezüglich des mittleren Maturitätsdurchschnittes[19]: 4.89 für die "Idealgruppen" vs. 4.97 für die drei Auswahlen für professionelles Training.

Bringt exzessives Üben bei "Konzentriertes und sorgfältiges Arbeiten" etwas?

Bekanntlich wechseln Anforderung und Zeichen dieser Aufgabengruppe jedes Jahr. Seitdem dies so ist, entsprechen die Verteilungen einer Normalverteilung, sind keine linksschiefen Verteilungen mehr vorhanden. Die Übungsdurchgänge mit Material aus dem Vorjahr zeigen einen sehr geringen Einfluss. Abb. 7 zeigt, dass die Zahl der Übungsdurchgänge sehr stark mit den insgesamt aufgewendeten Stunden im Selbststudium in Beziehung steht (wobei wieder eine Konfundierung zwischen Motivation und Leistungsniveau vorhanden ist). Verglichen damit sind die mittleren Punktwertunterschiede von 3 Punkten sehr marginal.

Zusatzfragen

Es wurden drei Zusatzfragen gestellt:

  • Der EMS war im Vergleich zu den Erwartungen (schwieriger - einfacher)
  • Einschätzung des Vorbereitungsumfanges (zu wenig - zu viel)
  • Einschätzung der Tagesform zu sonst (besser - schlechter)

Alle drei Fragen waren fünfstufig mit einer mittleren Stufe nach dem Zutreffensgrad zu beantworten. In der Abb. 8 sind die mittleren Stunden der drei Vorbereitungsarten, die mittlere Maturitätsnote und der mittlere Testprozentrang (je mit Standardabweichung und gültiger Personenzahl, für welche die verglichenen Merkmale vorliegen). Grau sind die Werte markiert, die auf einer zu kleinen Personenzahl beruhen. Der Vergleich mit den Erwartungen zeigt für die Stufen keine bedeutsamen Unterschiede bei den Maturitätsnoten und auch bei den Stunden in kommerziellen Trainings. Selbststudium und gemeinsame Vorbereitungsstunden unterscheiden sich deutlicher - ebenso der Test-Prozentrang. Letztlich belegt dies, dass vor allem die beiden letztgenannten Vorbereitungsarten das Gefühl der "Erwartungsentsprechung" beeinflussen. Wer sich als "viel zu wenig vorbereitet" einschätzt (was mit niedrigen Stunden bei selbständiger und gemeinsamer Vorbereitung in Beziehung steht), erreicht im Mittel wirklich niedrigere Test-Prozentränge. Die mittleren Stunden in professionellen Kursen sind wiederum bei der Selbsteinschätzung der Vorbereitung viel weniger unterschiedlich. Sprich: Ohne Selbststudium/gemeinsame Vorbereitung, aber mit im Mittel 26 Stunden professioneller Vorbereitung werden schlechtere Testergebnisse erzielt. Insgesamt hängt die Selbsteinschätzung der Vorbereitung vor allem von den Stunden im Selbststudium und der gemeinsamen Vorbereitung ab. Die Tagesform wiederum beeinflusst das Testergebnis, hängt aber viel weniger von den Vorbereitungsstunden ab.

"Inflation" der erzielten Leistungen?

Abb. 9: Verlauf der mittleren prozentual erreichbaren Punktwerte für die Testjahre - Zum Vergrössern klicken

Richtig ist, dass der notwendige zu erreichende Testwert für eine Zulassung über die Jahre angestiegen ist - weil die Nachfrage nach Studienplätzen, besonders in der Humanmedizin, deutlich stärker gewachsen ist als das ebenfalls gewachsene Studienplatzangebot. Dies liegt in der Funktion des Testergebnisses als Zulassungskriterium begründet: Es wird aus der Rangreihe die Personenzahl zugelassen, welche genau der Kapazität entspricht. Siehe dazu z.B. die statistischen Berichte.

Die Punktwertskalen für alle Teilnehmenden (Abb. 9) bleiben demgegeüber über die Jahre vergleichbar (um 60% werden richtig gelöst) und übrigens auch vergleichbar normalverteilt. Hier würde sich eine vermutete "Inflation" in einer Zunahme der prozentualen Lösungswahrscheinlichkeit oder Schiefe zeigen müssen, was nicht der Fall ist[20]. Die Behauptung, dass man immer besser werden müsse, weil durch die professionellen Trainingsanbieter immer mehr Personen immer bessere Leistungen erreichen, kann daher klar in den Bereich der Legenden eingeordnet werden[21].

Dass das "Plateau" seit 2008 zumindest im Trend etwas höher ist, würde als Folge der allgemeinen Zunahme der Vorbereitungsintensität aufgrund der Verschärfung des NC erklärlich sein. Im ersten Jahr 1998 wurde die Vorbereitung ernst genommen, in den folgenden Jahren lag bekanntlich die Zulassungsquote (Humanmedizin) sehr hoch - 2002 noch bei 94%, bis 2007 bei rund der Hälfte und 2012 bisher am niedrigsten bei 32%. Wir haben in der Zeit eine Zunahme der Vorbereitungsstunden und der Quote der Personen, die einen Probelauf absolviert haben, beobachtet. Man sieht an den minimalen Ausschlägen, dass Vorbereitung notwendig ist, der Einfluss insgesamt aber geringer ist als manchmal vermutet. Geringfügige Schwankungen der "absoluten" Schwierigkeiten der einzenen Versionen muss man ebenso noch berücksichtigen,sie könnten eine weitere Ursache sein.

Dass in der Schweiz das Niveau bei 60% liegt, ist ebenfalls eine Bemerkung wert: In Deutschland wurden die Tests so kalibriert, dass 50% im Mittel erreicht werden sollen. Die Schweizer Ergebnisse sind, wie wir in unseren Berichten bei konkreten Aufgabenvergleichen schon nachweisen konnten, immer und auf konstantem Niveau etwas besser gewesen - so auch in dieser Gesamtanalyse[22].

Was bleibt

  • Man muss sich vorbereiten, sich mit den Aufgabentypen vertraut machen.
  • Man kann durch selbständige Vorbereitung mit den öffentlich zugänglichen Vorbereitungsmaterialien (oder noch besser durch gemeinsame Vorbereitung in Gruppen) genauso erfolgreich sein, wie durch den Besuch kommerzieller Vorbereitungskurse.
  • Die durchschnittliche Vorbereitungszeit ist angestiegen - Leistungsbeste nach den Maturitätsnoten bereiten sich auch intensiver vor, beides kann aufgrund dieser Daten nicht weiter differenziert werden. Für das Selbststudium und etwas weniger deutlich die gemeinsame Vorbereitung lässt sich ein deutlicher Zusammenhang Zeit zum Testergebnis nachweisen. Nur bei Professionellen Kursen scheint "viel hilft viel" nicht zu gelten.

Heute existieren in allen drei Sprachen zwei vollständige Originalversionen, dazu eine vollständige Version "Planen und Organisieren" sowie die Test Info mit weiteren Aufgaben. Wenn dies aufmerksam (!) durchgearbeitet und eine Originalversion unter ernstfallnahen Bedingungen bearbeitet wird, man diese Vorbereitung möglichst gemeinsam mit anderen macht (um die Dinge vertiefend zu diskutieren), sollte man das optimale Level im EMS erreichen.

"Training" am Computer

Einzelne Anbieter sind auch dazu übergegangen, Aufgaben am Computer (bis hin zum Smartphone) anzubieten. Natürlich kann man das tun. Wir würden aber folgendes zu bedenken geben:

  • Der Originaltest wird auf Papier durchgeführt[23], wo man z.B. Notizen und Hervorhebungen bei komplexen Aufgaben (z.B. Textverständnis) machen kann und die gesamte Aufgabe ohne "Scrollen" auf einmal sichtbar ist. Bei einigen Aufgaben müssen Sie die Fragen und darauf bezogene Textteile z.B. gleichzeitig sehen können.
  • Informationsaufnahme am Bildschirm und die notwendigen Arbeitstechniken sind daher definitiv etwas anders und erfordern z.B. mehr Aufmerksamkeit, verführen stärker zur Oberflächlichkeit und zum "diagonalen Lesen". Nach unserer Marktkenntnis ist die ergonomische Qualität der Präsentation vorsichtig gesagt sehr vielfältig.
  • Deshalb empfehlen wir, zumindest den Probelauf auf Papier durchzuführen, um das richtige "Mediengefühl" bei der Testbearbeitung mit all seinen Möglichkeiten zu erhalten und den eigenen Arbeitsstil in diese Richtung zu schulen und zu optimieren.

Echo

Das Schweizer Konsumenteninfoportal K-Tipp hat über diese Studie berichtet und weitere Tipps gegeben. --KDH 13:41, 4. Mai 2015 (CEST)

Einzelnachweise und Fussnoten

Klick auf Pfeil vor dem Fussnotentext: Sprung zur entsprechenden Stelle im Haupttext

  1. Diese haben wir mit dem deutschen TMS (als Grundlage des EMS), der in Deutschland von 1977 bis 1985 vorbereitet wurde und von 1986 bis 1996 zum Einsatz kam, quasi mit übernommen. Diese hatten also bereits einschlägige Vorerfahrungen bei Training und Marketing, und nach der vorläufigen Beendigung des TMS im Jahr 1996 die Hoffnung, im Schweizer Markt ihre Konzepte weiter verwenden zu können.
  2. Dabei sind wir uns auch der Tatsache bewusst, dass dies nicht begrenzt wirksam ist. Subjektive Entscheidungen in Situationen, wo am liebsten jeder "Strohhalm" ergriffen wird, weil ja etwas daran sein könnte, werden selten nur rational getroffen. Eine objektive Betrachtung sollte sich dennoch von Fakten und Zahlen leiten lassen.
  3. Wir setzen heute die Begriffe Vorbereitung und Training gleich. Unter "Training" wurde früher manchmal verstanden, dass jede Person jedes Leistungsniveau erreichen kann (so wie die frühere Debatte, dass bei genug Übung jeder ein guter Geiger werden kann) - also das zulassungsrelevante Niveau erreiicht. Deshalb wollten wir diesen Begriff nicht verwendeten. Diese Differenzierung konnte sich aber nicht durchsetzen und führte eher zu Missverständnissen.
  4. Die Auswahl des EMS als Zulassungskriterium erfolgte auch, um keine zweite Maturitätsprüfung zu schaffen und dadurch die Matur abzuwerten. Man hatte sich da an einer in Deutschland existierenden und mittlerweile abgeschafften gesetzlichen Regelung orientiert, die für den TMS galt. Es gab aber nirgends die Forderung, dass eine spezifische Vorbereitung wirkungslos sein müsse - weil sich darin Motivation und Anstrengungsbereitschaft zeigen.
  5. Vorbereitungsreport 2005 * Vorbereitung auf den EMS – was und wie viel ist richtig?
  6. Vorbereitungsreport 2004
  7. Vorbereitungsreport 2003
  8. Die Trainierbarkeit von Testleistungen im Zusammenhang mit einem Eignungstest für das Medizinstudium in der Schweiz Rainer Hofer & Klaus-Dieter Hänsgen S. 82 ff Bericht 3 des ZTD 1996
  9. Die Details dazu werden mit dem Bericht 21 noch etwas genauer dargestellt
  10. Solche objektiven "Felddaten" sind noch aussagefähiger als Fragebogendaten, wo wir auf die Auskunftsbereitschaft der Personen angewiesen sind. Obwohl wir letztere auch als ausreichend einschätzen, sind die Befunde aus dem "Feld" sehr wertvoll. Der Kursanbieter ist repräsentativ für andere Anbieter. Es kann aufgrund der Umstände davon ausgegangen werden, dass diese Aufgaben exklusiv nur in diesen Kursen geübt worden sind und vor einer Weiterverbreitung geschützt worden sind. Spekulative Zahlen der Teilnahme sind mehrere Hundert bzw. relatistischer um 150 (aus dem anonymen Brief)
  11. Die Schätzung der Personenzahl, die profitiert haben kann, bewegte sich zwischen 150 und 700, letzteres als Eigenauskunft der Anbieter gegenüber der Presse. Sie sollte in jedem Falle also nennenswert gewesen sein
  12. Indem man die Leistungsunterschiede in den 14 Aufgaben gegenüber den vergleichbaren anderen aggregiert (addiert), sollten sich diese Unterschiede maximieren. Sprich: Unter den Personen, die in den 14 Aufgaben besser sind als in den anderen, müssen sich die "Profitierenden" befinden - andernfalls wäre das vorherige Bekanntsein gänzlich wirkungslos
  13. Hier handelt es sich um den zentralen Befund dazu, im Zusatzbericht zur Auswertung 2014 werden weitere Ergebnisse dargestellt, welche dies bestätigen
  14. Die Zahl 50 wurde nach Versuchen mit weniger und auch mehr Personen gewählt, um einen optimalen Kontrast zu finden. Eine Erweiterung dieser Gruppe führt zu einer „Verdünnung“ des Anteils tatsächlich profitierender Personen und Nivellierung der Effekte, eine Reduktion schmälert die statistische Aussagefähigkeit
  15. ... und davon ausgeht, dass die Mesfehler nicht systematisch sind, d.h. zwischen den Aufgaben voneinander unabhängig sind
  16. Die Befragung unten zeigt, dass weniger als 1/3 der Personen angeben, professionelle Trainingskurse bei allen Anbietern besucht zu haben. Darunter sind noch 160 Personem, die unter 10 Stunden angeben - vermutlich nur an einem bezahlten Probelauf teilgenommen haben. Insofern ist auch die Gruppe ohne Kursteilnahmen ausreichend gross für Vergleiche
  17. Diese wurde über die Konferenz der Gymnasialrektoren verteilt und sind dort erhältlich.
  18. 5 Personen haben die Teilnahme verneint, aber mehr als 20 Stunden Teilnahme an professionellen Kursen angegeben, 7 Personen haben die Teilnahme verneint, aber mehr als 500 Franken Kosten angegeben. Wegen der geringen Zahl wurde keine Bereinigung durchgeführt
  19. Die Maturitätsdurchschnittsnote ist statistisch gesehen eine gute Schätzung für die Studieneignung, schneidet in entsprechenden Metaanalysen praktisch genauso gut ab wie das Ergebnis fachspezifischer Studierfähigkeistests. Das Problem der eingeschränkten Vergleichbarkeit der Ergebnisse im Einzelfall fällt bei statistischen Analysen weniger ins Gewicht.
  20. Vergleiche auch die jährlichen Berichte des ZTD mit der Verteilung der Punktwerte
  21. Die erreichten mittleren Absolut-Punktwerte bzw. auch deren Umrechnung in Prozent möglicher Punkte wie in der Abbildung dargestellt sind zwischen den Jahren nicht vergleichbar, weil die Summen der Schwierigkeiten der einzelnen Aufgaben variieren und es durchaus Jahre mit schwierigeren oder leichteren Aufgaben geben kann (was die Schwankungen erklärt). Erst die Standardisierung zum Testwert bzw. heute Test-Prozentrang stellt die Vergleichbarkeit zwischen Jahren her. Deshalb ist das Gleichbleiben des prozentualen Niveaus der erreichten mittleren Punktwerte ein starkes Indiz, dass sich nichts an der "Schwierigkeits-Fähigkeits-Balance" des Tests seit 1998 geändert hat.
  22. Da der der EMS in seiner Aufgabenauswahl hinsichtlich Schwierigkeit und Trennschärfe bei der Aufgabenerprobung und Versionszusammenstellung langzeitlich sehr stabile Kennwerte aufweist, ist eine "Gegensteuerung" gegen eine mögliche Inflation durch Erschwerung der Aufgaben weder erfolgt noch notwendig.
  23. Eine Durchführung am PC erfordert ein anderes Testkonzept, da nicht 3000 Personen zur gleichen Zeit in entsprechend zertifizierten Zentren zuverlässig den Test am PC absolvieren können. Bei solchen Tests erhalten die Personen unterschiedliche Aufgaben und können zu unterschiedlichen Zeitpunkten zum Test in speziellen Testzentren antreten. Jede einzelne Aufgabe muss unabhängig vom Durchführungskontext quasi für alle Personen immer gleich schwer sein (was ohnehin im Fach umstritten ist, ob dies überhaupt möglich ist). Dies erfordert einen deutlich grösseren Aufgabenpool, sehr anspruchsvolle Überprüfungen und wäre daher sehr viel teurer als eine Gruppentestung auf Papier.