Special2014ems: Unterschied zwischen den Versionen

Version vom 5. September 2014, 08:53 Uhr

Die Entscheidung, 14 Aufgaben beim Eignungstest für das Medizinstudium in der Schweiz (EMS) 2014^{[1] [2]} nicht zu werten, wurde den Kandidatinnen und Kandidaten bereits in einem Schreiben mit der Übersendung der Zulassungsbescheide kurz begründet, auch die Presserklärung ging auf die wichtigsten Fragen ein.

Wir sind uns der Tatsache bewusst, dass es um eine wichtige Entscheidung für über 3300 Personen in der Schweiz geht und diese verantwortungsvoll als Abwägung aller Umstände getroffen werden musste. Es ist verständlich, dass es einige weitere Fragen und Sorgen gab, die den Fragestellern individuell beantwortet worden sind. Die folgende Dokumentation fasst die wichtigsten Fragen und Antworten aus diesen Diskussionen noch einmal für ein breiteres Publikum zusammen, um die Hintergründe transparent zu machen.

Wir hätten uns eine reguläre Testabnahme gewünscht - unsere Aufgabe ist es aber auch, bei Vorkommnissen aller Art sorgfältig zu prüfen, ob durch Korrekturmassnahmen eine gültige Testabnahme gewährleistet werden kann. Die Nichtwertung der vorher bekannten Aufgaben war tatsächlich notwendig, weitere mögliche Benachteiligungen wurden empirisch geprüft und aufgrund der psychologischen Theorie erörtert und können zumindest so weit ausgeschlossen werden, dass sie die Gleichbehandlung signifikant beeinträchtigt hätten.

Was ist eigentlich geschehen?

• Es wurde uns anonym ein komplettes Trainingsmaterial eines einzelnen Anbieters übersendet. Dies wurde dort intern verwendet. Die Kandidatinnen und Kandidaten wurden laut Brief auch darüber aufgeklärt, dass es sich um illegal beschafftes Originalmaterial handelt und strenges Stillschweigen darüber zu bewahren sei. Trotz dieser Anonymität wollten und mussten wir reagieren, weil damit zweifelsfrei bewiesen war, dass einige Aufgaben vor der Durchführung des EMS 2014 bekannt waren - ohne die genaue Zahl der betreffenden Personen zu kennen.
• Alle im Trainingsmaterial aufgetauchten Originalaufgaben entsprechen einer in Deutschland verwendeten Version aus dem Jahr 1996 (dies war letztes Durchführungsjahr des alten TMS in Deutschland), die aber in dieser Form nie in der Schweiz eingesetzt wurde. Diese Version wurde im Original oder einer dem Original entsprechenden Kopie entwendet (z.B. wegen identischer Qualität komplexer Abbildungen), nicht abfotografiert, rekonstruiert o.ä.
• Die Schweiz arbeitet seit der Einführung des EMS mit Deutschland eng zusammen und nutzt den deutschen TMS in grossen Teilen nach (Adaptation in die drei Sprachen und Anpassung an Schweizer Gegebenheiten^[3]). Dadurch fallen nicht die sehr hohen gesamten Entwicklungskosten eines Tests an, sondern nur ein Teil davon und wir können ein Verfahren verwenden, was im internationalen Vergleich mit zu den Instrumenten mit der höchsten Studienerfolgsprognose gehört^[4].
• Im Rahmen der kontinuierlichen Erneuerung des Tests werden regelmässig Aufgaben des EMS ersetzt (z.B. wegen optimierbarer Kennwerte), normalerweise durch bewährte Aufgaben, die vorher als Einstreuaufgaben erprobt wurden. Bei dieser Ersetzung griff unser Partner für 2014 auch auf die 1996 eingesetzte Version zurück, die wir dadurch aber nie gesamthaft bezogen haben.
• Der Testschutz (kein Bekanntwerden vor, während und nach dem Einsatz) gehört zwingend zu psychologischen Tests dazu und erfolgt nach sehr restriktiven Standards. Im Unterschied zu einer Prüfung muss ein Test vorher unter Ernstfallbedingungen erprobt werden, um Schwierigkeit, Differenzierungsfähigkeit, Güte der Messung von Eignung und die Vergleichbarkeit verschiedener Testversionen zwischen den Jahren zu gewährleisten^[5]. Die Entwicklung solcher Tests ist teuer und daher ist ein mehrfacher Einsatz der gleichen Aufgaben auch aus ökonomischen Gründen notwendig und gerechtfertigt. Alle vergleichbaren Tests (USA, Schweden, Israel u.a.) wenden dieses System des Mehrfacheinsatzes kombiniert mit hohen Anforderungen an den Testschutz an. Für ad hoc entwickelte und ungeprüfte Aufgaben im komplexen Bereich des "Schlussfolgernden Denkens" ist nicht sichergestellt, dass sie wirklich das Richtige messen, eine eindeutig richtige Lösung haben^[6] oder ob sie in der Zielgruppe optimal nach der Fähigkeit differenzieren (der Test ist auch ein "wettbewerbsorientiertes Reihungsverfahren"). Das wurde im Rahmen der fortlaufenden Aufgabenentwicklung für diesen Test übrigens auch festgestellt: ca. die Hälfte der von Experten mit viel Erfahrung entwickelten Aufgaben müssen verworfen oder noch einmal überarbeitet werden.
• Gute Aufgaben altern auch nicht - der Test ist kein Wissenstest (notwendiges Wissen wird zumeist in der Aufgabe selber mitgeteilt) und es geht darum, bestimmte Problemtypen in den Aufgabengruppen ideal zu formalisieren^[7].

Was ist nicht geschehen?

• Das Wesen eines psychologischen Tests ist die Verwendung erprobter Aufgaben unter Ernstfallbedingungen. Bei angemessenen Massnahmen des Testschutzes ist dies auch weiterhin möglich - wie bei allen uns bekannten vergleichbaren Tests. Es gibt bisher keinen Anlass, am System des Testschutzes in der Schweiz grundsätzliche Änderungen vorzunehmen. Es wäre falsch, aufgrund dieses Vorfalles ausserhalb unseres Einflussbereiches noch mehr Restriktionen einzuführen, die letztendlich auch die Testangst erhöhen würden. Auch in Deutschland ist der Testschutz beim neuen TMS vergleichbar gut, die durch Zusammenarbeit entstehenden Synergien können beibehalten werden.
• Man muss zwischen beweisbaren Realitäten und Gerüchten unterscheiden, die in solchen Fällen natürlich auch sofort auftreten. Eine Quelle der Gerüchte ist, dass alle Aussagen einiger Trainingsanbieter ernst genommen wurden. Hier für Realismus zu sorgen, ist eine Aufgabe des ZTD vom Beginn des Testeinsatzes an. Wir sind im Besitz zahlreicher Trainingsmaterialien, die nachempfundene und selbsterfundene Aufgaben enthalten - die aber als "Quasi-Originalaufgaben" angeboten werden. In keinem Fall war es bisher notwendig, die Originalaufgabe zurückzuziehen, weil die nachempfundene Aufgabe davon deutlich abwich oder sogar falsch war^[8].
• Es gab und gibt keine Hinweise auf weitere Diebstähle, weder in Deutschland, noch in der Schweiz. Wir können natürlich nur auf bewiesene bzw. beweisbare Sachverhalte reagieren. Es gab auch weitere nicht anonyme und anonyme "Folgebriefe", welche die bekannten Tatsachen bestätigen. Wir gehen eigentlich davon aus, dass man uns aufgrund dieses Ereignisses auch weiteres Material von wirklichen und bisher nicht bekannten Originalaufgaben gesendet hätte, wenn dies existieren würde. Es gab natürlich auch anonyme Briefe, die vordergründig an einer "Skandalisierung" und Emotionalisierung des Themas interessiert waren - diese blieben aber frei von Belegen. Wir danken daher auch allen, die das Thema sachlich und faktenbasiert aufgegriffen haben.

Wie wurde reagiert?

Entscheidungen EMS 2014: Übersicht - Zum Vergrössern klicken

Die Aufgaben des Trainingsmaterials wurden mit dem EMS 2014 verglichen. Tatsache ist, dass das Material des Trainingsanbieters 14 identische Aufgaben aus 3 Aufgabengruppen zum EMS 2014 enthält: 1 Text der Aufgabengruppe „Textverständnis“ mit 6 Fragen von insgesamt 18, je 4 Aufgaben „Quantitative und Formale Probleme“ und „Diagramme und Tabellen“ von je 20 Aufgaben. Es sind mit 14 von 198 also 7% des EMS betroffen. Beim Gedächtnistest besteht nur eine hohe Ähnlichkeit, Unterschiede in der Lernliste und vor allem in den gestellten Fragen sind beim Abwägen über die Wertbarkeit zu berücksichtigen.

Die Aufgaben, welche einige Personen schon kannten und die daher unter irregulären Bedingungen bearbeitet worden sind, wurden nicht gewertet. Die Bedingungen sind dadurch bei den gewerteten Aufgaben zunächst hinsichtlich des Vorwissens für alle wieder gleich. In Deutschland gibt und in der Schweiz vor 2004 gab es zusätzlich zu den gewerteten Aufgaben nicht gewertete Einstreuaufgaben (für die Überprüfung neu entwickelter Aufgaben). Insofern ist das Prinzip, dass nicht alle Aufgaben gewertet werden, bekannt und akzeptiert – die Bedingungen sind auch für alle gleich, aus diesem Vorgehen allein sind folglich ebenfalls keine individuellen Nachteile zu erwarten.

Erst eine detaillierte Analyse der Daten erlaubt es, Entscheidungen hinsichtlich der Wertbarkeit oder notwendiger Korrekturverfahren zu fällen. Das Schema rechts stellt die Logik des Vorgehens (drei Fragen und die jeweiligen Einzelentscheidungen) dar.

Wie viele Personen haben möglicherweise profitiert?

Vergleich Häufigkeitsverteilung gewertete/nicht gewertete Aufgaben - Zum Vergrössern klicken

Kennwerte der Aufgaben in den betroffenen Gruppen - Zum Vergrössern klicken

Hierzu werden üblicherweise abgrenzbare Untergruppen gesucht (z.B. Mehrgipfligkeiten in Häufigkeitsverteilungen), die sich zeigen würden, wenn eine Personengruppe durch die Bekanntheit qualitativ andere Bedingungen gehabt hätte. Ist der Unterschied nur quantitativ, würden sich für Extremgruppen andere Besonderheiten finden lassen.

Das Maximum von 14 Punkten in den 14 vorher bekannten Aufgaben (sehr gute Personen ODER Personen, die von Vorwissen profitierten) erreichen nur 33 Personen. Dies sind 1% der Gesamtgruppe - was aufgrund der Vorjahresdaten unsere Mindesterwartung für Personen mit voller Punktzahl auch unter normalen Umständen wäre. Fasst man 13 und 14 Punkte zusammen, sind es 109 Personen, was ebenfalls in der Erwartung liegt. Gäbe es eine nennenswerte Gruppe von Personen, die bedingt durch das Training alle Aufgaben gelöst hat, müssten hier mehr Personen vertreten sein. Auch andere Verteilungsanalysen zeigen keine Besonderheiten, die Unterschiede sind nicht "qualitativ".

Entweder es waren wirklich ganz wenige Personen, die dieses Material tatsächlich gesehen haben, oder die Personen haben sich die richtigen Lösungen von vorher durchgearbeiteten Aufgaben gar nicht merken können. Das würde für eine Überforderung durch ein zu intensives Training sprechen, welches allenfalls zu geringeren "quantitativen" Unterschieden führen würde.

Auch die bekannten Aufgaben reihen sich bezogen auf Schwierigkeit (siehe Tabelle rechts, hier angegeben als Lösungswahrscheinlichkeit) und Trennschärfe (Zusammenhang der Lösungswahrscheinlichkeit einer Aufgabe mit der Fähigkeit als Gesamtleistung) an den aufgrund der in Deutschland ermittelten Positionen in die jeweilige Aufgabengruppe ein, sind nicht abweichend oder in irgendeiner Hinsicht extrem - z.B. im Mittel deutlich leichter oder mit niedriger Trennschärfe verbunden. Letzteres würde darauf hindeuten, dass die Lösung der Aufgabe nichts mit der zu messenden Fähigkeit zu tun hätte, sondern aufgrund von Vorwissen erzielt worden wäre. Dies ist ein zweiter Hinweis darauf, dass es keine grösseren Personengruppen gewesen sein können, die von der Bekanntheit profitiert haben.

Musste man die 14 Fragen überhaupt streichen?

Vergleich der mittleren Aufgabenschwierigkeiten gewertete und nicht gewertete Aufgaben für Gruppen aufgrund Regression und Prozenträngen: Nur Unterschiede bei nicht gewerteten Aufgaben nachweisbar - Zum Vergrössern klicken

Schwierigkeiten der Aufgaben für die Trainingsgruppe im Vergleich zu anderen - Zum Vergrössern klicken

Ja, weil allein die Bekanntheit der Aufgaben vor dem Test eine rechtlich relevante Tatsache war. Selbst wenn nur ganz wenige Personen profitiert oder mehr Personen weniger als erwartet profitiert hätten, bliebe der Einwand möglicher Bevorteilung immer gültig.

Mittels zweier Extremgruppen lassen sich Effekte auch empirisch nachweisen:

• Ein Ansatz zur Identifikation derjenigen Personen, die überhaupt von der Bekanntheit des Materials profitiert haben können, führte über eine Regressionsanalyse. Über die Punktwerte in den gewerteten Aufgaben kann abgeschätzt werden, welcher Punktwert in den 14 eliminierten Aufgaben aufgrund des tatsächlichen Leistungsniveaus jedes Kandidaten erwartet werden durfte. 50 Personen, deren Punktwerte in den 14 Aufgaben diesen Erwartungswert am deutlichsten übertreffen, wurden in der Folge in die "wahrscheinliche Trainingsgruppe" eingeteilt - dort ist die höchste Wahrscheinlichkeit gegeben, dass die Personen von der Bekanntheit der Aufgaben profitiert haben (die also deutlich besser in den vorher bekannten als den unbekannten Aufgaben waren). Die Zahl 50 wurde nach Versuchen mit 30 und auch mehr Personen gewählt, um einen optimalen Kontrast zu finden. Eine Erweiterung dieser Gruppe führt zu einer „Verdünnung“ des Anteils tatsächlich profitierender Personen und Nivellierung der Effekte, eine Reduktion schmälert die statistische Aussagefähigkeit. Nicht alle dieser Personen müssen aber am Trainingskurs teilgenommen haben, der Unterschied kann auch zufällig bzw. messfehlerbedingt sein. Aber wenn Trainingskurse überhaupt wirksam waren, müssen die Personen bevorzugt in dieser Gruppe sein.
• Eine weitere „Extremgruppe 90/50“ wird aus 49 Personen gebildet, die in den 14 ungewerteten Aufgaben mindestens Prozentrang 90 erreicht haben (also zu den besten 10% in diesen Aufgaben gehören, das bedeutet mindestens 11 Aufgaben gelöst haben), sowie im Faktor „Schlussfolgerndes Denken“, bestehend aus den Aufgabengruppen MNGV, DuT, TV, QfP und PO, über alle gewerteten Aufgaben maximal Prozentrang 50 erreicht haben (also zu den „schlechteren“ 50% in den gewerteten Aufgaben dieses Faktors gehören. Auch hier ist also die Diskrepanz zwischen gewerteten und ungewerteten Aufgaben am höchsten - es gilt die gleiche Einschränkung wie oben, dass die Unterschiede auch messfehlerbedingt sein können.

Für beide Gruppen (siehe Balkendiagramm rechts) kann ein Vorteil (nur) in den nicht gewerteten Aufgaben nachgewiesen werden, die Lösungswahrscheinlichkeit (Itemschwierigkeit) ist nur bei den vorher bekannten Aufgaben signifikant höher, bei den anderen tritt kein Unterschied auf. Dies gilt auch für die beiden nicht betroffenen Aufgabengruppen des Faktors Schlussfolgerndes Denken: "Planen und Organisieren", sowie "Medizinisch-naturwissenschaftliches Grundverständnis", die jeweils die gleichen Differenzen wie in den gewerteten Aufgaben der betroffenen Aufgabengruppen haben.

Auch auf der Ebene der einzelnen Aufgaben zeigt sich, dass sich Unterschiede der Lösungswahrscheinlichkeiten zwischen Trainingsgruppe und dem Rest nur in den nicht gewerteten Aufgaben finden lassen (siehe Liniendiagramme, wo ebenfalls nur die nicht gewerteten Aufgaben signifikant abweichen).

Mit dieser Methodik konnte durch Analyse aller Aufgaben des EMS auch praktisch ausgeschlossen werden, dass in diesem Training weitere identische Aufgaben verwendet worden sind, denn nur in den nicht gewerteten Aufgaben gab es diese Unterschiede.

Folgende Prämissen gelten generell für Korrekturverfahren beim EMS wie dem deutschen TMS (gleich ob in einem Testlokal störender Lärm auftrat oder die Zeitnahme versagt oder das Licht einmal länger ausfällt):

Die rechtlichen Grundlagen des NC schreiben die Messung der Eignung unter gleichen Bedingungen für alle Personen vor (Gleichbehandlung bzw. Rechtsgleichheit).

• Ist diese Gleichheit verletzt, muss man durch ein geeignetes und transparentes Verfahren korrigieren, was korrigierbar ist – zumeist durch Boni für Benachteiligte.
• Aufgaben, die nicht unter vergleichbaren Bedingungen für alle beantwortet werden können, sind entsprechend der methodischen Standards für die Wertung auszuschliessen (was z.B. auch bei entstellenden Druckfehlern anzuwenden ist).

Da die einzelnen Vorkommnisse schwer konkret vorhersehbar sind, ist das Standardverfahren in solche Fällen: (1) Analyse durch das ZTD und Erarbeitung eines Vorschlages (2) Prüfung und Entscheidung durch die politisch verantwortlichen Gremien (3) Vollzug. Dieses Vorgehen wurde auch in diesem konkreten Fall angewendet. Der anonyme Brief ging am 23.7. effektiv ein, bis 7.8. müssen die Zulassungsbescheide ausgesendet werden. Die Herausforderung für alle Beteiligten (ZTD, CRUS, SUK und Universitäten) war, eine sachgerechte Entscheidung zu treffen und trotzdem den Termin einzuhalten. Dies erscheint aus unserer Sicht gelungen.

Warum kann der Gedächtnistest "Fakten lernen" gewertet werden?

Mittelwerte (m) Standardabweichungen (s) und Personenzahl (n) "Fakten Lernen" für je 5 Klassen nach Punktwert und Punkten in 14 ungewerteten Aufgaben n.b: Nicht berechnet, da nur 2 Personen - Zum Vergrössern klicken

Vergleich der Schwierigkeiten der einzelnen Aufgaben bei "Fakten lernen" für Extrem- und Vergleichsgruppe - Zum Vergrössern klicken

Signifikanzprüfungen der Unterschiede Fakten Lernen für Trainingsgruppe und Vergleichsgruppe - Zum Vergrössern klicken

Das Lernmaterial des EMS war mit dem Trainingsmaterial nicht ganz identisch, nur sehr ähnlich. Es wurden ausserdem andere Fragen dazu gestellt. Ein kompletter Ausschluss dieser Aufgabengruppe würde zu einer grösseren Strukturänderung des EMS führen, weil dann nur noch "Figuren lernen" den Gedächtnisbereich repräsentieren würde. "Fakten lernen" ist traditionell auch eine vergleichsweise leichte Aufgabengruppe, wo viele Personen hohe Punktzahlen erzielen - auch bei komplett neuen Versionen. Insofern müssen bei einer Güterabwägung Argumente gegen eine Wertung besonders schwerwiegend sein.

Die Tatsache, dass es offenbar insgesamt wenige Personen gab, die von den Trainingskursen profitiert hat ist auch zu berücksichtigen, dennoch kann es beim "Fakten Lernen" anders oder einfacher sein. Hier muss man etwas erwähnen, was schon im anonymen Brief angemerkt wurde: In solchen Trainingskursen werden sehr viele neue und nachempfundene Testversionen geübt. Es war zu dem Zeitpunkt nicht bekannt, welche Version wirklich in 2014 verwendet wird. Insofern konnte diese eine nicht speziell gelernt werden. Es wurde dann zwar bemerkt, dass diese Version schon einmal bearbeitet wurde - man "bereute" aber mehr, dass man diese nicht besser gelernt hat.

Alle empirischen Ergebnisse zeigen deshalb auch nicht unerwartet keine signifikanten Vorteile für Personen der obengenannten Trainingsgruppe, denen das Material am wahrscheinlichsten bekannt war.

• Die besten mittleren Leistungen bei "Fakten Lernen" haben nicht die Personen mit den höchsten Punktwerten in den nicht gewerteten Aufgaben (differenziert in 5 Gruppen nach der Gesamtleistung, vgl. Tabelle rechts)
• Bildet man eine Extremgruppe „Training“ aus Personen mit mindestens 11 Punkten aus den 14 eliminierten Aufgaben, die gleichzeitig einen maximal durchschnittlichen Wert in der Gesamtpunktzahl des entsprechenden Faktors "Werkzeugfunktionen" (Aufgabengruppen Fakten lernen, Figuren lernen, Schlauchfiguren, Muster zuordnen und Konzentriertes und sorgfältiges Arbeiten) erzielt haben, so liegt diese auch bei einer Analyse der einzelnen Items dieser Aufgabengruppe wie erwartet fast durchwegs unterhalb der mittleren Lösungswahrscheinlichkeit aller übrigen Teilnehmenden (siehe Schwierigkeitsdiagramm rechts). Hier müssten sich bessere Leistungen der Extremgruppe zeigen, wenn sie profitiert hätte.
• Die weiter unten erläuterte zweite Extremgruppe aufgrund einer Regressionsanalyse (Trainingsgruppe) zeigt ebenfalls keine signifikanten Unterschiede in den Punktwerten.

Da sich keine Vorteile für Personengruppen nach möglicher Vorkenntnis nachweisen lassen (sondern in einer Analyse sogar Nachteile) ist die Wertung und Beibehaltung dieser Aufgabengruppe bei der Güterabwägung gerechtfertigt.

Es gibt auch eine psychologische Erklärung, warum Personen mit "Vorkenntnissen" sogar etwas schlechter sind: Das Umlernen einer vorhandenen Lernliste ist in der Regel schwererer als das Neulernen. Man muss die Unterschiede ausserdem auch bemerken. Beim Abruf der gelernten Dinge kann es dann zu sogenannten Interferenzen zwischen ursprünglicher und veränderter Liste kommen, indem man dies nicht ausreichend auseinanderhalten kann.

Was bedeutet die Verkürzung konkret?

Entsteht durch die Nichtwertung ein Nachteil?

Es ist auf den Unterschied zwischen Prüfungen und einem psychologischen Test an dieser Stelle einzugehen. Ein Test funktioniert nicht wie eine Prüfung. Die Fragen sind der „Parcours“, welche die Personen aufgrund der erreichten Punkte nach ihrer Eignung reihen - der kann 50, 100, 150 oder 200 Fragen haben, der muss nur für alle Personen gleich sein und eine Rangfolge der Personen nach der Fähigkeit (Studieneignung) generieren, weil die Aufgaben und Aufgabengruppen Fähigkeiten messen, die relevant für Studienerfolg sind. Nach dieser Rangfolge erfolgt dann die Zulassung.

Wenn der Test richtig konstruiert ist, sind die Leistung in den gewerteten und den ungewerteten Aufgaben der drei betroffenen Aufgabengruppen hoch korreliert. Die Rangreihe nach der Leistung mit allen Abstufungen zwischen Personen muss sich dann in den gewerteten und allen Aufgaben gleichermassen zeigen, alle Abweichungen davon wären aus Sicht der psychologischen Theorie Messfehler. Dies war mit der verkürzten Ausage gemeint: Wer in den betroffenen Aufgabengruppen gut ist, wird dies gleichermassen in den gewerteten und den ungewerteten Aufgaben sein.

Korrelationen der ursprünglichen mit den verkurzten Punktwerten der betroffenen Aufgabengruppen. Gelb: die Äquivalenzschätzungen der jeweiligen Lang- und Kurzform - Zum Vergrössern klicken

Dies muss so sein, weil alle Einzelaufgaben konsistent das gleiche Merkmal messen – und nicht wie bei Prüfungen unterschiedliche inhaltliche Facetten sind (wenn in einer Biologieprüfung z.B. alle Genetikfragen nicht gewertet würden, käme es zu Nachteilen für Personen, die gut auf diesem Gebiet sind). Zwischen den Aufgaben der jeweiligen Aufgabengruppe gibt es keinen inhaltlichen Bezug, sondern nur die formal gleiche Anforderung (z.B. Textverständnis, Diagrammverständnis). Die Zusammensetzung der konkreten Aufgabeninhalte ist also auch zufällig.

Der Einwand, dass es Personen gibt, die ausgerechnet in den 14 Aufgaben besser waren und durch die Nichtwertung sich nun relativ verschlechtert hätten, gilt eigentlich nur für Personen, die von der Bekanntheit wirklich profitiert haben. Bei allen anderen Personen wäre dieser Unterschied quasi messfehlerbedingt.

Auch dies kann statistisch geprüft werden: Üblich ist es, mit der sogenannten Paralleltest-Reliabilität die Äquivalenz von 2 Messungen zu prüfen. Sind die Messungen mit allen und nur den gewerteten Aufgaben äquivalent, kann die eine Messung die andere ersetzen, beide Messungen differenzieren die Personen nach der Leistung auf gleiche Weise. In der Tat korrelieren die Punktwerte aller Aufgaben mit jenen der gewerteten Aufgaben mit 0.91 bis 0.97. Reliabilitäten ab 0.85 werden üblicherweise als hoch eingeschätzt – da eine Teilmenge mit einem Ganzen verglichen wird, muss der Wert hier etwas höher sein. In allen drei Fällen liegt eine ausreichende Äquivalenz vor, die gewerteten Punkte messen, für die Teilnehmenden ohne Vorkenntnisse der 14 betroffenen Aufgaben, das gleiche wie ursprünglich alle Aufgaben und in diesem "Notfall" bleibt die gewertete Fassung äquivalent zur Gesamtfassung.

Für den gesamten Test erreicht die Äquivalenz geschätzt aus der Korrelation der ursprünglichen mit der gültigen Version für den Punktwert 0.996, für den Test-Prozentrang 0.995 und für den mittleren Rangplatz 0.996. Dies ist mehr als ausreichend für die Annahme einer vollständig vergleichbaren Rangreihe nach der Studieneignung.

Wie NC und EMS bei der Zulassung funktionieren - Zum Vergrössern klicken

Der NC ist in der Schweiz noch vergleichsweise "mild", es konnten in Humanmedizin 35% der Bewerbungen einen Platz zugewiesen bekommen. In Deutschland sind es 2014 nur 20%^[9], in Österreich für alle Disziplinen 16% ^[10]. Der EMS als "wettbewerbsorientiertes Reihungsverfahren" dient auch dazu, die vorhandenen Plätze nach fairen Regeln zu vergeben. Man kann ihn nicht "bestehen" oder nicht, die Zulassung richtet sich nur nach den Kapazitäten (weil nicht mehr Personen zugelassen werden können, ohne die Studienqualität zu beeinträchtigen). Neben dem Test-Prozentrang wird dazu ein zweites Kriterium "Mittlerer Rangplatz" bei Gleichheit des ersten angewendet, falls weiter differenziert werden muss^[11]. Die abgelehnten Personen im Grenzbereich der Zulassung sind daher nicht ungeeignet für ein Medizinstudium (in den ersten Jahren wurden bis 90% zugelassen), mögliche minimale Verschiebungen durch die Verkürzung ändern daher nichts an der Eignung der Zugelassenen. Bei Einführung des NC wurden Rechtsgleichheit, Gleichbehandlung und Willkürfreiheit bei der Zulassung gefordert. Die Rechtsgleichheit konnte nur durch den Ausschluss der vorher bekannten Aufgaben wieder hergestellt werden und die hier erfolgten weiteren Prüfungen und Überlegungen sprechen in toto dafür, dass keine weiteren oder neuen Bedingungen diese Rechtsgleicheit signifikant beeinträchtigen.

Ändert sich das Gewicht der Aufgabengruppen durch die Nichtwertung?

Langjährig konsistente Faktorenstruktur der Aufgabengruppen des EMS - Zum Vergrössern klicken

Die drei betroffenen Aufgabengruppen gehören zum wichtigen Faktor „Schlussfolgerndes Denken“ (Merkmal mit hoher gemeinsamer Varianz der eingeschlossenen Aufgaben, die also etwas Gemeinsames messen), zu welchem noch die nicht betroffenen Aufgabengruppen „Medizinisch-Naturwissenschaftliches Grundverständnis“ und „Planen und Organisieren“ gehören^[12].

Dieser varianzstärkste Faktor ist aktuell normalerweise mit 98 Aufgaben vertreten, jetzt noch mit 84. Bis 2004, ohne „Planen und Organisieren“ waren es nur 78 Aufgaben (wie noch heute im deutschen TMS). Die Gewichtung dieses Faktors ist also immer noch höher als in den ersten Formen des EMS. Die Reduktion ist bedauerlich, die dadurch sich ändernde Zusammensetzung des EMS liegt aber noch im bisherigen Schwankungsbereich und ist kein Grund, die Gültigkeit des Tests anzuzweifeln.

Es wurde auch geprüft, die Resultate der betroffenen Aufgabengruppen proportional auf die vollen Punktzahlen wieder hochzurechnen. Das wären allerdings „neue Spielregeln während des laufenden Spiels“ gewesen. (z.B. nimmt man Kommazahlen bei Punkten, oder rundet man?). Die Varianz wäre auch „künstlich“ erhöht worden, es hätten Zwischenwerte gefehlt und durch richtige Lösung einer einzigen Aufgabe hätte man plötzlich z.B. 1.2 Punkte bekommen – bei Nichtlösung quasi verloren. Da die Aufgaben unterscheidlich schwierig sind, hätte eine gleiche proportionale Erhöhung aller Aufgaben möglicherweise auch die Differenzierung innerhalb jeder Aufgabengruppe verändert. Deshalb wurde davon abgesehen.

Was ist mit Zeitvorteilen der Personen, welche die Aufgaben kannten bei der Lösung der übrigen Aufgaben?

Signifikanzprüfungen der Unterschiede gewerteter Aufgaben für Trainingsgruppe und Vergleichsgruppe - Zum Vergrössern klicken

Vergleich gewertete/nicht gewertete Aufgaben für Gruppen aufgrund Regressionsanalyse und extremen Prozenträngen. Gewertete Aufgaben und nicht betroffene Aufgabengruppen weisen keine Unterschiede auf. Dies spricht gegen Zeitvorteile. - Zum Vergrössern klicken

Dieses Argument wurde häufig vorbebracht und scheint auf den ersten Blick einleuchtend. Genaueren Analysen hält es allerdings nicht Stand:

• Zum einen müssen die Teilnehmenden in jedem einzelnen Fall analysieren, ob die Aufgaben wirklich identisch oder nur ähnlich sind und benötigen dazu ebenfalls Zeit.
• Zum zweiten sind alle drei betroffenen Aufgabengruppen mit relativ reichlich Bearbeitungszeit versehen, weil in diesem komplexeren Bereich kein zu grosser Zeitdruck gewünscht ist (2 x 50 und 1 x 45 Minuten). Der mögliche Zeitvorteil verteilt sich auch auf drei Aufgabengruppen, die in getrennten Zeitfenstern bearbeitet werden.
• Zum dritten und vor allem steht Zeit bei diesen komplexen Aufgaben in keiner linearen Beziehung zur Leistung. Wenn die Fähigkeit nicht ausreichend ist bei schwierigeren Aufgaben, kann man diese auch mit längerer Zeitvorgabe nicht lösen – einige vergleichbare Tests („Niveau- oder Powertests“) arbeiten sogar gänzlich ohne Zeitbegrenzung und die Ergebnisse differenzieren trotzdem nach der Fähigkeit. Auch das gesamte Konzept der sogenannten probabilistischen Testtheorie beruht darauf, dass Fähigkeit und Schwierigkeit einer Aufgabe immer im Einklang stehen und niemand seine Grenzen ohne weiteres „überspringen“ kann (was für die unbekannten Aufgaben gilt).
  • Niveautests enthalten Aufgaben mit zunehmender Aufgabenschwierigkeit. Das bedeutet, dass jede nachfolgende Aufgabe schwieriger ist als die vorhergehende. Der Proband kann also die Aufgaben soweit bearbeiten, bis sie für ihn zu schwer sind, um sie zu lösen. Im Grunde ist keine Zeitvorgabe notwendig, da selbst bei unbegrenzter Zeitvorgabe nicht alle Aufgaben gelöst werden können und der Proband anfangen muss zu raten. ^[13]
  • Die ansteigende Schwierigkeit findet sich auch bei den drei betroffenen Aufgabengruppen. Übersteigt die Schwierigkeit einer Aufgabe die persönliche Fähigkeit, wird entweder geraten oder auch eine falsche Antwort gegeben. Die Personen kommen bereits innerhalb der vorhandenen Zeit an die Grenze, wo die Aufgabenschwierigkeit die eigene Fähigkeit übersteigt. Beim Konzentrationstest und einigen anderen nicht betroffenen Aufgabengruppen entscheidet die Arbeitsgeschwindigkeit und damit die zur Verfügung stehende Zeit über die Leistung. "Denkaufgaben" sind ihrem Wesen nach anders. Wir hatten in den früheren Vorbereitungsreports mehrfach festgestellt, dass der Notendurchschnitt das Testergebnis viel genauer vorhersagt als die Vorbereitungszeit, diese die dadurch vorgegebenen Grenzen quasi nicht sprengen kann. Zumdindest statistisch ist der Notwendurchschnitt eine mindestens ebenso gute Schätzung der Fähigkeit wie das Testergebnis.

Vor allem die statistischen Belege sind evident, dass es keine Zeitvorteile gibt. Sollte die Bekanntheit einiger Aufgaben der betroffenen Aufgabengruppen einen Einfluss auf die Bearbeitung der übrigen Aufgaben derselben Aufgabengruppe gehabt haben (Zeitgewinn), dann müsste die oben identifizierte "Trainings"-Gruppe auch in den gewerteten Aufgaben einen signifikant höheren („unerklärlichen“) Punktwert als den Erwartungswert erhalten, die mittlere Differenz zwischen tatsächlichem Wert und Erwartungswert in der Trainingsgruppe also signifikant höher ausfallen.

Die entsprechenden Ergebnisse sind pro Aufgabengruppe in der Tabelle rechts oben dargestellt. In dieser Trainingsgruppe sind Personen fast aus dem ganzen Leistungsspektrum berücksichtigt – es besteht hier deshalb kein signifikanter Unterschied zwischen diesen beiden Gruppen hinsichtlich des Gesamtpunktwerts (113.2 Vergleichsgruppe, 113.5 Trainingsgruppe). Der Vergleich der Trainingsgruppe (n=50) mit der unauffälligen (deutschsprachigen) Vergleichsgruppe (n=2780) zeigt: Sowohl der mittlere Punktwert wie auch die mittlere Differenz zum Erwartungswert unterscheiden sich nicht signifikant. Auch in der „Trainingsgruppe“ entsprechen die Punktwerte den durch das individuelle Leistungsniveau erwarteten Werten. Dieser Betrachtungsansatz liefert somit keinerlei Hinweise, dass die Punktwerte in den gewerteten Aufgaben durch eine systematische Begünstigung (Zeitgewinn) in dieser Gruppe erhöht wurden. Es treten auch im Gedächtnistest "Fakten lernen" keine Unterschiede auf.

Ausserdem sei noch einmal auf die Balkendiagramme darunter hingewiesen, die weiter oben bereits erläutert worden sind. Für Trainings- und Extremgruppe sind bei den gemittelten Schwierigkeiten der gewerteten Aufgaben keine Unterschiede zur Vergleichsgruppe vorhanden - die Unterschiede entsprechen denen in den nicht betroffenen Aufgabengruppen.

Hier kam auch das Missverständnis auf, dass es generell auf kürzere Bearbeitungszeiten oder Zeitdruck zurückzuführen sei, dass beim EMS nur 50% der Aufgaben von der Hälfte der Personen richtig gelöst werden. Bei den betoffenen Aufgabengruppen kommt dies nicht durch Zeitdruck, sondern durch die ansteigende Schwierigkeit zustande, die ab einem bestimmten Punkt jeweils die individuelle Fähigkeit übersteigt.

Die Ergebnisse bestätigen daher auch deutlich, dass ein Training sich nicht wirklich auf vorher unbekannte Aufgaben überhaupt auswirkt. Hier bleibt die individuelle Fähigkeit die Grenze, bis zu welcher Schwierigkeit man Aufgaben lösen kann. "Unfreiwillig" wird diese Aussage, die in mehreren Untersuchungen vorher schon gefunden wurde, nun auch unter Ernstfallbedingungen bestätigt. Dies heisst nicht, dass man sich nicht auf den EMS vorbereiten kann und muss (Vertrautheit mit den Anforderungen ist z.B wichtig). Es bleiben aber weiterhin Zweifel daran gerechtfertigt, dass man dazu teure Trainingskurse besuchen muss.

Könnte man den Test generell kürzen

Es wurde in den betroffenen Aufgabengruppen die Zahl von 20 bzw. 18 Aufgaben auch aus pragmatischen Gründen festgelegt: Je mehr Aufgaben, desto zuverlässiger kann ein Merkmal gemessen werden und umso besser kann man auch die Schwierigkeiten der Aufgaben aufsteigend abstufen. Auch die Differenzierungsfähigkeit der Personen ist feiner (was wegen der Verwendung als Zulassungskriterium notwendig ist - letzendlich ist der Test auch so etwas wie ein "wettbewerbsorientiertes Reihungsverfahren").

Der EMS soll durch sein "langes" Tagesprogramm auch die dem Studium entsprechenden Anforderungen an die Aufrechterhaltung von Aufmerksamkeit und Leistungsfähigkeit simulieren. Eine deutliche Verkürzung würde diesen Aspekt vernachlässigen.

Die jetzt festgestellte hohe Äquivalenz der verkürzten Aufgabengruppen gegenüber den langen Formen belegt zwar, dass die Fähigkeit in den betroffenen Aufgabengruppen (!) praktisch noch gleich gut gemessen wird. Diese Verkürzung ist aber letztlich aus einer Notsituation und zufällig zustande gekommen. Wir würden daher ungern in Zukunft auf die zweifellos bessere Differenzierung der Langformen verzichten.

Welche Alternativen hätte es gegeben?

Hätte man den Test wiederholen müssen oder können?

Alle Entscheidungen mussten natürlich als Abwägungen der Vor- und Nachteile infragekommender Optionen getroffen werden. Eine Wiederholung wäre die "radikalste" Lösung gewesen. Ist sie aber auch notwendig und ist sie realistisch?

Indem wir empirisch und aufgrund psychologischer Erkenntnisse nachweisen können, dass die erfolgte Nichtwertung der vorher bekannten Aufgaben die wichtigste Ungleichbehandlung aufhebt, keine Anzeichen für weitere Nachteile bstehen (weder vorhandene noch neu entstandene), konnte diese Alternative nach Abwägung aller Umstände als nicht notwendig verworfen werden.

Bei genauer Betrachtung wäre sie aber auch kaum realistisch gewesen: Der Test findet in 30 Lokalitäten statt, dies in 8 Testorten und 3 Sprachen. Teilgenommen haben über 3300 Personen. Die logistsche Vorbereitung braucht jeweils etwa ein Jahr (Personal, Räume, ca 80 Seiten gedrucktes Material usw.). Die Tatsachen wurden effektiv am 23.7. bekannt. Das Semester beginnt Mitte September, bis dahin müssen sich viele zugelassene Personen noch am Studienort einrichten. Wirklich realistisch ist eine ausreichend schnelle Wiederholung also nicht. Zumal zunächst auch genau analysiert werden musste, worin der Schaden konkret besteht und ob eine garantiert nicht bekannte Version bereitsteht. Jede Neuansetzung mit einer möglicherweise gleichfalls betroffenen Version wäre zu recht als blinder Aktionismus kritisiert worden. Erst jetzt wissen wir genauer, was passiert ist und dass in Zukunft mit ausreichender Sicherheit wieder nicht bekannte Testversionen eingesetzt werden können.

Hätte man alle Personen zulassen sollen, die je mit und ohne vorher bekannte Aufgaben das Zulassungskriterium erfüllen?

Alle Personen zuzulassen, die mit und ohne die ausgeschlossenen Aufgaben jeweils über der Kapazitätsgrenze liegen, wäre zum einen ungerecht gewesen: Es wären die Personen bevorteilt worden, die durch die Vorkenntnisse der Aufgaben relativ bessere Werte erreicht haben und durch die Nichtwertung ein realistischeres Ergebnis erhalten haben. Zum anderen sind die Kapazitäten bereits jetzt maximal ausgelastet, weil die Universitäten, ausgelöst durch die Diskussion zum Ärztemangel, die Anfängerkapazitäten seit 2006 um 45% gesteigert haben. Ein Mehr würde sich negativ auf die Studienqualität auswirken, weil die Betreuungskapazitäten und auch ganz einfach die Hörsaalgrössen und anderen Ressourcen ausgereizt sind. Die Diskussion zum weiteren Ausbau der Kapazitäten ist daher nicht ohne Grund mit einem höheren Finanzierungsbedarf der Universitäten verbunden.

Deshalb ist die Version mit den nicht gewerteten Aufgaben die einzig gültige Testversion, welche für die Zulassung 2014 verwendet wurde. Es gibt keine belastbaren Argumente, dass über den Messfehler hinaus Verschiebungen bei der Zulassung substanzielle Gründe hätten. Man könnte genauso darüber diskutieren, dass es Personen gibt, die mit gänzlich anderen Aufgaben der vorjährigen Testversion zugelassen worden wären, dieses Jahr aber nicht.

Einzelfall und Statistik

Verschiedentlich wurde eingewendet, dass die statistischen Nachweise nicht ausschliessen können, dass Unterechtigkeiten im Einzelfall aufgetreten seien und schon eine sehr kleine Zahl solcher Ungerechtigkeiten das gesamte Verfahren in Zweifel ziehen müsste. Die sogenannte anekdotische Evidenz erläutert Sinn und Fehleranfälligkeit solcher auf den Einzelfall bezogenen Aussagen, denen im Unterschied zur empirischen Evidenz die Beweiskraft fehlt. Auch der Einzelfall muss sich wiederholen, die Bedingungen dieses Einzelfalles müssen regelhaft zu bestimmten Effekten führen, erst dann kann über eine Verletzung der Gleichbehandlung befunden werden. Die Suche nach Extremgruppen, nach Auffälligkeiten in den Häufigkeitsverteilungen diente dazu, solche "Häufungen von Einzelfällen" zu identifizieren.

Richtig ist, dass man Statistik verantwortungsvoll einsetzen und dabei auch objektiv vorgehen muss. Auch eine Ungerechtigkeit im Einzelfall bedarf einer Begündung, darf nicht nur als "spekulative" Möglichkeit bestehen. Beispielsweise wurde dies bei möglichen Verschlechterungen durch die Nichtwertung der 14 Aufgaben vorgebracht: Man könne ja genau in den 14 Aufgaben besser sein als in den übrigen gewerteten Aufgaben. Sehen wir von den Personen ab, die von der Aufgabenbekanntheit profitiert haben und zu Recht etwas zurückfallen belegt hier die Statistik die Äquivalenz der ursprünglichen und der in der gültige Fassung verwendeten Punktsummen dieser Aufgabengruppen. Dies bedeutet, dass die Reihung der Personen vergleichbar bleibt. Vom Konzept her sind Abweichungen dann nur noch Messfehler und nicht substanziell bzw. inhaltlich begründbar (und es sind Verbesserungen ebenso wahrscheinlich wie Verschlechterungen).

Dass ein möglicher Zeitgewinn bei den nicht gewerteten Aufgaben sich in den Extremgruppen nach Unterschieden in bekannten und nicht bekannten Aufgaben statistisch nicht nachweisen lässt, bedeutet, dass es keine (noch so kleine) Gruppe gibt, wo dies messbar wäre. Hier wirkt die zweite Besonderheit: Einzelfälle müssen sich irgendwo wiederholen, mess- und nachweisbar sein, ehe man darauf reagieren kann. Hier besteht verantwortungsvolle Statistik darin, nur so weit zu generalisieren, dass man auch Wirkungen findet, die quasi für Gruppen von wenigen Einzelfällen gelten. Auch dies haben wir versucht.

Massnahmen zur Absicherung einer ordnungsgemässen Testabnahme in den Folgejahren

Aufgrund anderer Zuschriften, eigener Analysen des Trainingsmarktes und verschiedener anderer Untersuchungen gehen wir bisher davon aus, dass es nur diesen einen Diebstahl gegeben hat, der dem Trainingsmarkt wirkliche Originalaufgaben erschlossen hat. Diese Aufgaben werden durch neue ersetzt, der Gesamtpool ist gross genug. Es scheint auch notwendig, die Trainingsanbieter und auch die Teilnehmer genauer auf die Rechtslage hinzuweisen. Die Aufgaben des EMS sind urheberrechtlich geschützt.

• Das Entwenden von Testversionen, seien es Originale, Kopien, illegal angefertigte elektronische Aufzeichnungen o.ä. wird als Diebstahl gewertet. Der Schaden besteht in diesem Falle in der Notwendigkeit, entsprechende Aufgaben neu zu entwickeln, empirisch zu überprüfen und in die französische und italienische Sprache zu adaptieren. Für den Gesamttest liegt die Schadenssumme nicht unter 300.000 Euro. Wir behalten uns alle straf- und zivilrechtlichen Schritte vor, diesen Schaden geltend zu machen.
• Auch der Versuch (z.B. wenn Personen bei der Absicht der Aufzeichnung entdeckt werden sowie Vorhandensein von Aufzeichnungsgeräten, die bei Kontrollen gefunden werden) wird entsprechend verfolgt.
• Die Vervielfältigung sowie die Nutzung solcher Aufgaben in Trainingskursen ist ein Verstoss gegen das Urheberrechtsgesetz. Erschwerend in diesem Falle ist das Wissen, dass das Material aus einem Diebstahl stammt – dann handelt es sich um eine Form der Hehlerei.
• Auch das Nachempfinden von Aufgaben und die Anlehnung an die im TMS/EMS verwendeten Inhalte, das Werben damit, dass solche nachempfundenen Aufgaben im TMS oder EMS verwendet worden seien oder sogar diesen nachempfunden seien, stellt in der Regel mindestens eine Verletzung des Urheberrechts dar. Hier werden wir ebenfalls alle Rechtsmittel ausnutzen.
• Verpflichtungen zur Geheimhaltung der das Urheberrecht verletzenden Aufgaben, insbesondere entwendeter Aufgaben, der Kursteilnehmer durch die Trainingsanbieter sind dabei übrigens nicht gültig, weil sie der Verhinderung des Bekanntwerdens von Rechtsverletzungen dienen.

Die Trainingsanbieter müssen damit rechnen, dass das Rechtsempfinden der Teilnehmerinnen und Teilnehmer grösser ist als als eine vermeintliche Dankbarkeit für das Profitieren durch Rechtsverletzungen und dass auch in Zukunft über solche Machenschaften informiert wird. Insofern sind wir der Person, die den anonymen Brief schrieb auch sehr dankbar, dass sie den Mut dazu fand.

Alle bedeutenden Zulassungstests (wir standen und stehen im Austausch mit USA, Schweden, Israel, Japan und Deutschland) haben eine "Vorbereitungsindustrie" (die vergleichbar auch Examensvorbereitungen anbietet). Dies scheint unvermeidlich. Selbsterfundene oder nachempfundene Aufgaben (von denen wir bisher ausgingen) sind dabei unproblematisch. Solange der Testschutz gut funktioniert und solange sich die „Lerninstitute“ an die Gesetze halten, keine falschen Versprechungen machen und vor allem das Urheberrecht respektieren, kann man damit auch umgehen. Während des Tests darf man z.B. keine persönlichen Notizen machen und hat dafür kein „mitnehmbares“ Papier und einiges mehr. Man möge einfach mal ein paar Aufgaben vom Text- oder Diagrammverständnis auswendig lernen und nach einer Stunde aufzuschreiben versuchen. Insofern ist das nachträgliche gemeinsame Rekonstruieren der Aufgaben als Quelle von "Originalaufgaben" eine "Legende", die gern zu Werbezwecken von der Lernindustrie für die Qualität ihres Materials verbreitet wird. Das jetzt bekannt gewordene Material wurde anders entwendet.

Was uns am Trainingsmarkt bisher vor allem störte ist etwas anderes: das Schüren der Angst, nur mit solchen Kursen eine Platz zu erhalten, was genauso gut durch Selbststudium oder besser in Gruppen erfolgen kann. Auch das wurde übrigens mehrfach empirisch untersucht und so bestätigt – nicht nur durch uns. Letztlich bestätigen die Ergebnisse hier unfreiwillig dies auch noch einmal. Im Vorbereitungsreport 2014 gehen wir den Fragen nach, wie sinnvoll Training ist ond ob eine Notwendigkeit besteht, solche Kurse zu besuchen. Man kann durch selbständige Vorbereitung mit den öffentlich zugänglichen Vorbereitungsmaterialien genauso erfolgreich sein, wie durch den Besuch kommerzieller Vorbereitungskurse bleibt gültig.

Eine Analyse des Testschutzes in der Schweiz zeigte, dass grundsätzlich der Sicherheitsstandard ausreichend ist. Hier besteht der Königsweg darin, eine Entwendung von Originalaufgaben sicher genug zu verhindern und dennoch Massnahmen der Prävention einzuleiten, die dann eine gültige Testabnahme sichern, wenn dies dennoch geschehen sein sollte. Einige wenige Massnahmen werden ergriffen, um den Testschutz zu optimieren. Dabei lassen wir uns weiter davon leiten, dass zu viel Restriktion bei der Testabnahme auch die Testangst erhöht und diese auf das Notwendigste beschränkt werden soll. Dank unseres Systems der Inventuren würde eine Entwendung von Material recht sicher bemerkt. Massnahmen sind notwendig, um den immer unauffälligeren Methoden der elektronischen Aufzeichnung zu begegnen (aber eben präventiv, nicht anlassbezogen). Dabei werden wir aber noch nicht den Standard anderer Länder benötigen^[14].

Schliesslich wird es auch noch einige Änderungen am Testkonzept geben (Strategie der kontinuierlichen Erneuerung der Aufgaben, Veränderungen bei "Fakten Lernen", wo wir das Prinzip der Verwendung vollerprobter Fassungen aufgeben müssen und einen Kompromiss zwischen Neuheit des Lernmaterials und der erprobten Prinzipien gefunden haben).

Nachweise und Fussnoten

1. ↑ Offizielle Seite des ZTD, Informationen für Kandidaten, rechts Hintergrundinformationen, Berichte, Veröffentlichungen und Analysen
2. ↑ EMS in Wikipedia
3. ↑ Gemeinsamkeiten und Unterschiede TMS und EMS
4. ↑ Zu den Entwicklungsprinzipien siehe http://www.unifr.ch/ztd/ems/was_ist_ems.htm
5. ↑ siehe dazu z.B. Psychologischer Test in Wikipedia
6. ↑ Eine häufige Kritik an Multiple-Choice-Aufgaben ist, dass es mehr als eine richtige Lösung geben kann. Durch Überprüfung der sogenannten Trennschärfe kann festgestellt werden, ob die Leitungsbesten bevorzugt nur eine einzige Lösung wählen oder auch andere Lösungen höhere Trennschärfen aufweisen und auch als richtig gelten könnten
7. ↑ Die bekannte Satire zur "Kartoffelaufgabe" zeigt zumindest, dass die Aufgabenstruktur immer identisch bleibt
8. ↑ Davor warnen wir seit Beginn des Einsatzes des EMS, siehe http://www.unifr.ch/ztd/ems/info_teilnehmer.htm#gering
9. ↑ 43002 Bewerbungen, 8999 Plätze; Die WELT vom 16.8.2014, Seite 21, Quelle: Stiftung für Hochschulzulassung
10. ↑ Die Presse.com vom 6.8.2014, 9948 Bewerbungen, 1561 Plätze für alle Disziplinen
11. ↑ siehe http://www.unifr.ch/ztd/ems/EMSaufbau.pdf Seite 2 ff.
12. ↑ Vergleiche dazu die Ergebnisse der Faktorenanalysen in den Berichten des ZTD, z.B. Bericht 20, Seite 81 ff.
13. ↑ vgl. Wikipedia Schnelligkeitstest und Niveautest
14. ↑ http://vimeo.com/74953443 vgl. z.B. das Video zu Sicherheitsmassnahmen des MCAT in den USA