Testschutz beim EMS

Aus ZTDWIKI
Wechseln zu: Navigation, Suche
ems-logo-wiki.png
WIKI-BLOG zum EMS des ZTD

Free.png Test-Vorbereitung EMS.. Free.png Studienberatung.. Free.png Testschutz.. Free.png EMS-BLOG.. Free.png Presse & Dokumente..

Ohne Testschutz funktioniert kein Leistungstest im Bereich der "kompetitiven" Eignungsdiagnostik

Testschutz und Testsicherheit sind notwendig

Der Testschutz (kein Bekanntwerden der Aufgaben bzw. Lösungen vor, während [1] und nach dem Einsatz) ist für die meisten psychologischen Leistungstests eine Notwendigkeit. Sind Aufgaben bzw. Lösungen den (oder einzelnen) Testteilnehmern vorher bekannt, misst der Test nicht mehr das, was er soll. Der Test ist "verbrannt", wie man dann sagt und sein Einsatz praktisch verunmöglicht. [2] Die rechtliche Absicherung erfolgt in den deutschsprachigen Ländern vor allem über das Urheber- und Wettbewerbsrecht, In einigen anderen Ländern finden sich im Berufsrecht zur Psychologie weitere Verankerungen.

Tests müssen erprobt (geeicht) sein

"Wettbewerbsorientiertes Reihungsverfahren" beim EMS - Zum Vergrössern klicken
Vergleich einer komplexen Testaufgabe des EMS mit typischen Fragen einer Wissensprüfung - Zum Vergrössern klicken

Im Unterschied zu einer Prüfung muss ein Test grundsätzlich vorab unter Ernstfallbedingungen entwickelt und erprobt werden, um z.B. Schwierigkeit, Differenzierungsfähigkeit, Zuverlässigkeit oder Güte der Messung zu kalibrieren und in unserem Falle auch die Vergleichbarkeit verschiedener Testversionen zwischen den Jahren zu gewährleisten. [4]

Ein Test unterscheidet sich von einer Prüfung: Bei einer typischen Prüfung werden Fragen zu einem laut Lehrplan vermittelten Stoffkatalog gewählt - Ziel ist, dass so viele Personen wie möglich die Prüfung bestehen, die Bewertung einzelner Personen hat keinen Einfluss auf die Bewertung anderer. Der EMS ist dagegen wie die meisten eignungsdiagnostischen Verfahren ein "wettbewerbsorientiertes Reihungsverfahren", welches die Personen nach der Studieneignung optimal differenzieren soll. Die darauf basierende Zulassung zum Studium orientiert sich an festgelegten Kapazitäten. Die Menge der zuzulassenden Personen steht fest - es sollen diejenigen mit der besten Eignung sein (formalisiert als Wahrscheinlichkeit, das Studium erfolgreich abzuschliessen). Die obere Abbildung rechts verdeutlicht diesen Zusammenhang. Jede nachträgliche Korrektur nach "oben" in den Bereich der Zulassung würde bedeuten, dass eine andere Person nach "unten" rutscht und nicht mehr zugelassen wird (was man "Paternostereffekt"[5] nennt).

Typische Wissensfragen in einer Prüfung sind zumeist auch weniger komplex und die Wahrscheinlichkeit, dass an verschiedenen Bildungseinrichtungen unabhängig voneinander sehr ähnliche Fragen gefunden verwendet werden, ist gross und vielleicht sogar erwünscht. Dies gilt auch für Multiple-Choice-Wissensfragen, deren Schweregrad auch durch die gewählten Falschantworten gesteuert wird (siehe Beispiel in der 2. Abbildung rechts).

Die Erstellung der deutlich komplexeren Aufgaben im EMS ist aufwändiger und geht nicht ohne empirische Prüfungen: Diese Evaluation bezieht sich auf die Überprüfung der Aufgaben und Kalibrierung der einzelnen Versionen. Diese Standardisierung ist zumeist teurer als die eigentliche Aufgabenkonstruktion und ein mehrfacher Einsatz der gleichen Aufgaben auch aus ökonomischen Gründen geboten. Alle uns bekannten vergleichbaren Tests (z.B. USA, Schweden, Israel, Japan, unser Partner Deutschland) wenden dieses System der Erprobung bzw. des Mehrfacheinsatzes kombiniert mit hohen Anforderungen an den Testschutz an. Für ad hoc entwickelte und ungeprüfte Aufgaben in komplexen Bereichen ist nicht sichergestellt, dass sie wirklich das Gewünschte messen, eine eindeutig richtige Lösung haben[6]. Eine häufige Kritik an Multiple-Choice-Aufgaben ist es auch, dass es mehr als eine richtige Lösung geben kann. Durch Überprüfung der sogenannten Trennschärfe kann festgestellt werden, ob die Leitungsbesten bevorzugt nur eine einzige Lösung wählen oder auch andere Lösungen höhere (ocher auch nur hohe) Trennschärfen aufweisen und auch als richtig gelten könnten oder ob sie in der Zielgruppe optimal nach der gemessenen Fähigkeit differenzieren. Insofern ist der empirische Beweis erbracht, dass die Aufgaben auch sachlich richtig sind. Diese Ergebnisse der Aufgabenevaluation werden jährlich in den Berichten des ZTD veröffentlicht.

Abweichungen vom Erprobungsprinzip sind dann möglich, wenn es erprobte regelbasierte Aufgabenstrukturen gibt, die jeweils durch neue und bisher unbekannte Inhalte umgesetzt werden. Die Konstruktion muss dann diesen Regeln der Itemgenerierung folgen und diese Struktur umsetzen. Bei "Konzentriertes und sorgfältiges Arbeiten" erfolgt dies seit 2004 erfolgreich, auch weitere Aufgabengruppen (z.B. Fakten lernen, wo dies ab 2015 erfolgen wird) können so umgestellt werden, wenn die "Vollerprobtheit" der Inhalte und damit ihre Wiederholung nicht optimal ist. Erfahrungen mit dieser Itemgenerierung haben sich vor allem in der computerunterstützten Psychodiagnostik entwickelt und bewährt.

Von Beginn an arbeitet die Schweiz hier mit Deutschland zusammen, nutzt den deutschen TMS nach und stellt eine Adaptation für die Schweiz in deutscher, französischer und italienischer Sprache her. Die Unterschiede finden Sie z.B. hier dargestellt. Bei funktionierendem Testschutz in beiden Ländern stellt dies kein Problem dar.

Aufgrund der hohen Entwicklungskosten und der Notwendigkeit zur Vorerprobung ist ein mehrfacher Einsatz der gleichen Aufgaben zwingend. Deshalb muss der Testschutz gewährleisten, dass für jeden Einsatz Bedingungsgleichheit für alle Kandidaten besteht. Testschutz gehört daher mit zur Planung des Testeinsatzes dazu.

Für den EMS gilt, dass Wiederholungen in grösseren Abständen erfolgen. Gute Aufgaben altern auch nicht - der Test ist kein Wissenstest (notwendiges Wissen wird zumeist in der Aufgabe selber mitgeteilt) und es geht darum, bestimmte Problemtypen in den Aufgabengruppen ideal zu formalisieren. Dass die Kennwerte der 14 vorher bekannten Aufgaben 2014 noch denjenigen aus Deutschland 1996 entsprechen, belegt dies eindrucksvoll. Sie sind weder schwerer noch leichter geworden und trennen ebenso Personen nach der Leistung im Gesamttest[7].

Rechtliches: Copyright und Urheberrecht

Die Argauer Zeitung meldet am 10.4.2016 Die Staatsanwaltschaft Lenzburg-Aarau erliess gegen die Aarauer Firma Medtest ein Strafbefehl wegen Urheberrechtsverletzungen. Es geht um gestohlene Testfragen, welche die Aarauer Firma in ihren Vorbereitungskursen für den Numerus Clausus einsetzte..

Es scheint sinnvoll, auf einige Grundsätze hinsichtlich der Rechtslage hinzuweisen. Wir gehen davon aus, dass die übergrosse Mehrheit der Teilnehmenden und Trainingsanbieter diese ohnehin kennen und respektieren.

Die einzelnen Aufgaben des EMS sind urheberrechtlich geschützt: Alle Original-Aufgaben weisen eine ausreichende Schöpfungshöhe bzw. Individualität auf. Es sind Werke im Sinne Artikel 2 URG. Die Wahrscheinlichkeit, dass Dritte "zufällig" eine EMS-identische Aufgabe "erfinden", ist wegen ihrer Komplexität und Individualität praktisch ausgeschlossen[8] Die Menge aller möglichen Aufgaben ist praktisch unendlich, insofern hängt die konkrete Aufgabenkonstruktion von der Individualität und Originalität der Autoren ab - ist quasi die "geistige schöpferische Leistung" der Aufgabenkonstrukteure. Diese individuell-schöpferische Konstruktion der Aufgaben und ihre empirische Kalibrierung sind ggf. ein mehrfach zu durchlaufender Kreisprozess, d.h. bei nicht ausreichender Güte muss eine Überarbeitung der Aufgabe erfolgen. Ein mehrfacher Einsatz von Aufgaben und eine teilweise Neuzusammenstellung der jährlichen Testformen schränken dies nicht ein - im Gegenteil entstehen durch die notwendige Übereinstimmung bestimmter Kennwerte der jeweiligen Anforderungen zusätzliche Zielkriterien für die Aufgabenkonstruktion und -auswahl, welche den Aufwand erhöhen[9].

Da die Aufgaben nicht für eine Veröffentlichung, sondern den internen Testeinsatz vorgesehen sind, stellt jedes Entwenden/Kopieren/Verbreiten auch einen Eingriff in die Sicherheit der Testabnahme dar. Diese Störung der Gleichbehandlung und Gefährdung des gesamten Testeinsatzes ist unter wettbewerbsrechtlichen Gesichtspunkten ein zu ahndender Verstoss.

  • Das Entwenden von Testversionen, seien es Originale, Kopien, illegal angefertigte elektronische Aufzeichnungen o.ä. wird als Diebstahl gewertet, da eine Weitergabe an Dritte grundsätzlich ausgeschlossen ist. Die gedruckten Unterlagen sind Eigentum des ZTD und nicht gemeinfrei.
  • Der Schaden bei Entwendung besteht darin, den Test nicht erneut einsetzen zu können, er ist "verbrannt". Es muss eine Ersatzversion entwickelt werden (neue Aufgaben erstellen, neue empirische Prüfung und Adaptierung in die französische und italienische Sprache). Für den Gesamttest liegt daher die Schadenssumme nicht unter 500'000 Euro[10]. Es bleiben alle straf- und zivilrechtlichen Schritte vorbehalten, diesen objektiv vorhandenen Schaden geltend zu machen.
  • Auch der Versuch (z.B. wenn Personen bei der Absicht der Aufzeichnung entdeckt werden sowie Vorhandensein von Aufzeichnungsgeräten, die bei Kontrollen gefunden werden) kann entsprechend bewertet werden.
  • Die Vervielfältigung sowie die Nutzung solcher Aufgaben in Trainingskursen ist ebenfalls ein Verletzung des Urheberrechts. Erschwerend in diesem Falle wäre das Wissen, dass das Material aus einem Diebstahl stammt – dann handelt es sich ggf. um eine Form der Hehlerei[11].
  • Auch das Nachempfinden von Aufgaben mit dem Ziel eines möglichst originalgetreuen "Kopierens" der Aufgabe und die Anlehnung an die im EMS verwendeten Inhalte stellt eine Verletzung des Urheberrechts dar. Das Copyright wird nicht dadurch hinfällig, dass man sich diese Aufgaben quasi "selbst gemerkt" hat. Hier sollten Personen, die solche Aufgaben Dritten zugänglich machen, ggf. auch damit rechnen, das dies zu Schadenersatzansprüchen führen kann - z.B. die Anbieter ggf. gezwungen sind, die Namen offenzulegen.
  • Das Werben damit, dass solche nachempfundenen Aufgaben im TMS oder EMS verwendet worden seien oder sogar diesen entsprechen würden, stellt daher in der Regel ebenfalls eine Verletzung des Urheberrechts dar. Entsprechen diese Aussagen nicht den Tatsachen, wird auch das Wettbewerbsrecht relevant. Hier werden bei Notwendigkeit ebenfalls alle Rechtsmittel ausgenutzt.

Verpflichtungen der Kursteilnehmer durch die Trainingsanbieter zur Geheimhaltung der das Urheberrecht verletzenden Aufgaben sind dabei übrigens nicht unbeschränkt gültig, weil damit die Mitteilung von Rechtsverletzungen verhindert werden soll. Die Trainingsanbieter müssen damit rechnen, dass das Rechtsempfinden der Teilnehmerinnen und Teilnehmer grösser ist als eine vermeintliche Dankbarkeit für das Profitieren durch Rechtsverletzungen und dass über solche Machenschaften wie geschehen informiert wird.

Selbsterfundene Aufgaben sind dabei aufgrund unserer laufenden Analysen von am Markt zugänglichen Unterlagen[12] unproblematisch. Die Werbung, dass es sich dabei um wirkliche Originalaufgaben handeln würde, ist allerdings irreführend und sollte auch unterlassen werden.

Solange der Testschutz gegeben ist und solange sich die „Lerninstitute“ an die Gesetze halten, keine falschen Versprechungen machen und vor allem das Urheberrecht respektieren, kann man damit auch umgehen (siehe dazu auch Vorbereitungsreport 2014). Aus unseren Kontakten mit einigen Lerninstituten wissen wir, dass diese sich davon ebenfalls distanzieren und das Vorgehen nicht billigen. Sieht man es aus deren Sicht, ist das auch verständlich: Riskiert man doch, dass der "Markt" insgesamt wegbricht, wenn der Test so nicht mehr durchführbar wäre. Es bleibt zu hoffen, dass die laufenden Klagen gegen den Trainingsanbieter auf Offenlegung aller möglicherweise entwendeten Materialien und die Unterlassung der Verwendung ebendieser beim vorhandenen hohen Klagerisiko zumindest schon jetzt eine Wiederholung verhindern - leider mahlen die Mühlen der Justiz manchmal nicht so schnell, um ein Urteil zu finden.

Bitte denken Sie daran: Die Studienplätze sollen fair für alle vergeben werden. Es liegt auch im Interesse aller Kandidatinnen und Kandidaten, dass niemand sich einen Studienplatz durch Betrug erschleicht.

Rechtssicherheit ist notwendig und das Recht muss konsequent angewendet werden

Wenn das Entwenden, Kopieren oder quasiidentische Nachempfinden von Test-Aufgaben sowie das Verbreiten oder Verwenden in Vorbereitungs-Kursen straffrei bliebe, hätte dies Konsequenzen für die gesamte psychologische Eignungsdiagnostik (und auch viele Prüfungen). Dann liesse sich praktisch kein psychologischer Test dieses "High-Stakes-Testing-Bereiches" mehr sicher genug durchführen. Es gibt dort nicht nur einmalig anzuwendene Gruppentests, die Mehrzahl wird in einem Zeitraum mehrfach für Eignungsentscheidungen eingesetzt (auch z.B. bei der der Bewerberauswahl in Unternehmen) - immer geht es um die Zukunft von Menschen, immer greifen die Entscheidungen in deren Schicksale ein. Unvorstellbar, wenn "Spätere" dann von Entwendungen durch die "Früheren" straffrei profitieren würden.

Es ist nicht nur die "Schöpfungshöhe" der Aufgaben (s.o.), sonden auch die sogenannte Validierung, die den Wert des Tests und seiner Aufgaben bestimmt: Kann ich aufgrund der Ergebnisse Erfolg vorhersagen (bei uns im Studium, anderswo in einer beruflichen Position) und Personen mit der grössten Erfolgsaussicht auswählen? Es darf nicht nur eine "vermutete" (hypothetische) Valdidität sein, auch keine "politische" - die wir Eindrucksvalidität nennen (etwa das irgendwelche Aufgaben im Assessment zwar wie soziale Kompetenzmessung aussehen - aber nur die positive Selbstdarstellungsfähigkeit erfassen). Dies muss aufwändig empirisch geprüft werden und macht entsprechende Testaufgaben wertvoll und teuer. Für den EMS und auch den TMS liegen diese Studien vor. Dies bestimmt den Schaden vor allem, der beim "Verbrennen" solcher Tests entsteht und ist hoffentlich auch massgeblich für die Feststellung des Schadensersatzes.

Bei diesen Tests handelt es sich um keine Veröffentlichungen für ein breites Publikum, sondern interne Arbeitswerkzeuge der Testanwender. Die Analogie ist also auch so, dass jemand einem Unternehmen nur dort vorhandene Zutrittskarten stiehlt oder diese nachmacht, dieselben unter seinem Namen dann an Dritte weiterverkauft und sich daran bereichert. Diese Dritten fänden dann unberechtigt Zutritt und würden die eigentlich Berechtigten verdrängen, wenn der Saal quasi voll ist.

Der Kampf gegen elektronische Aufzeichnungsmedien und andere Kopiermethoden ist das eine - dort gibt es immer wieder neue Entwicklungen und auch Abwehrmethoden. Hier sind wir in der Schweiz bisher vergleichsweise sicher und erfolgreich - werden einiges aber weiter überdenken (auch für jeden anderen Test, der verwendet würde). Wir werden - transparent für alle Anbieter - die Grenzen der Ähnlichkeit von Aufgaben genauer definieren und dort deutlich machen, wo wir eine Aufgabe als "verbrannt" sehen würden, was dann rechtliche Konsequenzen haben kann. Dies gilt für jeden Test ab 2016, auch ein anderer hätte über kurz oder lang wieder die gleichen Probleme.

Das Entwendete oder Nachgemachte auch straflos zu verwenden und sogar zum eigenen Gewinn kommerziell zu verbreiten muss auch juristisch ein klares No-Go sein. „Es lohnt sich nicht bzw. es kann teuer werden“ bleibt eine wichtige Abschreckung. Die Ausführungen im Obergerichtsurteil unseres Falles lassen hoffen, dass dies noch weiter als schon bisher juristisch definiert wird. Manchmal braucht es erst ein Urteil, wo klargestellt wird, wie die allgemeine Gesetzeslage auf eine konkrete Situation anzuwenden ist.

Nachweise und Fussnoten

Klick auf Pfeil vor dem Fussnotentext: Sprung zur entsprechenden Stelle im Haupttext

  1. Hier ist gemeint für unbefugte Personen, die sich z.B. die Aufgaben kopieren, um sie nach dem Test für andere Zwecke zu nutzen
  2. Sind die Aufgaben und Lösungen einzelnen Personen bekannt, ist der Test nicht mehr fair, weil einige Personen Vorteile haben. Kennen viele oder alle Personen die Aufgaben, wird es kaum noch Antwortvariation und damit Unterschiede zwischen Personen geben.
  3. Zitat aus der DIN 33430 von 2015: Darüber hinaus muss sichergestellt werden, dass nur Verfahren eingesetzt werden, die von Organisationen/Personen angeboten und vertrieben werden, die beim Vertrieb des Verfahrens bzw. der dazugehörigen detaillierten Informationen sicherstellen, dass die Kandidaten in gleichem Maße Zugang oder keinen Zugang zu Vorinformationen, zu Aufgaben u. a. des Verfahrens haben.
  4. Ein Weg ist, neue Aufgaben in die aktuelle Version mit einzustreuen, aber nicht zu werten. Dann kann man die neuen Aufgaben einer zukünftigen Version exakt so auswählen, dass auch zukünftig äquivalent getestet werden kann. Da niemand vorher weiss, welche Aufgaben gewertet werden und welche nicht, sind die Bedingungen für alle Personen gleich und deshalb ist dieses Verfahren auch bisher allgemein anerkannt worden.
  5. Nicht jeder kennt heute den hier gemeinten Paternoster mehr Fährt eine Kabine hinauf, muss eine andere herunterfahren
  6. Das wurde im Rahmen der fortlaufenden Aufgabenentwicklung für diesen Test auch festgestellt: Ein grosser Teil der von Experten mit viel Erfahrung entwickelten Aufgaben muss verworfen oder noch einmal überarbeitet überprüft werden, ehe sie verwendbar sind
  7. Die bekannte Satire zur "Kartoffelaufgabe" zeigt zumindest, dass die Aufgabenstruktur immer identisch bleibt
  8. Anders als etwa bei Prüfungsfragen, die sich auf einen Stoffkatalog beziehen und Wissen abfragen. Die wiederholt eingesetzten Aufgaben im EMS beziehen sich nur noch auf 5 Aufgabengruppen, die in übergrosser Mehrheit dem Schema folgen: zuerst werden komplexe Sachverhalte dargestellt und dan dazu Fragen gestellt.
  9. Es können nicht beliebige Aufgaben kombiniert werden. Se müssen den gleichen Messgegenstand, vergleichbare Schwierigkeiten, Trennschärfen u.a. haben
  10. Diese Zahl beruht auf Schätzungen aufgrund der Aufwände für Entwicklung sowie Adaptation in der Schweiz, v.a. Übersetzungskosten - nicht gerechnet die zusäzlichen Administrativkosten. Frühere Werte von 300'000 beruhten auf Kostenstrukturen aus den 90er Jahren in Deutschland auf DM-Basis, die heute nicht mehr realistisch sind.
  11. Auch im Falle 2014 wurde im anonymen Brief dargestellt, dass dem Anbieter die Quelle der Aufgaben und die Folgen bei Bekanntwerden der Aufgaben bekannt waren.
  12. Eine grosse Menge an Material ganz unterschiedlicher Qualität zum Test und einzelnen Aufgabengruppen wird mittlerweile angeboten, welches wir und unser deutscher Partner regelmässig analysieren. Die 2014 nicht gewerteten Aufgaben stammten demgegenüber direkt aus einer entwendeten originalen Testversion, die auch intern beim Trainingsanbieter "geschützt" wurde.