DE:Testdurchführung

Aus ZTDWIKI
Wechseln zu: Navigation, Suche
Editorlogo3.png
MIRROR ztd.ch


Interpretierbarkeit der Ergebnisse erfordert standardisierte Testbedingungen

Testergebnisse werden in der Regel so interpretiert, dass ein konkretes Ergebnis mit einer bestimmten Norm verglichen wird. Diese Norm wurde an einer Stichprobe ermittelt, wo die Testautoren (oder mit der Normerhebung beauftragten Personen) auf die Einhaltung der Bedingungen achten. Bei der Durchführung von Tests im Internet sind einige Regeln zu beachten, um tatsächlich interpretierbare Ergebnisse zu erhalten. Dabei ist auch die Art der Fragestellung zu beachten:

  • Ist die Person "Auftraggeber", möchte sie selbst mehr über sich erfahren, um eine Entscheidung zu treffen (z.B. Studien- oder Berufswahl), wird sie selbst an der Einhaltung der Bedingungen interessiert sein. Hier muss vor allem über die notwendigen Bedingungen informiert werden, unter denen das Ergebnis wirklich verwendbar ist. Dennoch sind Abweichungen nicht auszuschliessen.
  • Geht es um Auswahlentscheidungen eines Dritten als Auftraggeber, wird die Einhaltung der Bedingungen wesentlich bedeutsamer. Hier kann niemandem wirklich verübelt werden, alle Möglichkeiten zu nutzen, um das günstigste Ergebnis zu erzielen. Vor allem diese Fragestellungen erfordern ein genaues Bedingungsmanagement.

Testbedingungen sind bedeutsam

Technisch ist es möglich, dass jede Person mit der entsprechenden Anmeldeinformation jeden Test von jedem geeigneten PC auf der Welt aus aus bearbeiten kann. Bei allen Tests müssen die Bedingungen bei der Bearbeitung mit den Bedingungen der Normierung grundsätzlich übereinstimmen, damit das Testergebnis gültig interpretiert werden kann. Beispiele für Abweichungen sind z.B.

  • Leistungstests sind besonders sensibel, weil es hier auf die Einhaltung der Standardbedingungen ankommt und zum Beispiel keine die Ergebnisse verfälschenden Hilfsmittel benutzt werden dürfen (Beiziehung von Dritten, Notizen machen bei Lerntests, Benutzung von Taschenrechnern, Nachschlagewerken oder von "Zweit-PC" zum Online-Recherchieren u.a.).
  • Bei Urteilstests, wo es auf eine ehrliche und unverfälsche Beantwortung ankommt, können Randbedingungen wie die Anwesenheit von Angehörigen und die "gemeinsame Diskussion" der Fragen und Antworten dies auch unabsichtlich verhindern, wenn die Person sich nicht durchsetzen kann, dies allein zu bearbeiten und eigene Fehler, Schwächen oder Beschwerden nicht vor Dritten zugeben will.

Möglichkeiten der Kontrolle der Bedingungen

Je nach Fragestellung und Art des Tests sollte daher überprüft werden, was die geeigneten Bedingungen für ein verwendbares Testergebnis sind.

Supervidierte Bearbeitung

Bestimmte Tests, vornehmlich Leistungstests  die nicht zur "Selbsterfahrung" durchgeführt werden, sind grundsätzlich nicht unter unkontrollierten Bedingungen durchführbar. Die Durchführung erfordert eine Supervision durch eine geeignete und entsprechend instruierte Person. Das schränkt vor allem die Orte der Testdurchführung ein auf solche, die eine Kontrolle möglich machen (direkt bei Diagnostikern, spezielle Testräume usw.).  

Kontrollierte Bearbeitung

Bei bedeutsamen eignungsdiagnostischen Untersuchungen mit Supervision, wo die zu testende Person dem Supervisor nicht persönlich bekannt ist (z.B. der Aufsicht in einem Testraum), sollte auch die Identität der Person anhand eines geeigneten Lichtbilddokumentes geprüft werden. Es sind Fälle bekannt, wo die Testbearbeitung durch "Stellvertreter" erfolgte.

Selbständige Bearbeitung trotzdem?

Für Urteilsmethoden (Fragebögen) in eignungsdiagnostischen Untersuchungen ist die mögliche Beiziehung Dritter (mit "Erfahrungen") ebenfalls ein zusätzlicher Verfälschungsfaktor. Natürlich sind auch unter supervidierten Bedingungen Verfälschungstendenzen (sich im günstigsten Licht darzustellen) nicht auszuschliessen. In dem Falle beruht das Ergebnis dann aber garantiert nur auf der Erfahrung dieser Person. Da einige Tests das berücksichtigen (auch Verfälschen will gelernt sein), bleibt das Ergebnis verwendbar.  In den Fällen, wo es um Screening (Vorauswahl) geht und eine spätere ausführlichere Untersuchung die zu positiven Ergebnisse noch einmal überprüft, ist der Einsatz mit dafür geeigneten Verfahren dennoch möglich. Diese Verfahren "verbrennen" dann recht schnell und deshalb sollte man hierzu keine Verfahren einsetzen, die auch für bedeutsame Entscheidungen verwendet werden (z.B. IST-2000R oder WIT-2). Man muss bei Screeningeinsatz nur mit solchen zu positiven Ergebnissen rechnen. Wenn die Person selbst Auftraggeber ist, reicht zumeist eine genaue Aufklärung über die Bedingungen und die Bedeutung der Einhaltung. Auch dann sollten aber nur geeignete Verfahren verwendet werden (siehe Testschutz). 

Testschutz

Mit hohem Aufwand konstruierte Tests, die einem kontrollierten Test-Vertrieb unterliegen, sollten in geeigneter Weise vor zu grosser allgemeiner Bekanntheit geschützt werden, weil ansonsten die Vorbereitung auf den Test einen immer grösseren Stellenwert erhält (sie "verbrennen") und keine Differenzierung mehr nach der Leistung erfolgt. Eine mindestens supervidierte Testdurchführung sollte auch hier das zu leiche Kopieren von Items verhindern. Bei schützenswerten Tests sollten generell nur Anmeldeinformationen verwendet werden, die eine einmalige Testdurchführung ermöglichen (z.B. bei seriellem Testen jeder Person einen eigenen Passport vergeben), damit weitere Testdurchführungen  nicht zum Kopieren der Aufgaben benutzt werden können. Es liegen von anderer Seite Erfahrungen vor, das in zu lange beibehaltenen Auswahlverfahren die Aufgabenlösungen quasi "am Markt" erhältlich sind. Durch unkontrollierte Durchführung wird dieser Effekt zusätzlich begünstigt. Hier gibt es auch für die Testentwickler nur aufwändige Gegenstrategien. Pseudoparallelformen mit vertauschten Aufgabenreihenfolgen und Antwortalternativen wirken nur bedingt, weil "Testtraining" selten nur darin besteht, Antwortreihenfolgen auswendig zu lernen und die richtige Lösung auch an einer anderen Stelle erkannt wird. Echte Parallelformen (gleiche Schwierigkeit, andere Aufgaben) müssen mit Aufwand entwickelt werden. "Itembanking" (man hat von vornherein mehr Aufgaben und jeder Einzeltest ist eine Auswahl aus dem zur Verfügung stehenden Pool mit geringerer Wiederholungswahscheinlichkeit) kann das Problem teilweise entschärfen, setzt aber die Entwicklung dieser grösseren Aufgabenmengen voraus. Dabei muss garantiert werden, dass die Kennwerte (z.B. Schwierigkeit) einer einzelnen Aufgabe immer vergleichbar sind und keine verfälschenden Kontexteffekte durch eine variierende Reihenfolge der Darbietung auftreten (unterschiedliche Vorerfahrung mit dem Test aufgrund der vor der jeweiligen Aufgabe bereits bearbeiteten Aufgaben).

Fragen zu Tests

Fragen während der Testdurchführung sollten immer so allgemein wie möglich bearntwortet werden. Veröffentlichte Tests sind so weit erprobt, dass die Instruktion für die sachgerechte Bearbeitung ausreichend ist. Meist reicht die Wiederholung der entsprechenden Instruktionspassage. Nimmt man zu detailliert Stellung, kann dies die Instruktion unter Umständen verfälschen. Dies gilt für Leistungs- und Urteilstests gleichermassen.


Hogicon transp.png © Hogrefe Verlag Göttingen • 1992 -2012 • Alle Rechte vorbehalten • Impressum