PIAAC-Longitudinal (PIAAC-L) 2014

Einleitungstext:

Im Folgenden geht es darum, dass Sie Ihre eigene Lesekompetenz einschätzen. Lesen ist die Fähigkeit, geschriebenen Text in Form von Sätzen und Abschnitten zu verstehen.

Fragetext:

Ich lese Ihnen jetzt verschiedene Lesetätigkeiten vor. Bitte sagen Sie mir für jede dieser Tätigkeiten, wie gut Sie diese durchführen können. Denken Sie dabei an Ihre Erfahrungen aus Beruf und Alltag.
Bitte geben Sie mir Ihre Antworten anhand dieser Liste.

Instruktionen:

Liste 1 vorlegen!

Antwortkategorien:

Kann ich nicht
Kann ich, aber mit großen Schwierigkeiten
Kann ich, aber mit gewissen Schwierigkeiten
Kann ich problemlos
In der ersten Frage wurden die Items c) und e) systematisch getestet. Zum Einführungstext gab es weder von den Testpersonen noch von den Testleitern Rückfragen, Anmerkungen oder spontane Äußerungen, so dass davon ausgegangen werden kann, dass die Einleitung von den Testpersonen verstanden wird.

Unter den Spontanäußerungen der Testpersonen finden sich vier Kommentare, die sich auf die Skala beziehen. Zwei Testpersonen äußern Probleme mit den Ausprägungen „problemlos“ und „mit gewissen Schwierigkeiten“:
  • „Was ist das denn jetzt mit „gewissen Schwierigkeiten“ gemeint? Dass es ein bisschen länger dauert?“ (TP 09)
  • „(…) wenn dazu zählt, nicht nur einmal zu lesen, sondern zwei- oder dreimal, dann kann ich es problemlos.“ (TP 16)
Testperson 02 hat damit ebenfalls Probleme und merkt an, dass eine Kategorie fehlt: „Ich finde, hier würde noch ein 5. fehlen. Ich finde „kann ich nicht“ und „kann ich problemlos“, das ist so wie entweder „Ja“ oder „Nein“. Und das (…) hier „mit großen Schwierigkeiten“ oder „mit gewissen Schwierigkeiten“, ich finde, das ist so als ob man es nicht so richtig machen könnte. Ich hätte jetzt ein Problem damit zum Beispiel zu sagen „mit gewissen Schwierigkeiten“. Problemlos ist ausschlaggebend für ein „Ja, kann ich“. Ich weiß nicht, mir fehlt da irgendwie…“ (TP 02).

Eine vierte Testperson äußert, dass das Wort „Schwierigkeiten“ nicht angemessen ist und ihr Anstrengung an dieser Stelle geeigneter erscheinen würde: „Das Wort Schwierigkeiten ist hier nicht so geschickt. Mit gewisser Anstrengung wäre besser.“ (TP 07)

Im kognitiven Interview wurde gefragt, worin für die Testpersonen der Unterschied zwischen den Optionen „mit großen Schwierigkeiten“ und „mit gewissen Schwierigkeiten“ besteht. Zwei Testpersonen haben Probleme mit der Unterscheidung (TP 02, 11):
  • „[…] Dieses mit Schwierigkeiten, das ist für mich dann wieder so ein Begriff, als könnte ich irgendwas nicht.“ (TP 02)
  • „Da gibt’s eigentlich keinen Unterschied.“ (TP 11)
Bei einer dritten Testperson ist die Unterscheidung ebenfalls unklar: „Große Schwierigkeiten wären für mich, wenn man eine Sache kennen muss, um die andere verstehen zu können. Große Schwierigkeiten wären aber auch, wenn ich zwei- dreimal lesen muss. Kleine bzw. gewisse Schwierigkeiten, wenn ich es zweimal oder Teile davon mehrmals lesen muss.“ (TP 05).

Von den 17 verbleibenden Testpersonen verbinden zehn Testpersonen (TP 01, 03, 04, 06, 08, 13, 14, 15, 16, 20) mit „großen Schwierigkeiten“, dass die Aufgabe bzw. der Text im Wesentlichen nicht verstanden wird, dass also die (Lese-) Tätigkeit nicht ausgeführt werden kann, zum Beispiel:
  • „Große Schwierigkeiten sind, dass ich halt gar nicht zurechtkomme […]“ (TP 06)
  • „Große Schwierigkeiten habe ich, wenn ich Dinge nicht lösen kann, also sie unlösbar sind.“ (TP 08)
  • „Wenn ich große Schwierigkeiten habe, dann verstehe ich nichts und blicke nicht durch.“ (TP 14)
Diese Testpersonen haben Probleme mit der Abgrenzung der Kategorie „Kann ich, aber mit großen Schwierigkeiten“ von der Kategorie „Kann ich nicht“.

Die Unterscheidung von großen und gewissen Schwierigkeiten gelingt dagegen problemlos. Gewisse Schwierigkeiten heißt für die 17 Testpersonen, die keine Probleme mit der Unterscheidung haben, dass die Schwierigkeiten geringer sind: „Gewisse Schwierigkeiten sind weniger als große Schwierigkeiten.“ (TP 12).

Vier Testpersonen beschreiben gewisse Schwierigkeiten damit, dass lediglich Teilbereiche der (Lese-) Tätigkeit Schwierigkeiten bereiten (TP 04, 09, 16, 19), zum Beispiel:
  • „Gewisse Schwierigkeiten sind Teilbereiche.“ (TP 04)
  • „Gewisse Schwierigkeiten heißt, dass es kleine Teile gibt, wo ich noch einmal genauer hinschauen muss.“ (TP 19)
Für ebenfalls vier Testpersonen bedeutet gewisse Schwierigkeiten, dass sie Textstellen wiederholt nachlesen müssen (TP 01, 13, 18, 20):
  • „Gewisse Schwierigkeiten sind, wenn ich es noch einmal lesen muss.“ (TP 13)
  • „Wenn ich es zwei- dreimal gelesen habe, komme ich dann doch drauf.“ (TP 18)
Für weitere vier Testpersonen besteht der Unterschied zwischen großen und gewissen Schwierigkeiten darin, ob sie jemanden fragen oder nachschlagen müssen oder nicht (TP 07, 09, 10, 17):
  • „Groß würde bedeuten, wenn ich nochmal irgendwo anders eine Hilfestellung bräuchte und jemand anderes fragen muss.“ (TP 07)
  • „Also bei gewissen Schwierigkeiten muss ich kurz grübeln und bei großen frage ich einen Freund oder gucke im Internet.“ (TP 10)
Weiterhin liegen gewisse Schwierigkeiten dann vor, wenn die Lösung der Aufgabe mehr Zeit in Anspruch nimmt (TP 06, 09).

Insgesamt ist festzustellen, dass die Testpersonen mit der Antwortkategorie „Kann ich, aber mit großen Schwierigkeiten“ assoziieren, dass sie es nicht können – das deutet darauf hin, dass diese Kategorie falsch angewendet wird.

Eingesetzte kognitive Technik/en:

General Probing, Specific Probing, Comprehension Probing.
Itemtext Aktiv getestet
Einen kurzen Text, z.B. eine E-Mail oder eine kurze Mitteilung, querlesen und das Wesentliche erfassen. Nein
Schriftliche Anweisungen, wie z.B. ein Rezept oder eine Arbeitsanweisung, lesen und korrekt befolgen. Nein

Itemtext:

Eine Bedienungsanleitung oder ein Handbuch lesen und verstehen, um ein neues Gerät bedienen zu können, z. B. einen Fernseher oder eine Waschmaschine.

Empfehlungen:

Hier sollte spezifiziert werden, dass längere Texte gemeint sind und nicht kurze How-Tos. Der Fragetext könnte folgendermaßen abgewandelt und vereinfacht werden, indem auf den Begriff „Geräte“ verzichtet wird, sondern konkrete Beispiele genannt werden:
„Eine ausführliche Bedienungsanleitung oder ein Handbuch lesen und verstehen, um bspw. einen neuen Fernseher oder eine neue Waschmaschine bedienen zu können.“

Alternativ kann im Originalitem lediglich das Wort „ausführlich“ ergänzt werden:
„Eine ausführliche Bedienungsanleitung oder ein Handbuch lesen und verstehen, um ein neues Gerät bedienen zu können, z. B. einen Fernseher oder eine Waschmaschine.“
Ja
Offizielle Dokumente lesen und verstehen, z.B. einen Arbeitsvertrag, einen Mietvertrag oder einen Versicherungsschein. Nein

Itemtext:

Verschiedene Internetseiten querlesen, um unterschiedliche Informationen zu einem bestimmten Thema herauszufinden, z.B. über eine Krankheit.

Empfehlungen:

Item belassen.
Ja