zur Pretest Datenbank Pretest-Datenbank
Projektname:Projekt RISS – Fragen zu Selbstwirksamkeitsüberzeugungen von Jugendlichen im schulischen und politischen Kontext
  2. Einleitungstext: Nun werden dir zwei Jugendliche im Alter von 16 Jahren und ihre Familien beschrieben. Wir nennen diese beiden Jugendlichen „Person A“ und „Person B“. Die beiden Personen unterscheiden sich in verschiedenen Bereichen, aber haben manche Merkmale auch gemeinsam.
    Bitte schaue dir die Beschreibungen in Ruhe an und achte dabei auf Unterschiede und Gemeinsamkeiten.

    Person A
    lebt auf dem Land
    weiblich
    hat einen Realschulabschluss (Mittlere Reife)
    Die Familie ist christlich
    Die Familie stammt aus Deutschland
    Die Familie hat ein großes Haus, in dem alle ein eigenes Zimmer haben

    Person B
    lebt auf dem Land
    weiblich
    besucht ein Gymnasium
    Die Familie ist muslimisch
    Die Familie stammt nicht aus Deutschland
    Die Familie hat eine Mietwohnung, die eigentlich zu klein für alle ist
  3. Fragetext: Welcher Person wird von ihren Lehrern mehr zugetraut?
  4. Instruktionen: Bitte wähle eine Antwortmöglichkeit aus.
  6. Antwortkategorien Person A

    Person B

    1. Empfehlungen: Frageformat und Antwortoptionen: Da einige Testpersonen bei verschiedenen Fragen Probleme hatten, sich zwischen Person A und B zu entscheiden, und ihren Unmut über das Fehlen alternativer Antworten äußerten, empfehlen wir, das Einbauen einer expliziten Non-response Kategorie („Beide“ bzw. „Keine von beiden“) zu überprüfen. Die Höhe der Item Non-response und der Drop-out Rate mit und ohne Non-response Kategorie sollte in einem quantitativen Pretest untersucht werden.
      Zudem sollte die Beschreibung von Person A umgeschrieben werden, um deutlich zu machen, ob es sich um eine (Real-)Schülerin handele und ob die beiden beschrieben Personen etwa gleich alt sind.

      Frage 13: Die Antworten von zwei Testpersonen weisen darauf hin, dass der direkte Vergleich, ob (dieselben) Lehrer Person A oder B mehr zutrauen, hypothetischer Natur ist, da die beiden beschriebenen Personen verschiedene Schulformen besuchen. Dies zwingt die Befragten dazu, entweder einen real nichtexistierenden Vergleich anzustellen, oder aber stattdessen die beschriebenen Personen in-nerhalb eines nicht beschriebenen Klassenverbandes zu bewerten. Hinzu kommt, dass „einem Schüler etwas zutrauen“ sowohl im Sinne der kognitiven Fähigkeiten als auch der Fähigkeit, Verantwortung in der Klassengemeinschaft zu übernehmen, ausgelegt werden kann.
      Es könnte daher zu einem systematischen Bias im Antwortverhalten kommen: Befragte, die die Frage so auffassen, dass es um den direkten Vergleich der kognitiven Fähigkeiten der beschriebenen Personen geht, wählen dabei aufgrund des Bildungswegs eher Person B aus, während Befragte, die bewerten, wie wahrscheinlich es ist, dass ein Lehrer der jeweiligen Person Verantwortung innerhalb ihrer Klassengemeinschaft überträgt, aufgrund der Herkunft eher Person A auswählen.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting Category Selection Probing, Comprehension Probing, Difficulty Probing, Specific probing, Emergent Probing
  3. Befund zur Frage: Informationen zur Frage und Ziel der Testung:
    Frage 13 soll binär erfassen, welcher Person im schulischen Kontext mehr Wirksamkeit zukommt.

    Leitfragen und Befunde:
    Alle der Fragen 13 bis 16 wurden von einer oder zwei der Testpersonen nicht beantwortet, wobei zu beachten ist, dass es sich um insgesamt drei der Testpersonen handelte, die eine, zwei bzw. drei Fragen unbeantwortet ließen.
    In Bezug auf die Fragen im schulischen Kontext, stimmten in Frage 13 drei Testpersonen zu, dass Person B von ihren Lehrern mehr zugetraut werde. Allerdings gaben alle Testpersonen, die Frage 15 beantworteten, an, dass Person B in der Schule eher unfair behandelt werden würde.
    Bezüglich der politischen Wirksamkeit stimmten jeweils drei Testpersonen dafür, dass Person A eher von der Politik gehört werde (Frage 14) und später eher Einfluss auf die Politik nehmen könne (Frage 16).

    Was verstehen die Testpersonen in der Frage darunter, dass Lehrer einem Schüler mehr zutrauen?
    Die Testpersonen stellten sich eine Reihe von Situationen vor, in denen ein Lehrer einem Schüler Verantwortung innerhalb der Klassengemeinschaft überträgt, bspw. um einen Sachverhalt zu erklären, Streit zu schlichten oder als Klassensprecher zu fungieren:
    • „Wenn zum Beispiel der Lehrer jemanden fragt, ob er jemandem anderen etwas erklären kann, oder wenn jemand eine Aufgabe vorrechnen soll.“ (TP01)
    • „Es gibt Aufgaben in der Klasse, zum Beispiel ein Klassensprecher oder eine verantwortliche Person für die Klasse zu sein. Je mehr Verantwortung man trägt, daran würde ich es ausmachen.“ (TP06)
    Eine Testperson war sich unsicher, ob es um das Übernehmen von Verantwortung gehe, oder darum, wie der Lehrer die kognitiven Fähigkeiten und das Wissen der Schüler bewerte. Sie ließ die Frage deswegen unbeantwortet:
    • „Ich könnte mir vorstellen, dass der Lehrer zwischen den Schulabschlüssen unterscheidet. Ein Lehrer könnte sagen ‚Du hast ein Gymnasium besucht und da den Abschluss gemacht, also weißt Du sicher mehr über das und das‘ […] Vielleicht geht es aber auch um organisatorische Sachen, oder ob es etwas zu erklären gibt oder um jemandem zuzutrauen, die Klasse zu managen, Klassensprecher zu sein oder einen Streit zu schlichten?“ (TP04)
    Aus welchen Gründen entscheiden sich die Testpersonen bei Frage 13 für eine Person?
    Drei Testpersonen antworteten, dass ein Lehrer eher Person B mehr zutrauen würde, allerdings unterschieden sich die Antwortbegründungen hinter dieser Antwort deutlich voneinander. Die erste Testperson begründete ihre Antwort mit dem höheren Bildungsweg, den Person B anstrebe. Dabei stellte sich die Testperson ein hypothetisches Szenario vor, in dem ein und derselbe Lehrer einen Realschüler und einen Gymnasiasten direkt vergleicht:
    • „Ich bin davon ausgegangen, wenn eine Person aufs Gymnasium geht und die andere auf die Realschule, dass das ein anderes Level bedeutet. Ich bin vor Kurzem vom Gymnasium auf die Realschule gewechselt und mir fällt auf einmal alles sehr leicht. Deswegen bin ich davon ausgegangen, dass – wenn man die gleichen Lehrer hätte – dass die einem Gymnasiasten mehr zutrauen würden.“ (TP01)
    Die zweite Testperson kommentierte zunächst, dass es vom Lehrer und seinen eventuellen Vorurteilen abhänge, wem er mehr zutraue, und nicht von den Schülerinnen. Die Testperson forderte eine weitere Antwortkategorie „Beide gleichermaßen“ und kündigte an, die Frage unbeantwortet zu lassen, weil sie ihr „zu offen“ gestellt sei. Dann griff die Testperson wieder darauf zurück, sich konkrete Personen vorzustellen, wobei sie sich im Zuge dessen deutlich von den Informationen auf der Vignette löste (vgl. Frage 10). In Frage 13 stellte sie sich Person B als eine aufmerksame, leistungsstarke Schülerin und Person A als eine unaufmerksame Schülerin mit schlechten Noten vor. Sie entschied sich am Ende ihrer Ausführungen dafür, Person B auszuwählen:
    • „Ich stelle mir das so vor, zum Beispiel ein Chemieexperiment. Es gibt eine Person, die gar nicht in Chemie aufgepasst hat und eine Person, die sehr gut in Chemie ist. Der Lehrer vertraut der Person, die mega gut aufgepasst hat und gute Noten hat, natürlich viel mehr als der Person, die nie aufpasst und schlechte Noten schreibt. Deswegen denke ich, dass Person B mehr zugetraut wird.“ (TP02)
    Die dritte Testperson, die Person B auswählte, tat dies nach dem Ausschlussprinzip, weil in der Beschreibung von Person A stand, dass diese bereits einen Realabschluss hätte. Es wirkte so, als hielte diese Person die Frage für einen Aufmerksamkeitstest:
    • „Bei Person A steht ja, sie hat einen Realschulabschluss, das heißt sie ist nicht mehr auf der Schule und hat wahrscheinlich keinen Lehrer mehr. Deswegen nehme ich Person B. Ansonsten würde ich eher Person A nehmen, aber ich weiß ja nicht, ob die Person jetzt Fachabi macht. […] So wie es dasteht, denke ich mir: Wie soll ein Lehrer Person A noch etwas zutrauen, wenn sie doch keinen Lehrer mehr hat?“ (TP06)
    Nur eine Testperson antwortete, dass Person A mehr zugetraut werden würde (TP05). Diese Testperson argumentierte, dass sie beim Beantworten der Frage den Bildungsweg außen vorlasse, und deswegen dem „deutschen, reichen Mädchen“ mehr zugetraut werde als der Person B, „auch wenn sie intelligenter [sei]“.
    Schließlich ließ neben TP04 noch eine weitere Testperson die Frage unbeantwortet. Sie fragte spontan, ob es denn keinen „Mittelweg“ gäbe, also eine Antwortkategorie, dass beiden gleich viel zugetraut werde. Diese Testperson würde neben Frage 13 auch Fragen 14 und 15 aus Ärger über die Fragestellung unbeantwortet lassen:
    • „Ich finde, dass beide gleich sein sollten, weil es bei mir im Schulalltag auch so ist, dass beiden auch mehr zugetraut wird. Wir haben zwei Schülersprecher, davon ist eine Muslimin und eine Deutsche, und bei uns wird beiden gleich viel zugetraut. Unsere Lehrerin geht auch zu der Muslimin und sagt ‚Guck Du bitte nach der Klasse, dass sie nicht laut wird‘.“ (TP03)
    FRAGEN 13 bis 16: Begründen die Testpersonen ihre Antworten konsistent über Fragen 13 bis 16 hinweg?
    Die Testpersonen unterschieden sich teilweise (1) bezüglich der genauen Interpretation der Frage, (2) welche Fragen für sie anhand der vorhandenen Informationen zu Personen A und B gut zu beantworten waren, und (3) welche Eigenschaften von Personen A und B im Kontext der jeweiligen Frage ausschlaggebend für ihre Antwort waren. Dennoch argumentierte jede Testperson über die Fragen hinweg schlüssig, wie sie zu ihren Antworten gekommen waren.
  2. Thema der Frage: Politik/ Einstellungen, Bewertungen & Ideologien
  3. Konstrukt: Vignetten - Wirksamkeit im schulischen und politischen Kontext