Frageformat und Antwortoptionen: Da einige Testpersonen bei verschiedenen Fragen Probleme hatten, sich zwischen Person A und B zu entscheiden, und ihren Unmut über das Fehlen alternativer Antworten äußerten, empfehlen wir, das Einbauen einer expliziten Non-response Kategorie („Beide“ bzw. „Keine von beiden“) zu überprüfen. Die Höhe der Item Non-response und der Drop-out Rate mit und ohne Non-response Kategorie sollte in einem quantitativen Pretest untersucht werden.
Zudem sollte die Beschreibung von Person A umgeschrieben werden, um deutlich zu machen, ob es sich um eine (Real-)Schülerin handele und ob die beiden beschrieben Personen etwa gleich alt sind.
Frage 13: Die Antworten von zwei Testpersonen weisen darauf hin, dass der direkte Vergleich, ob (dieselben) Lehrer Person A oder B mehr zutrauen, hypothetischer Natur ist, da die beiden beschriebenen Personen verschiedene Schulformen besuchen. Dies zwingt die Befragten dazu, entweder einen real nichtexistierenden Vergleich anzustellen, oder aber stattdessen die beschriebenen Personen in-nerhalb eines nicht beschriebenen Klassenverbandes zu bewerten. Hinzu kommt, dass „einem Schüler etwas zutrauen“ sowohl im Sinne der kognitiven Fähigkeiten als auch der Fähigkeit, Verantwortung in der Klassengemeinschaft zu übernehmen, ausgelegt werden kann.
Es könnte daher zu einem systematischen Bias im Antwortverhalten kommen: Befragte, die die Frage so auffassen, dass es um den direkten Vergleich der kognitiven Fähigkeiten der beschriebenen Personen geht, wählen dabei aufgrund des Bildungswegs eher Person B aus, während Befragte, die bewerten, wie wahrscheinlich es ist, dass ein Lehrer der jeweiligen Person Verantwortung innerhalb ihrer Klassengemeinschaft überträgt, aufgrund der Herkunft eher Person A auswählen.
Informationen zur Frage und Ziel der Testung:
Frage 13 soll binär erfassen, welcher Person im schulischen Kontext mehr Wirksamkeit zukommt.
Leitfragen und Befunde:
Alle der Fragen 13 bis 16 wurden von einer oder zwei der Testpersonen nicht beantwortet, wobei zu beachten ist, dass es sich um insgesamt drei der Testpersonen handelte, die eine, zwei bzw. drei Fragen unbeantwortet ließen.
In Bezug auf die Fragen im schulischen Kontext, stimmten in Frage 13 drei Testpersonen zu, dass Person B von ihren Lehrern mehr zugetraut werde. Allerdings gaben alle Testpersonen, die Frage 15 beantworteten, an, dass Person B in der Schule eher unfair behandelt werden würde.
Bezüglich der politischen Wirksamkeit stimmten jeweils drei Testpersonen dafür, dass Person A eher von der Politik gehört werde (Frage 14) und später eher Einfluss auf die Politik nehmen könne (Frage 16).
Was verstehen die Testpersonen in der Frage darunter, dass Lehrer einem Schüler mehr zutrauen?
Die Testpersonen stellten sich eine Reihe von Situationen vor, in denen ein Lehrer einem Schüler Verantwortung innerhalb der Klassengemeinschaft überträgt, bspw. um einen Sachverhalt zu erklären, Streit zu schlichten oder als Klassensprecher zu fungieren:
Eine Testperson war sich unsicher, ob es um das Übernehmen von Verantwortung gehe, oder darum, wie der Lehrer die kognitiven Fähigkeiten und das Wissen der Schüler bewerte. Sie ließ die Frage deswegen unbeantwortet:
Aus welchen Gründen entscheiden sich die Testpersonen bei Frage 13 für eine Person?
Drei Testpersonen antworteten, dass ein Lehrer eher Person B mehr zutrauen würde, allerdings unterschieden sich die Antwortbegründungen hinter dieser Antwort deutlich voneinander. Die erste Testperson begründete ihre Antwort mit dem höheren Bildungsweg, den Person B anstrebe. Dabei stellte sich die Testperson ein hypothetisches Szenario vor, in dem ein und derselbe Lehrer einen Realschüler und einen Gymnasiasten direkt vergleicht:
Die zweite Testperson kommentierte zunächst, dass es vom Lehrer und seinen eventuellen Vorurteilen abhänge, wem er mehr zutraue, und nicht von den Schülerinnen. Die Testperson forderte eine weitere Antwortkategorie „Beide gleichermaßen“ und kündigte an, die Frage unbeantwortet zu lassen, weil sie ihr „zu offen“ gestellt sei. Dann griff die Testperson wieder darauf zurück, sich konkrete Personen vorzustellen, wobei sie sich im Zuge dessen deutlich von den Informationen auf der Vignette löste (vgl. Frage 10). In Frage 13 stellte sie sich Person B als eine aufmerksame, leistungsstarke Schülerin und Person A als eine unaufmerksame Schülerin mit schlechten Noten vor. Sie entschied sich am Ende ihrer Ausführungen dafür, Person B auszuwählen:
Die dritte Testperson, die Person B auswählte, tat dies nach dem Ausschlussprinzip, weil in der Beschreibung von Person A stand, dass diese bereits einen Realabschluss hätte. Es wirkte so, als hielte diese Person die Frage für einen Aufmerksamkeitstest:
Nur eine Testperson antwortete, dass Person A mehr zugetraut werden würde (TP05). Diese Testperson argumentierte, dass sie beim Beantworten der Frage den Bildungsweg außen vorlasse, und deswegen dem „deutschen, reichen Mädchen“ mehr zugetraut werde als der Person B, „auch wenn sie intelligenter [sei]“.
Schließlich ließ neben TP04 noch eine weitere Testperson die Frage unbeantwortet. Sie fragte spontan, ob es denn keinen „Mittelweg“ gäbe, also eine Antwortkategorie, dass beiden gleich viel zugetraut werde. Diese Testperson würde neben Frage 13 auch Fragen 14 und 15 aus Ärger über die Fragestellung unbeantwortet lassen:
FRAGEN 13 bis 16: Begründen die Testpersonen ihre Antworten konsistent über Fragen 13 bis 16 hinweg?
Die Testpersonen unterschieden sich teilweise (1) bezüglich der genauen Interpretation der Frage, (2) welche Fragen für sie anhand der vorhandenen Informationen zu Personen A und B gut zu beantworten waren, und (3) welche Eigenschaften von Personen A und B im Kontext der jeweiligen Frage ausschlaggebend für ihre Antwort waren. Dennoch argumentierte jede Testperson über die Fragen hinweg schlüssig, wie sie zu ihren Antworten gekommen waren.
