Informationen zur Frage und Ziel der Testung:
Frage 3 soll die persönliche Selbstwirksamkeit im schulischen Kontext messen. Das Ziel der kognitiven Nachfragen bestand darin, das Verständnis der einzelnen Items sowie die Fähigkeit, sich auf der Antwortskala zu verorten, zu untersuchen. Darüber hinaus sollte beobachtet werden, ob den Testpersonen (negativ) auffiel, dass nicht gegendert wurde.
Leitfragen und Befunde:
Mit Ausnahme einer Testperson, die das zweite Item zu Schulausflügen unbeantwortet ließ, beantworteten alle Testpersonen alle drei Items. Dem ersten Item, in dem die Testpersonen einschätzen sollten, ob sie sich von ihren Lehrern fair behandelt fühlten, stimmten alle sechs Testpersonen „eher“ oder „voll und ganz“ zu. Das zweite Item, in dem es darum ging, ob die Meinung der Testperson bei der Planung von Schulausflügen berücksichtigt wurde, beantworteten die Testpersonen mit der Mittelkategorie „teils teils“ oder stimmten zu. Die dritte Aussage lautete, dass sich die meisten Lehrer nicht dafür interessieren würden, was Schüler denken. Hier stimmten die Testpersonen nicht zu oder wählten die Mittelkategorie „teils teils“.
Wurde das fehlende Gendern bemerkt, bzw. führte es zu Irritation?
Keine der Testpersonen schien das fehlende Gendern zu bemerken oder kommentierte das Fehlen gendergerechter Sprache.
Frageformat und Antwortoptionen: Wir empfehlen, die Instruktion um den Fall zu ergänzen, dass ein/e Befragte/r kürzlich die Schule gewechselt hat, und die Items für die aktuelle Klasse (noch) nicht beantworten kann:
Wir empfehlen, diese Frage in einem Item-by-Item Design zu präsentieren. In diesem werden die einzelnen Items nicht zu einer Matrix (auch Grid genannt) aufgespannt, sondern so präsentiert, dass jede einzelne Aussage im Vordergrund steht. Das Design verhindert u.a., dass die Darbietung von Fragen sich stark zwischen großen und kleinen Bildschirmen unterscheidet (bspw. Laptop versus Smartphone). Dabei werden die Antwortoptionen häufig vertikal untereinander präsentiert wie bei einer Single-Choice Frage. Viele Programme bieten zudem weitere Layouts an, die das jeweils zu beantwortende Item visuell in den Vordergrund stellt (bspw. ein Item-Karussell). Ein Item-by-Item Design hat außerdem den Vorteil, dass item-spezifische Nonresponse Options, wenn diese notwendig sind, (im Gegensatz zum Matrix-Design) gut eingefügt werden können. Zudem finden bestimmte Tendenzen im Antwortverhalten, wie Straightlining, im Item-by-Item Design seltener statt.
Eine alternative Lösung bestünde darin, die Items so umzuformulieren, dass item-spezifische Antwortoptionen möglich sind. Dies hätte den Vorteil, dass die Items auch leichtere Formen der Diskriminierung erfassen. Beispielsweise lautet Item (a) aktuell „Die meisten meiner Lehrer behandeln mich im Unterricht fair“. Diese Aussage stimmen Befragte nur dann nicht zu, wenn sie sich von den „meisten Lehrern“ unfair behandelt fühlen. Bei einer Umformulierung könnte man auch subtilere Formen der unfairen Behandlung erfassen.
Bei Item a könnte eine solche Umsetzung wie folgt aussehen:
„Wirst Du von Deinen Lehrern im Unterricht fair behandelt?“
Bei Item c könnte eine solche Umsetzung wie folgt aussehen:
„Wie sehr interessieren sich Deine Lehrer im Allgemeinen dafür, was ihr Schüler denkt?
Sie interessieren sich…“
Der Vorteil der item-spezifischen Antworten besteht darin, dass die Interpretation der Antwortoptionen klarer ist als bei Zustimmungsskalen („agree-disagree scales“). Die Ergebnisse des Pretests zeugen zudem davon, dass die Testpersonen Wert darauflegen, dass die Bedeutung der Antwortoptionen klar definiert war (vgl. Frage 4). Item-spezifische Antwortoptionen sind vor allem dann von Vorteil, wenn die Items an Komplexität zunehmen und die Bedeutung der Antwortoptionen ambivalent ist (vgl. Fragen 5 und 6). Durch die Verwendung item-spezifischer Antworten kann eine Mittelkategorie unnötig werden, insbesondere wenn eine item-spezifische Nonresponse Option verwendet wird. Der Nachteil dieses Vorgehens besteht in einer aufwendigen Umformulierung (häufig bereits) bestehender Items mit dem potenziellen Nachteil einer eingeschränkten Vergleichbarkeit mit anderen Erhebungen sowie längeren Response-Zeiten (vgl. Höhne et al., 2018; Revilla & Couper, 2018).
| Item Text | Actively tested |
|---|---|
a. Die meisten meiner Lehrer behandeln mich im Unterricht fair.Item Text:
a. Die meisten meiner Lehrer behandeln mich im Unterricht fair.
Recommendations:
Die Ergebnisse des Pretests deuten auf keine Probleme des Items hin, weshalb es in seiner jetzigen Form belassen werden kann.
Findings:Was verstehen die Testpersonen darunter, im schulischen Kontext „fair behandelt“ zu werden? Die Testpersonen zeigten ein klares und homogenes Verständnis davon, was eine „faire Behandlung“ im schulischen Kontext ausmache. Diese zeige sich vor allem dadurch, dass alle Schüler gleichbehandelt werden und der Umgang von Respekt geprägt sei („Im Unterricht wird jeder Schüler genauso behandelt wie alle anderen […] Die Lehrer sind auch immer respektvoll zu mir.“, TP03) Die Testpersonen nannten eine Vielzahl unterrichtsbezogener Situationen, an denen man festmachen könne, ob ein Lehrer sich fair verhalte, wobei die Beispiele sich meist an (theoretischem) unfairen Verhalten orientierten:
Wie verorten sich die Testpersonen bei Item a auf der Antwortskala? Die Testpersonen verorteten sich ohne Probleme auf der Antwortskala, wobei sich eine klare Differenzierung in der Begründung der Testpersonen zeigte, die „voll und ganz“ bzw. „eher“ zustimmten. Testpersonen begründeten ihre volle Zustimmung damit, dass sie noch keine Situation erlebt hätten, die sie als deutlich unfair wahrgenommen haben, und daher zustimmten:
Die Testpersonen, die der Aussage „eher“ zustimmten, erläuterten hingegen, dass Lehrer sich zwar bemühen würden, immer fair zu sein, dass es aber nicht immer möglich sei, allen Parteien gleichermaßen gerecht zu werden und dass auch persönliche Fehler aufseiten der Lehrer menschlich seien:
Question Topic:
Politik/ Einstellungen, Bewertungen & Ideologien
Construct:Individuelle Selbstwirksamkeit im schulischen Kontext
|
Ja |
b. Wird in meiner Klasse ein Ausflug geplant, berücksichtigen die meisten Lehrer meine Meinung.Item Text:
b. Wird in meiner Klasse ein Ausflug geplant, berücksichtigen die meisten Lehrer meine Meinung.
Recommendations:Wir empfehlen, die Instruktion um den Fall zu ergänzen, dass ein/e Befragte/r kürzlich die Schule gewechselt hat, und die Items für die aktuelle Klasse (noch) nicht beantworten kann (siehe Frageformat und Antwortoptionen. Alternativ kann eine Antwortoption für Befragte hinzuzufügen, die mit ihrer aktuellen Klasse noch keinen Ausflug geplant haben.
Mehrere Testpersonen schienen nicht zu unterscheiden, ob ihre Meinung nur berücksichtigt werde oder bei der Entscheidung für ein Ausflugsziel durchsetze. Um dies zu vermeiden, könnte das Item umformuliert werden:
Findings:Ist das genannte Szenario des Ausflugs für die Testpersonen relevant und wie werden Meinungen in diesem Kontext berücksichtigt? Alle Testpersonen konnten mit dem genannten Szenario, einen Ausflug zu planen, etwas anfangen. Nur eine Testperson erklärte, dass sie erst kürzlich mit Beginn ihrer Ausbildung auf eine Berufsschule gewechselt war und mit der jetzigen Klasse noch keinen Ausflug geplant hatte (TP04). Sie ließ die Aussage unbeantwortet, weil sie sich nicht sicher war, ob sie die Frage für ihre aktuelle oder bisherige Klasse beantworten sollte. Alle Testpersonen beschrieben die Planung eines Ausflugs als gemeinsamen Prozess, in dem Vorschläge in der Klasse gesammelt werden und gemeinschaftlich über ein Ausflugsziel abgestimmt werde:
Nur eine Testperson gab an, dass die Beteiligung der Schülerschaft an der Planung der Ausflugsziele insofern eingeschränkt sei, als dass Ausflugstage teilweise als Wandertage von der Lehrerschaft festgelegt seien:
Eine weitere Testperson erklärte, dass das Mitbestimmungsrecht der Schülerschaft in den höheren Jahrgängen steige:
Wie verorten sich die Testpersonen bei Item b auf der Antwortskala? Obwohl die Testpersonen alle einen ähnlichen demokratischen Prozess beschrieben, stimmten zwei Testpersonen der Aussage „eher“ oder „voll und ganz“ zu, während drei die Mittelkategorie „teils teils“ wählten. Die beiden Testpersonen, die der Aussage zustimmten, betonten in ihrer Begründung, dass ihre Stimme gehört werde:
Die drei Testpersonen, die „teils teils“ wählten, schienen das Verb „berücksichtigen“ sehr eng auszulegen. Ihren Ausführungen zufolge wurde ihre Meinung ebenso wie bei den Testpersonen berücksichtigt, die der Aussage (eher) zustimmten, war aber eben nicht ausschlaggebend sein könne, weil es sich ja um einen demokratischen Prozess handle, in dem die Mehrheit entscheide:
Question Topic:
Politik/ Einstellungen, Bewertungen & Ideologien
Construct:Individuelle Selbstwirksamkeit im schulischen Kontext
|
Ja |
c. Die meisten Lehrer interessiert nicht wirklich, was wir Schüler denken.Item Text:
c. Die meisten Lehrer interessiert nicht wirklich, was wir Schüler denken.
Recommendations:Wir empfehlen, zu überprüfen, welche Situationen genau mit der Formulierung „was Schüler denken“ erfasst werden sollen, bspw. ob es darum geht, dass Lehrer die Schüler als Individuen abseits ihrer Rolle als Schüler wahrnehmen, oder ob es um allgemeinere Aspekte geht, wie dass Schüler bei Lehrern Gehör finden und ein Mitspracherecht bei Belangen der Schülerschaft haben. Wenn die letztere Definition gemeint ist, sollte das Item entsprechend umformuliert werden. Die Verneinung im Itemtext irritierte mehrere Testpersonen und führte dazu, dass sie sich teilweise verkehrt auf der Antwortskala einordneten. Wir empfehlen daher, das Item ohne Negation zu formulieren. Des Weiteren fällt auf, dass bei Item c im Gegensatz zu den vorangegangenen Items nicht nach dem individuellen Befragten gefragt wird, sondern nach der Schülerschaft an sich. Dies ist im Kontext von Frage 3 irrelevant, führt aber zu einer anderen Logik des Vergleichs im Kontext von Frage 5 (vgl. Frage 5). Während die Befragten bei den anderen Items in Frage 5 von ihrer individuellen Perspektive auf andere Menschen mit einem vergleichbaren familiären Hintergrund schließen sollen (also von einer Einzel- auf eine Gruppenperspektive), müssen die Befragten für Item c von der größeren Gruppe der Schülerschaft auf eine kleinere Gruppe der Schüler mit einem vergleichbaren familiären Hintergrund schließen. Findings:Was verstehen die Testpersonen darunter, dass Lehrer sich dafür interessieren, was Schüler denken? Die meisten Testpersonen verstanden das Item so, dass es darum ginge, ob sich die Lehrer für die Schüler als Individuen, also über ihre Rolle als Schüler hinaus, wahrnehmen.
Eine Testperson verstand das Item so, dass es darum ginge, ob sich die Lehrer dafür interessieren, was die Schüler über die Lehrer denken:
Wie verorten sich die Testpersonen bei Item c auf der Antwortskala? Bei dem dritten Item führte die Verneinung im Itemtext bei mehreren Testpersonen zu Verwirrung. Eine Testperson bemerkte und thematisierte dies spontan beim Lesen des Items:
Mindestens eine Testperson, die der Aussage von ihrer Begründung her hätte zustimmen müssen, ordnete sich auch auf der falschen Seite der Skala ein.
Auch bei Testpersonen, die die Skalenrichtung zum Schluss richtig interpretierten, fiel bei der Begründung auf, dass sie um die Ecke denken mussten, um sich auf der Antwortskala zu verorten:
Question Topic:
Politik/ Einstellungen, Bewertungen & Ideologien
Construct:Individuelle Selbstwirksamkeit im schulischen Kontext
|
Ja |
