Informationen zur Frage und Ziel der Testung:
Frage 5 soll die externe Selbstwirksamkeit von Menschen mit einem ähnlichen familiären Hintergrund wie dem des/der Befragten im schulischen Kontext messen. Das Ziel der kognitiven Nachfragen bestand darin, die Assoziationen mit den alternativen Formulierungen „familiärer Hintergrund“ und „familiäre Herkunft“ zu vergleichen, sowie die Verständlichkeit der Erläuterung dazu. Bezüglich der Itembatterie sollte untersucht werden, ob und wie die Testpersonen ihren familiären Hintergrund in die Beantwortung der Frage einbezogen. Dabei lag ein Fokus darauf, welche Bedeutung es für die Testpersonen hatte, einer Aussage nicht zuzustimmen.
Leitfragen und Befunde:
Die erste Aussage wurde von allen Testpersonen mit dem Wert „stimme gar nicht zu“ beantwortet. Die zweite und dritte Aussage wurde jeweils von einer Testperson nicht beantwortet. Bei der zweiten Aussage stimmten vier Testpersonen der Aussage (eher) zu, während eine ihr „gar nicht“ zustimmte. Der dritten Aussage stimmten zwei Testpersonen „gar nicht“ zu, während drei ihr (eher) zustimmten.
FRAGEVERSION („FAMILIÄRER HINTERGRUND“ UND „FAMILIÄRE HERKUNFT“)
Wurde die Erläuterung zu „familiärer Hintergrund“ bzw. „familiäre Herkunft“ von den Testpersonen gelesen und verstanden?
Vier Testpersonen gaben an, die Erklärung bewusst gelesen zu haben, während zwei Testpersonen sie eher überflogen hatten. Beide Testpersonen, die die Erläuterung nur überflogen, waren der Version 2 mit der Formulierung „familiäre Herkunft“ zugeteilt.
Fünf Testpersonen fanden die Erläuterung „sehr verständlich“. Davon äußerte eine Person, dass sie zunächst eine Definition „wie aus dem Duden“ erwartet hatte, die lebensnahe Beschreibung aber als sehr eingehend empfand (TP05). Eine Testperson fand die Erläuterung zu „familiärer Hintergrund“ nur „eher“ verständlich, gab allerdings an, dass sie nach dem Lesen „genau wusste, was gemeint“ sei. Zudem empfand diese Testperson, dass der Bildungsgrad der Eltern eine wenig relevante Facette des familiären Hintergrunds im Vergleich zur Herkunft und zum Einkommen darstellte:
Besteht für die Testpersonen ein Unterschied zwischen den Formulierungen?
Die meisten Testpersonen sahen einen deutlichen Unterschied zwischen den Formulierungen „familiärer Hintergrund“ und „familiärer Herkunft“. Dabei umfasste der Begriff „Hintergrund“ mehr Facetten als der Begriff „Herkunft“, der vor allem als Ursprungsland der Familie oder im Sinne der ethnischen Herkunft gedeutet wurde:
An welche Aspekte ihres familiären Hintergrunds denken die Testpersonen beim Beantworten der Fragen?
Trotz der deutlichen Unterscheidung der Begriffe familiärer „Hintergrund“ und „Herkunft“, berücksichtigten viele Testpersonen unabhängig von der präsentierten Frageversion nur eine Auswahl an Aspekten bei der Beantwortung der Fragen. Insbesondere erwähnte keine der Testpersonen den Aspekt „Bildungsgrad der Eltern“ als relevant im Kontext der Itembatterie zum familiären Hintergrund im schulischen Kontext. Die Auswahl der Facetten schien sich nach einer individuellen und subjektiven Einschätzung dessen zu richten, welche Aspekte ihres familiären Hintergrundes sie selbst oder Mitschüler im Alltag besonders prägten.
Von den Testpersonen, die Version 1 mit der Formulierung „familiärer Hintergrund“ beantworteten, berücksichtigte eine Person die drei Aspekte Herkunftsland, Bildung der Eltern und verfügbares Einkommen wie im Erläuterungstext genannt (TP05). Eine zweite legte den ausschließlichen Fokus auf das Herkunftsland der Familie, wobei sie Faktoren wie Hautfarbe und Religion als Unteraspekte der Herkunft betrachtete (TP01). Die dritte Person hingegen berücksichtigte ausschließlich die finanzielle Situation der Familie und ob die Familie intakt sei (TP02).
Ähnlich verhielt es sich bei den Testpersonen, die Version 2 mit der Formulierung „familiäre Herkunft“ angezeigt bekamen. Eine Testperson berücksichtigte ausschließlich das Herkunftsland (TP03), eine das Herkunftsland und die finanzielle Situation der Familie (TP06) und die dritte die finanzielle Situation und Religionsangehörigkeit (TP04).
ITEMS
Wie berücksichtigen die Testpersonen beim Beantworten der Fragen ihren familiären Hintergrund und wie verorten sie sich auf der Antwortskala?
Die Testpersonen zeigten ein Bewusstsein dafür, dass es sich in Frage 5 um die gleichen Konstrukte wie zuvor in Frage 3 handelte, mit dem Unterschied, dass sie nun ihren familiären Hintergrund einbeziehen sollten. Dies wurde mit Interesse wahrgenommen, aber vor allem als Herausforderung kommentiert:
Eine Testperson äußerte Schwierigkeiten damit, sich als Teil einer Gruppe von Menschen mit ihrem familiären Hintergrund zu verstehen, weil ihr Hintergrund individuell und selten sei. Sie beantwortete nur das erste Item von Frage 5.
Ob der Bezug zu anderen Schülern mit ähnlichem familiärem Hintergrund ein Problem darstellte, unterschied sich allerdings weniger nach dem individuellen Hintergrund der Testpersonen als nach den Items an sich, was im Folgenden anhand der einzelnen Items ausgeführt wird.
Itemtext | Aktiv getestet |
---|---|
a. Im Unterricht bekomme ich von den meisten Lehrern wegen meines/r familiären Hintergrunds/Herkunft weniger Unterstützung als andere Schüler.Itemtext:
a. Im Unterricht bekomme ich von den meisten Lehrern wegen meines/r familiären Hintergrunds/Herkunft weniger Unterstützung als andere Schüler.
Empfehlungen:
Die Ergebnisse des Pretests deuten auf keine Probleme beim Verständnis oder Beantworten des Items hin, weshalb es in seiner jetzigen Form belassen werden kann. Hier muss allerdings einschränkend erwähnt werden, dass sämtliche Testpersonen der Aussage nicht zustimmten, und etwaige Verständnisprobleme auf diese Weise möglicherweise unentdeckt blieben.
Befund zum Item:Die erste Aussage wurde von allen sechs Testpersonen mit „stimme gar nicht zu“ beantwortet. Alle Testpersonen begründeten ihre Antwort damit, dass ihre Lehrer nicht nach familiärem Hintergrund unterscheiden würden:
Thema der Frage:
Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Familiärer Hintergrund und Selbstwirksamkeit im schulischen Kontext
|
Ja |
b. Bei der Planung von Ausflügen berücksichtigen die meisten Lehrer die Meinungen der Schüler mit meinem/r familiären Hintergrund/ Herkunft genauso wie die aller anderen Schüler.Itemtext:
b. Bei der Planung von Ausflügen berücksichtigen die meisten Lehrer die Meinungen der Schüler mit meinem/r familiären Hintergrund/ Herkunft genauso wie die aller anderen Schüler.
Empfehlungen:
Das Item wurde im Rahmen des Pretests nicht explizit untersucht. Allerdings deuten die Befunde zur Frage darauf hin, dass manche Testpersonen die Richtung der Antwortskala falsch interpretierten.
Befund zum Item:Drei Testpersonen stimmten der Aussage „voll und ganz“ und eine weitere „eher“ zu. Nur eine Testperson wählte die Antwort „stimme gar nicht zu“. Dieselbe Testperson, die bereits die Aussage zu Ausflügen in Frage 3 nicht beantwortet hatte, ließ auch diese Aussage unbeantwortet.
Obgleich die zweite Aussage nicht explizit untersucht wurde, deuteten die Aussagen der Testpersonen darauf hin, dass zumindest diejenigen, die der Aussage zustimmten, die Aussage richtig verstanden:
Thema der Frage:
Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Familiärer Hintergrund und Selbstwirksamkeit im schulischen Kontext
|
Ja |
c. Die meisten Lehrer interessiert nicht wirklich, was Schüler mit meinem/r familiären Hintergrund/ Herkunft denken.Itemtext:
c. Die meisten Lehrer interessiert nicht wirklich, was Schüler mit meinem/r familiären Hintergrund/ Herkunft denken.
Empfehlungen:
Die Ergebnisse des Pretests deuten auf schwerwiegende Probleme mit Item c hin, die sich teilweise auf das korrespondierende Item aus Frage 3 übertragen lassen. Insbesondere zeigte sich im Vergleich der Fragen 3 und 5, dass die Testpersonen keine stabile (reliable) Meinung dazu haben, ob sich Lehrer dafür interessieren, was Schüler denken. Zudem führte die Negation im Itemtext zu Verständnisschwierigkeiten und trug maßgeblich dazu bei, dass sich Testpersonen auf der falschen Seite der Antwortskala einordneten. Die Negation im Itemtext sollte daher in jedem Fall gestrichen werden.
Befund zum Item:Das dritte Item bereitete den Testpersonen in mehrerer Hinsicht Schwierigkeiten.
(1) Die Negation im Itemtext („interessiert nicht“) wurde überlesen oder nicht verstanden. (2) Die zusätzliche Berücksichtigung der Gruppenzugehörigkeit („Schüler mit meinem familiären Hintergrund“) bereitete mehreren Testpersonen Schwierigkeiten. (3) Mehrere Testpersonen schienen keine stabile Meinung dazu zu haben, ob sich Lehrer dafür interessieren, was sie denken. Die aufgezählten Schwierigkeiten äußerten sich (a) durch Ändern der ausgewählten Antwort, (b) durch Uminterpretationen der Bedeutung des Items, (c) durch inkonsistente Begründungen im Vergleich zum vergleichbaren Item in Frage 3, und (d) durch ein Einordnen auf der falschen Seite der Antwortskala trotz wiederholten Lesens des Items und lautem Denken beim Antworten. Diese teils überlappenden Probleme werden im Folgenden anhand mehrerer Testpersonen nachempfunden. Zunächst sei der Antwortprozess einer Testperson beschrieben, die ihre Antwort änderte. Die Testperson hatte bei dem korrespondierenden Item in Frage 3 angegeben, dass es die meisten Lehrer interessieren würde, was Schüler denken. Sie dachte zunächst darüber nach, ob es Lehrer interessiere, was sie als Individuum denke, um dann Rückschlüsse darauf zu ziehen, ob es Lehrer interessiere, was Schüler mit einem vergleichbaren familiären Hintergrund denken. Die Testperson wählte zuerst die Antwortoption „stimme gar nicht zu“, dachte beim Beantworten aber laut über die Negation und die Bedeutung der Antwortskala nach und änderte ihre Antwort schließlich auf „stimme voll und ganz zu“. So gelang es der Testperson schließlich, zu einer stimmigen Interpretation der Aussage zu gelangen und eine dazu passende Antwort zu geben:
Auch eine zweite Testperson verstand das Item im Sinne, ob Lehrer Schüler mit Migrationshintergrund weniger Gehör schenken. Auch diese Testperson verortet sich zusätzlich zu der Fehlinterpretation auf der falschen Seite der Antwortskala:
Thema der Frage:
Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Familiärer Hintergrund und Selbstwirksamkeit im schulischen Kontext
|
Ja |