zur Pretest Datenbank Pretest-Datenbank
Projektname:Projekt RISS – Fragen zu Selbstwirksamkeitsüberzeugungen von Jugendlichen im schulischen und politischen Kontext
  2. Einleitungstext: Nun werden dir zwei Jugendliche im Alter von 16 Jahren und ihre Familien beschrieben. Wir nennen diese beiden Jugendlichen „Person A“ und „Person B“. Die beiden Personen unterscheiden sich in verschiedenen Bereichen, aber haben manche Merkmale auch gemeinsam.
    Bitte schaue dir die Beschreibungen in Ruhe an und achte dabei auf Unterschiede und Gemeinsamkeiten.

    Person A
    lebt auf dem Land
    weiblich
    hat einen Realschulabschluss (Mittlere Reife)
    Die Familie ist christlich
    Die Familie stammt aus Deutschland
    Die Familie hat ein großes Haus, in dem alle ein eigenes Zimmer haben

    Person B
    lebt auf dem Land
    weiblich
    besucht ein Gymnasium
    Die Familie ist muslimisch
    Die Familie stammt nicht aus Deutschland
    Die Familie hat eine Mietwohnung, die eigentlich zu klein für alle ist
  3. Fragetext: Was glaubst du, welches Ansehen Person A erreichen wird?
  4. Instruktionen: Bitte mach EIN Kreuz, um uns zu sagen, was du glaubst, wie Person A in unserer Gesellschaft angesehen wird.
    Hier bedeutet ganz links, dass die Stellung der Person sehr niedrig ist. Ganz rechts bedeutet, dass ihre Stellung sehr hoch ist.
  6. Antwortkategorien 0 sehr niedrig

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10 sehr hoch

    1. Empfehlungen: Die Anzahl der Skalenpunkte kann bei Bedarf reduziert werden (siehe Fragen 9 und 10). Zudem empfehlen wir, beim Layout darauf zu achten, dass die Mittelkategorie als solche klar erkennbar ist.

      Frageformat und Antwortoptionen: Zwar beantworteten die Testpersonen alle Frage 10 und mit einer Ausnahme auch die Fragen 11 und 12. Zudem gaben sie konsistente Antworten auf die drei Fragen. Allerdings äußerten mehrere Testpersonen Bedenken bezüglich des Inhalts der Frage, die sie als unangenehm und anhand der verfügbaren Informationen als nicht beantwortbar empfanden. Wir empfehlen daher, die Non-response- und Abbruchrate bei diesem Frageblock in einem quantitativen Pretest zu untersuchen.
      Um es den Befragten zu erleichtern, ihre Antworten in Bezug zueinander zu setzen, kann erwogen werden, die drei Fragen auf einer Seite zu präsentieren (vgl. Fragen 7 bis 9). Damit wüssten die Befragten, dass auf die binäre Abfrage noch die Möglichkeit einer differenzierteren Abfrage folgt. Alternativ kann ein „Zurück“-Button in die spätere Umfrage eingebaut werden.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting Comprehension Probing, Category Selection Probing, Specific Probing, Emergent Probing, Difficulty Probing
  3. Befund zur Frage: Informationen zur Frage und Ziel der Testung:
    Frage 11 soll die Einschätzung der gesellschaftlichen Stellung der beiden in den Vignetten beschriebenen Personen ordinalskaliert erfassen.

    Leitfragen und Befunde:
    Bei Frage 10 gaben vier Testpersonen an, dass Person A ein höheres Ansehen in der Gesellschaft erreichen werde, und zwei erwarteten, dass Person B ein höheres Ansehen erreichen werde. Eine Testperson ließ die darauffolgenden Fragen 11 und 12 unbeantwortet. Die anderen fünf Testpersonen gaben konsistente Antworten auf die drei Fragen, d. h. sie gaben derjenigen Person einen höheren Wert in den Fragen 11 bzw. 12, die sie in Frage 10 ausgewählt hatten. Die Differenz zwischen den Werten in den Fragen 11 und 12 fiel durchschnittlich etwas geringer aus (Mittelwert: 2,2 Skalenpunkte) als in den Fragen 8 und 9 (Mittelwert: 3 Skalenpunkte).

    Was verstehen die Testpersonen unter dem Begriff „Ansehen“ in Frage 10 bis 12?
    Die Testpersonen verbanden den Begriff „Ansehen“ vor allem damit, wie Menschen bei einer ersten Begegnung auf eine Person reagieren und diese behandeln, bzw. ob der Umgang von Anerkennung und Respekt geprägt sei (TP02, 04, 05, 06):
    • „Wie sie von den Mitmenschen behandelt werden, wie sie angesehen werden.“ (TP02)
    • „Es geht um Respekt.“ (TP04)
    • „Ich habe daran gedacht, was die Menschen von einer Person denken, wenn diese Person sich irgendwo vorstellt, egal ob jetzt auf einer Feierlichkeit oder im Internet. Wenn eine Person sagen würde, ich bin studierter Physiker und habe in Melbourne studiert und eine andere Person sagt, ich habe einen Hauptschulabschluss gemacht und arbeite beim Abfallamt.“ (TP05)
    Zwei Testpersonen dachten beim Erlangen von Ansehen vor allem an Berufs- und Karriereaussichten (TP01, 03):
    • „Wer zum Beispiel einen höheren Job haben könnte. Beispielsweise in einer Firma, ob man normaler Angestellter ist oder Filialleiter.“ (TP01)
    Wie entscheiden sich die Testpersonen für Skalenwerte in Fragen 11 und 12?
    Die Testpersonen reflektierten die Bedeutung der Eigenschaften in den Vignetten für die Dimension „Ansehen“ und versuchten diese auf die Skala von 0 bis 10 zu übertragen. Dies geschah in manchen Fällen dadurch, dass die Testpersonen die Werte für die beiden Personen in Bezug zueinander setzten oder durch ein Abzählen:
    • „Ja, also ich weiß nicht, aus dem Bauch heraus […] Es war mir einfach nur wichtig, dass das Gymnasium höher ist als die mittlere Reife, aber es kann auch anders kommen.“ (TP01)
    • „Ich habe [für Person A den Wert] 7 genommen, weil es halt schon an sehr hoch grenzen sollte, nicht in der Mitte. [Weil] sie halt einen höheren Vorteil hat, wenn sie sich bewirbt. Deswegen habe ich dann bei Person B nur 5 angekreuzt.“ (TP03)
    • „Ich finde ‚Familie ist christlich‘ wird gut angesehen, auch wenn ich selbst keinen richtigen Unterschied zwischen muslimisch und christlich mache. ‚Stammt aus Deutschland‘ ist auch hoch angesehen und ein großes Haus hat auch etwas mit Geld zu tun und wird immer gut angesehen. Für ‚lebt auf dem Land‘ habe ich einen Punkt abgezogen. Der Realschulabschluss hat es auch ein wenig ‚downgegraded‘, also die Skala runtergezogen, und dann bin ich bei 8 rausgekommen.“ (TP06)
    Auch bei den Fragen 11 und 12 äußerten mehrere Testpersonen, dass ihnen die Auswahl schwerfalle. Eine Testperson ließ gar beide Fragen unbeantwortet, obwohl sie Frage 10 beantwortet hatte (TP04). Sie begründete dies damit, dass sie zwar in der Lage sei, die Chancen der Personen auf Ansehen „im Vergleich“ zu bewerten. In den Fragen 11 und 12 störte sie sich dann an der Frageformulierung, die eine Prognose verlange, die sie nicht abgeben könne („Dadurch, dass in der Frage ‚erreichen wird‘ und nicht ‚erreichen könnte‘ steht, ist es schwerer, weil ich das nicht wissen kann. Durch die Information allein kann ich es nicht sagen“, TP04).
    Eine weitere Testperson erläuterte, dass die Zukunft der beiden Personen unberechenbar sei. Sie entschied sich daher für Person A für den Mittelwert 5 und gab Person B den leicht höheren Wert 7 (TP05). Möglicherweise erklärt das gedankliche Vorgehen der Testperson die näher aneinander liegenden Werte in Fragen 11 und 12 im Vergleich zu Fragen 8 und 9 nach der Ähnlichkeit:
    • „Das ist natürlich auf Grund der wenigen Informationen, die man hat, sehr schwer zu sagen. Theoretisch kann ja jeder Schüler, egal ob jetzt auf einer Realschule oder auf einem Gymnasium oder irgendetwas darüber oder darunter, in 20 Jahren überall landen. Man kann sein Abitur nachholen. Deswegen ist es auf jeden Fall nach dem Bauchgefühl, was ich jetzt antworte […] Ich würde mich mittig platzieren, weil ich das einfach so unberechenbar finde. Ich glaube ich würde die 5 nehmen. Also finde ich sehr schwer zu beantworten […] [Bei Person B] würde ich nicht die 5 nehmen, sondern etwas höher gehen, weil ich glaube, dass Person B ein höheres Ansehen erreichen wird. Aber auch hier würde ich jetzt auf keinen Fall zur 10 gehen, weil es so unberechenbar ist. Ich glaub ich würde mich für die 7 positionieren, weil es in der Mitte ist zwischen der 5 und der 10.“ (TP05)
  2. Thema der Frage: Politik/ Einstellungen, Bewertungen & Ideologien
  3. Konstrukt: Vignetten - Ansehen