zur Pretest Datenbank Pretest-Datenbank
Projektname:Projekt RISS – Fragen zu Selbstwirksamkeitsüberzeugungen von Jugendlichen im schulischen und politischen Kontext
  2. Einleitungstext: Nun werden dir zwei Jugendliche im Alter von 16 Jahren und ihre Familien beschrieben. Wir nennen diese beiden Jugendlichen „Person A“ und „Person B“. Die beiden Personen unterscheiden sich in verschiedenen Bereichen, aber haben manche Merkmale auch gemeinsam.
    Bitte schaue dir die Beschreibungen in Ruhe an und achte dabei auf Unterschiede und Gemeinsamkeiten.

    Person A
    lebt auf dem Land
    weiblich
    hat einen Realschulabschluss (Mittlere Reife)
    Die Familie ist christlich
    Die Familie stammt aus Deutschland
    Die Familie hat ein großes Haus, in dem alle ein eigenes Zimmer haben

    Person B
    lebt auf dem Land
    weiblich
    besucht ein Gymnasium
    Die Familie ist muslimisch
    Die Familie stammt nicht aus Deutschland
    Die Familie hat eine Mietwohnung, die eigentlich zu klein für alle ist
  3. Fragetext: Wie ähnlich oder verschieden ist Person A von dir?
  4. Instruktionen: Bitte mach EIN Kreuz, um uns zu sagen, wie ähnlich du und Person A sind.
    Ganz links bedeutet, dass Person A sehr unterschiedlich von dir ist, ganz rechts, dass sie dir sehr ähnlich ist.
  6. Antwortkategorien 0 sehr unterschiedlich

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10 sehr ähnlich

    1. Empfehlungen: Die Ergebnisse des Pretests deuten darauf hin, dass eine kürzere Antwortskala ausreichen würde, um die Ähnlichkeit zu Personen A und B zu erfassen. Zudem empfehlen wir, beim Layout darauf zu achten, dass die Mittelkategorie – sofern diese gewünscht ist – als solche klar erkennbar ist.

      Frageformat und Antwortoptionen: Um es den Befragten zu erleichtern, ihre Antworten in Bezug zueinander zu setzen, kann erwogen werden, die drei Fragen auf einer Seite zu präsentieren. Damit wüssten die Befragten, dass auf die binäre Abfrage noch die Möglichkeit einer differenzierteren Abfrage folgt. Alternativ kann ein „Zurück“ Button in die spätere Umfrage eingebaut werden.
      Zudem weisen wir darauf hin, dass die Zusammenstellung der Vignetten nicht Teil des kognitiven Pretests war. Eine etwaige Überprüfung der Vignetten sollte durch Experten auf diesem Gebiet stattfinden.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting Category Selection Probing, Specific Probing, Emergent Probing, Difficulty Probing
  3. Befund zur Frage: Informationen zur Frage und Ziel der Testung:
    Frage 8 soll die Einschätzung der empfundenen Ähnlichkeit der Befragten mit den beiden in den Vignetten beschriebenen Personen ordinalskaliert erfassen.

    Leitfragen und Befunde:
    Bei Frage 7 gaben fünf Testpersonen an, dass ihnen Person A ähnlicher sei. Eine Person ließ die Frage unbeantwortet. Die Testpersonen, die angaben, dass Person A ihnen ähnlicher sei, wählten bei Frage 8 einen höheren Wert (zwischen 4 und 7) als bei Frage 9 (zwischen 1 und 4) mit einer durchschnittlichen Differenz von drei Skalenpunkten. Die Testperson, die sich bei Frage 7 nicht für eine der beiden Personen entscheiden konnte, gab in Fragen 8 und 9 beide Male den Wert 5 an. Somit gaben alle Testpersonen konsistente Antworten auf die drei Fragen.

    Wie entscheiden sich die Testpersonen für Skalenwerte in den Fragen 8 und 9?
    Die Testperson, die sich in Frage 7 nicht für eine der beiden Personen entscheiden konnte, tat sich dafür bei Fragen den 8 und 9 leicht, sich für den Mittelwert 5 zu entscheiden:
    • „Bei [Frage 7] konnte ich mich nicht entscheiden, weil ich genau mittendrin bin. Deswegen war es für mich hier [bei Fragen 8 und 9] aber leicht zu entscheiden, weil ich von jeder Person so ungefähr die Hälfte bin. Ich unterscheide mich nicht wirklich von den beiden Personen, bin ihnen aber auch nicht ähnlich. Deswegen habe ich bei jedem die 5 genommen, weil ich ein Mittelding von beidem bin.“ (TP02)
    Die anderen Testpersonen reflektierten die zutreffenden und nicht zutreffenden Eigenschaften und versuchten diese auf die Skala von 0 bis 10 zu übertragen. Dies geschah oft durch ein Abzählen, wurde aber in manchen Fällen noch um ein subjektives Empfinden angepasst:
    • TP03: [Bei Person B] hat gar nichts auf mich zugetroffen und deswegen ist es mir sehr leichtgefallen, die 1 einzutragen, weil wir sehr unterschiedlich sind.
      INT: Hat wirklich ‚gar nichts‘ zugetroffen?
      TP03: Außer, dass sie auf dem Land wohnt, sonst gar nichts.
      INT: Welchen Wert würden Sie auswählen, wenn an dieser Stelle ‚lebt in der Stadt‘ stehen würde?
      TP03: Dann würde ich ‚0 – sehr unterschiedlich‘ nehmen.
    • „Weil etwa die Hälfte der Charaktereigenschaften, also 3,5 Eigenschaften, auf mich zutreffen. Ich wollte die Mitte nehmen, aber ich wollte die Hälfte nicht weglassen, deshalb habe ich aufgerundet auf 6.“ (TP04, Person A Wert: 6)
    • „Ich habe bei 10 angefangen und dann runtergezählt. ‚Lebt auf dem Land‘ stimmt eher nicht, dann habe ich den Wert 9 genommen. ‚Weiblich‘ stimmt auch nicht, dann hatte ich 8. ‚Realschulabschluss‘ stimmt auch nicht, dann 7. Der Rest stimmt eher, also bin ich bei 7 geblieben.“ (TP06, Person A Wert: 7)
    • „ ‚Lebt auf dem Land‘ stimmt nicht, ‚weiblich‘ auch nicht, dann bin ich bei[m Wert] 8. ‚Besucht ein Gymnasium‘ stimmt. ‚Familie stammt nicht aus Deutschland‘ stimmt nicht, also 7. ‚Familie hat eine Mietwohnung‘, da war ich bei 6 oder vielleicht 5. Aber die Familie finde ich ist schon ziemlich anders, deswegen habe ich 4 genommen. Über der Hälfte würde ich jetzt nicht sagen, deshalb habe ich mich für 4 entschieden.“ (TP06, Person B Wert: 4)
    Bei anderen Testpersonen überwog ihr subjektives Empfinden beim Auswählen eines Wertes:
    • „Ich habe diesen Wert gewählt, weil Person A ziemlich ähnlich zu mir ist. Es gibt halt einige Unterschiede, wie zum Beispiel die Schule oder auch die Familie, ob sie christlich ist oder anderen religiösen Hintergrund hat, und auch das weiblich passt nicht und deswegen treffen da nur zwei Punkte auf mich zu.“ (TP03, Wert: 4)
    • „Ich überlege zwischen der 6 und der 7. Und ich würde mich für die 6 entscheiden, also etwas mehr in die Richtung, dass ich mich eher ähnlich als unterschiedlich fühle. Und das obwohl es eigentlich nur zwei Punkte gibt, die [in Bezug auf Person A] auf mich zutreffen […] Das habe ich aus dem Gefühl gemacht, ich kann das gar nicht groß begründen, wieso ich die 6 gewählt habe.“ (TP05, Wert: 6)
    Wie empfinden die Testpersonen die Anzahl an Skalenpunkten in den Fragen 8 und 9?
    Die Testpersonen gaben an, anhand der Skala von 0 bis 10 antworten zu können, allerdings zeugten mehrere Ausführungen davon, dass weniger Skalenpunkte zur Beantwortung der Fragen ausreichen würden, bzw. dass eine so differenzierte Antwort wie die Skala erfordere kaum möglich sei.
    Beispielsweise machte eine Person darauf aufmerksam, dass man am präzisesten antworten könne, wenn es so viele Skalenpunkte wie genannte Eigenschaften gäbe (TP06). Eine weitere Testperson erläuterte, dass es ihr bei Person A, bei der sie es schwieriger fand, sich für einen Wert zu entscheiden, hilfreich gewesen wäre, weniger Skalenpunkte zu haben, um sich „einfach zwischen der Mitte und voll zustimmend“ verorten zu können (TP05). Bei einer Testperson blieb unklar, ob sie den Wert 5 als Mitte der Skala erkannte oder den Mittelwert fälschlicherweise als zwischen 5 und 6 liegend verortete (TP04).
    • „Ich hätte lieber eine 5-Punkte-Skala, dann wäre es leichter. Ich finde, dass man sich bei der 10-Punkte-Skala schwer entscheiden kann, weil man zu viele Antwortmöglichkeiten hat.“ (TP01)
    • „Ich fand es hilfreich [eine Skala von 0 bis 10 zu haben]. Aber es sind ja bei jeder Person sechs Eigenschaften. Wenn man es genau haben möchte, würden auch sechs Antwortoptionen ausreichen.“ (TP06)
  2. Thema der Frage: Politik/ Einstellungen, Bewertungen & Ideologien
  3. Konstrukt: Vignetten - Ähnlichkeit