GESIS Pretest Datenbank

Pretest-Datenbank

Projektname:

Bewertung der Einkommensverteilung

Getestete Frage und Empfehlungen
Befund zur Frage
Thema und Konstrukt

Einleitungstext
(Befund/Empfehlungen): Version 1:
Durchschnittsverdiener verdienen brutto durchschnittlich 2.900 Euro im Monat.
Damit liegen sie mit ihrem Einkommen im Mittelfeld.

Version 2:
Durchschnittsverdiener wie z.B. Krankenschwestern/Krankenpfleger, Buchhalter oder Elektriker verdienen brutto durchschnittlich 2.900 Euro im Monat.
Damit liegen sie mit ihrem Einkommen im Mittelfeld.
- Befund zum Einleitungstext
- Empfehlungen zum Einleitungstext
Befund zum Einleitungstext: Das Einkommen der Durchschnittsverdiener in Deutschland wird in Version 2 mit den Beispielberufen kritischer bewertet. Fünf Testpersonen ändern ihre Antwort gegenüber der ersten Version. Diese Testpersonen haben alle die 5-stufige Skala verwendet und alle korrigieren ihre Antwort „nach unten“. Somit wählen vier Testpersonen die unterste Kategorie „ungerecht niedrig“, sechs einen/den Wert zwischen „ungerecht niedrig“ und „gerecht“, zehn „gerecht“ und niemand einen Wert darüber.

Zwei Testpersonen merken bereits bei der ersten Version der Frage an, dass für sie entscheidend sei, welche Berufsgruppen zu den Durchschnittsverdienern zählen:

„Es ist schwer die Fragen zu beantworten, da sie immer so allgemein gefasst sind. Ich denke einfach, manchen Berufen sollte mehr Anerkennung gezollt werden.“ (TP 07, „gerecht“)

„Es kommt darauf an, welche Kategorie von Arbeit zu den einzelnen Personen gehört […] Ich weiß zum Beispiel nicht, ob Pflegepersonal zu dieser mittleren Kategorie gezählt wird bezüglich ihres Gehaltes oder eben zu der niedrigeren Stufe.“ (TP 19, zwischen „gerecht“ und „ungerecht hoch“)
Empfehlungen zum Einleitungstext: Das Nennen von Beispielberufen im Fragetext wird von der deutlichen Mehrheit der Testpersonen bevorzugt. Insbesondere bei den mittleren Einkommensgruppen unterstützt es Testpersonen dabei, sich ein Bild der jeweiligen Einkommensgruppe zu machen, und führt zu anderen Antworten als wenn die Frage ohne Beispielberufe gestellt wird. Allerdings beziehen die Testpersonen in diesem Fall ihre Antworten in erster Linie auf die Beispielberufe, und nicht auf den genannten Einkommenswert. Sofern das Ziel der Frage darin besteht, die Höhe des Einkommens zu beurteilen, empfehlen wir, auf das Nennen von Beispielberufen zu verzichten.
Fragetext
(Befund/Empfehlungen): Finden Sie das Einkommen von Durchschnittsverdienern in Deutschland gerecht, [ungerecht niedrig oder ungerecht hoch / ungerechterweise zu niedrig oder ungerechterweise zu hoch]?
- Befund zum Fragetext
- Empfehlungen zum Fragetext
Befund zum Fragetext: Frageformulierung bzw. Skalenbeschriftung

Auch die Frageformulierung und davon abhängig die spätere Skalenbeschriftung wurde den Testpersonen in zwei Varianten vorgelegt. In der ersten Variante lautete die Frage, ob das Einkommen der jeweiligen Einkommensgruppe „gerecht, ungerecht niedrig oder ungerecht hoch“ sei. Die zweite Variante fragte, ob die Einkommen „gerecht, ungerechterweise zu niedrig oder ungerechterweise zu hoch“ seien.

Vierzehn Testpersonen bevorzugen die kürzere Formulierung „ungerecht niedrig oder ungerecht hoch“ in Liste 1. Die meisten begründen dies damit, dass Liste 1 kürzer, schneller und dadurch einfacher zu lesen ist. Liste 2 wird dagegen als unnötig kompliziert oder untypisch wahrgenommen:

„Weil ich die Skalierung in Liste 1 leichter erklärt finde.“(TP 01)

„Liste 1 ist ansprechender, einfacher. Ungerechterweise, das Wort habe ich noch nie benutzt. Würde ich das schreiben? Es gefällt mir nicht.“ (TP 05)

„–weise finde ich komisch. Das ist für mich kein Wort, das ist ein Zustand.“ (TP 06)

„Liste 1 ist ein bisschen kürzer. Es wird schneller klar. Ungerechterweise – würde das jemand sagen?“ (TP 09)

„Bei Liste 2 muss man ums Eck denken.“ (TP 11)

„Weil es weniger kompliziert klingt, eingängiger.“ (TP 14)

Zwei Testpersonen sehen einen inhaltlichen Unterschied zwischen den beiden Listen und nehmen Liste 2 wertender wahr als Liste 1:

„Das [Liste 2] ist schon gewertet, das finde ich unnötig. Ungerecht ist ungerecht. ‚Ungerechterweise‘ hört sich für mich umständlich an.“ (TP 06)

„Es hat halt schon eine Wertung mit drin. Dieses ‚ungerechterweise‘ suggeriert ‚Das ist niedrig, also ungerecht‘. Das nimmt etwas vorweg, was man dem Leser vielleicht selber überlassen sollte.“ (TP 11)

Die längere Formulierung „ungerechterweise zu niedrig oder ungerechterweise zu hoch“ in Liste 2 wird von sechs Testpersonen präferiert. Die Testpersonen erklären dies alle damit, dass die Formulierung schöner sei:

„Ich finde zwar Liste 1 besser verständlich, weil man es schon sehr oft so gesehen hat, aber ich finde Liste 2 besser formuliert.“ (TP 02)

„Das Wort ‚ungerechterweise‘ gefällt mir einfach besser als ‚ungerecht‘.“ (TP 10)

„Das andere gefällt mir nicht so. Ungerechterweise ist einfach eine schönere Formulierung.“ (TP 12)

„Weil ‚ungerechterweise zu niedrig‘ für mich deutlicher ist als ‚ungerecht niedrig‘.“ (TP 17)

Geschlecht, Alter, höchster Schulabschluss und Muttersprache der Testpersonen haben keinen systematischen Einfluss darauf, welche Formulierung als verständlicher und leichter zu beantworten bewertet wird.
Empfehlungen zum Fragetext: Da die Mehrheit der Testpersonen eine kürzere Formulierung bevorzugt und diese als verständlicher eingestuft wird, empfehlen wir die Formulierung von Liste 1 („gerecht, ungerecht niedrig oder ungerecht hoch“) zu verwenden.
Antwortkategorien
(Befund/Empfehlungen):
1 Ungerecht(erweise zu) niedrig

2

3 Gerecht

4

5 Ungerecht(erweise zu) hoch
- Befund zu Antwortkategorien
- Empfehlungen zu Antwortkategorien
Befund zu Antwortkategorien: Die Skala wurde den Testpersonen in zwei Varianten vorgelegt, die sich in der Anzahl der Skalenpunkte unterschieden. Die erste Variante hatte insgesamt fünf, die zweite Variante elf Skalenpunkte. In beiden Varianten lautete die erste Antwortoption „ungerecht(erweise zu) niedrig“, die mittlere Antwortoption „gerecht“ und die letzte Antwortoption „ungerecht(erweise zu) hoch“ lautete. Die Punkte dazwischen waren nicht beschriftet.

Mit 16 Testpersonen präferiert die deutliche Mehrheit die kürzere, 5-stufige Skala zum Beantworten der Fragen. Im Vergleich zur 11-stufigen Skala wird diese als einfacher, weniger anstrengend, geradliniger und konkreter empfunden:

„Es ist konkreter.“(TP 03)

„Mich würde es irgendwie nerven, wenn man sich denkt, man könnte es etwas kürzer fassen.“ (TP 13)

„Fünf Stufen reichen vollkommen aus. Außerdem überblickt man die 5-stufige Skala besser – es ist übersichtlicher.“ (TP 17)

Die 11-stufige Skala wird als unnötig kompliziert beschrieben:

„Da reicht eigentlich die 5-stufige Skala. Hier gibt es nicht so viele Zwischenschritte beziehungsweise es gibt einen Schritt dazwischen und diesen finde ich gut, also zwischen ‚gerecht‘ und ‚ungerechterweise zu hoch‘ oder ‚ungerechterweise zu niedrig‘. Aber so viele Zwischenschritte wie in Version B gibt es nicht.“ (TP 02)

„Ich glaube, ich würde mich bei der 11-stufigen Skala eher verzetteln. Das [5-stufig] ist geradliniger.“ (TP 06)

„Die fünf Abstufungen reichen mir. Alles andere würde mich eher anstrengen.“ (TP 08)

„Sonst muss man zu viel überlegen. Bei der Längeren weiß man dann nicht, was man ankreuzen soll.“ (TP 09)

Vier Testpersonen entscheiden sich allerdings gerade deshalb für die 11-stufige Skala, weil sie ihre Antworten damit besser differenzieren können:

„Weil sich die Frage nicht immer so leicht beantworten lässt. Hier habe ich dann doch die Grautöne mehr drin.“ (TP 11)

„Da hat man ein bisschen mehr Möglichkeiten. Das ist nicht so anstrengend, denn da kann man mehr Abstufungen machen.“ (TP 12)

„Ich finde die weitere Streuung besser, deshalb Liste B.“ (TP 16)
Empfehlungen zu Antwortkategorien: Da die 5-stufige Skala von der Mehrheit der Testpersonen aufgrund ihrer Kürze präferiert wird und die 11-stufige Skala mitunter als unnötig kompliziert und detailliert empfunden wird, empfehlen wir die Verwendung der 5-stufigen Skala.
Alternatives Antwortformat, das getestet wurde:
1 Ungerecht(erweise zu) niedrig

2

3

4

5

6 Gerecht

7

8

9

10

11 Ungerecht(erweise zu) hoch

Empfehlungen:
- Das Nennen von Beispielberufen im Fragetext wird von der deutlichen Mehrheit der Testpersonen bevorzugt. Insbesondere bei den mittleren Einkommensgruppen unterstützt es Testpersonen dabei, sich ein Bild der jeweiligen Einkommensgruppe zu machen, und führt zu anderen Antworten als wenn die Frage ohne Beispielberufe gestellt wird. Allerdings beziehen die Testpersonen in diesem Fall ihre Antworten in erster Linie auf die Beispielberufe, und nicht auf den genannten Einkommenswert. Sofern das Ziel der Frage darin besteht, die Höhe des Einkommens zu beurteilen, empfehlen wir, auf das Nennen von Beispielberufen zu verzichten.
- Die Perzentilsätze werden nur von wenigen Testpersonen im Zuge ihrer Erläuterungen erwähnt und eher als zusätzliche Information von den Testpersonen herangezogen. Die Ergebnisse des Pretests legen daher nahe, die Perzentilsätze nicht zu nennen. Sollte jedoch auf das Nennen von Beispielberufen verzichtet werden, könnte den Perzentilsätzen eine stärkere Rolle bei der Einordnung der Einkommensgruppen zukommen.
- Bezüglich der Anzahl der zu bewertenden Einkommensgruppen empfehlen wir, alle fünf Gruppen beizubehalten. Die Testpersonen haben insbesondere von den beiden „Randgruppen“ der Geringverdiener und Topverdiener eine deutliche Vorstellung. Hingegen zeigen einige Testpersonen Unsicherheiten, welche Berufsgruppen den drei mittleren Einkommensgruppen zuzuordnen sind. Daher ist die fünfte Gruppe der Topverdiener hilfreich für die Beantwortung der Fragen insgesamt.

Eingesetzte kognitive Technik/en: General Probing, Category Selection Probing, Difficulty Probing, Comprehension Probing, Specific Probing.
Befund zur Frage:
Antwortverteilung bei Frageversion 1

In der ersten Frageversion wählen zwei Testpersonen den untersten Wert „ungerecht niedrig“, fünf entscheiden sich für einen/den Wert zwischen „ungerecht niedrig“ und „gerecht“, elf wählen „gerecht“ und jeweils eine Testperson entscheidet sich für den Wert zwischen „gerecht“ und „ungerecht hoch“. und für „ungerecht hoch“.

Verständnis der Frage und Skala

Bei allen Testpersonen passen die Erläuterungen zu ihrer Antwort:
- „Es kommt darauf an, welche Position man hat. Aber ich finde, es ist viel zu viel.“ (TP 03, „ungerecht hoch“)
- „Damit kann man einigermaßen über die Runden kommen, wenn man keine großen Ansprüche hat. Aber das sollte eigentlich der Mindestlohn sein.“ (TP 05, zwischen „ungerecht niedrig“ und „gerecht“)
- „Ich denke, dass ein Gehalt von 2.900 Euro für jeden ausreichend ist.“ (TP 07, „gerecht“)
- „2.900 Euro brutto finde ich ungerecht niedrig für jemanden, der eine Familie ernähren muss.“ (TP 08, „ungerecht niedrig“)
- „Es ist ein Betrag, mit dem man, denke ich, gut auskommen und seinen Lebensunterhalt finanzieren kann. Wer durchschnittliche Arbeit vollbringt, soll eben auch durchschnittlich verdienen.“ (TP 14, „gerecht“)
Nennung von Berufsgruppen durch Testpersonen

Mit Abstand am häufigsten wird als vorgestellter Beispielberuf Büroarbeit genannt. Neun Testpersonen nennen direkt „Bürokraft“, zwei weitere „Sachbearbeiter“, eine Testperson spricht von „normalen Angestellten“ und eine von Arbeit in der „Verwaltung“.

Die zweite häufig genannte Kategorie ist das Handwerk. Fünf Testpersonen nennen das Handwerk im Allgemeinen und zwei nennen (KFZ-)Mechaniker. Altenpflege wird von drei Testpersonen genannt, Krankenpflege und Arzthelferin jeweils von einer Testperson. Diese Nennungen entsprechen ungefähr den später genannten Beispielberufen.

Neben diesen Nennungen, die grob den in Frageversion 2 aufgeführten Beispielen Krankenschwester /-pfleger, Buchhalter und Elektriker entsprechen, assoziieren die Testpersonen eine sehr heterogene Mischung an Berufsgruppen mit dieser Einkommensstufe. Dabei wird deutlich, dass viele Testpersonen keine genaue Vorstellung davon haben, welche Berufe in Deutschland durchschnittlich verdienen.

Unter anderem gibt es allgemeine Nennungen wie „fertig ausgebildete Berufe“, „der Mittelstand“ und „der öffentliche Dienst“. Teilweise denken die Testpersonen an sehr unterschiedliche Berufsgruppen. Beispielsweise werden einerseits Kassiererin und Verkäuferin genannt, von anderen Testpersonen dann Filialleitung, Manager oder Teamleiter. Darüber hinaus werden Arbeiter in der Industrie, Bauarbeiter, Müllmänner, Zugfahrer, Anlagenführer, Erzieher und Polizisten genannt.

Antwortverteilung bei Frageversion 2 und Änderung der Antworten zwischen den Versionen

Das Einkommen der Durchschnittsverdiener in Deutschland wird in Version 2 mit den Beispielberufen kritischer bewertet. Fünf Testpersonen ändern ihre Antwort gegenüber der ersten Version. Diese Testpersonen haben alle die 5-stufige Skala verwendet und alle korrigieren ihre Antwort „nach unten“. Somit wählen vier Testpersonen die unterste Kategorie „ungerecht niedrig“, sechs einen/den Wert zwischen „ungerecht niedrig“ und „gerecht“, zehn „gerecht“ und niemand einen Wert darüber.

Zwei Testpersonen merken bereits bei der ersten Version der Frage an, dass für sie entscheidend sei, welche Berufsgruppen zu den Durchschnittsverdienern zählen:
- „Es ist schwer die Fragen zu beantworten, da sie immer so allgemein gefasst sind. Ich denke einfach, manchen Berufen sollte mehr Anerkennung gezollt werden.“ (TP 07, „gerecht“)
- „Es kommt darauf an, welche Kategorie von Arbeit zu den einzelnen Personen gehört […] Ich weiß zum Beispiel nicht, ob Pflegepersonal zu dieser mittleren Kategorie gezählt wird bezüglich ihres Gehaltes oder eben zu der niedrigeren Stufe.“ (TP 19, zwischen „gerecht“ und „ungerecht hoch“)
Erwähnung des Begriffs „Mittelfeld“

Nur eine Testperson erwähnt in ihren Erläuterungen das Wort Mittelfeld: „Wenn ich ein Durchschnittsverdiener bin und im Mittelfeld liege, dann scheint es ja zu stimmen.“ (TP 01, „gerecht“)

Die häufige Verwendung von Begriffen wie „durchschnittlich“ oder Bezüge auf den Mittelstand zeigt, dass die Testpersonen korrekterweise an Durchschnittsverdiener denken.

Thema der Frage: Gesellschaft & Soziales/ Soziale Gerechtigkeit
Konstrukt: Bewertung des Einkommens von Durchschnittsverdienern