Haben die Testpersonen Probleme, die Frage zu verstehen oder zu beantworten?
Unter den zehn Testpersonen wählte eine Testperson (TP 04) die korrekte Antwortoption „Raumheizung“ aus. Von den restlichen neun entschieden sich acht für andere Antwortoptionen („Elektrische Geräte“, „Warmwasserbereitung“) und eine gab an, dass sie die Antwort nicht wisse (TP 02). Diese Testperson fragte nach, an welche Art von Haushalt sie denken sollte:
„Hier wird ja von einem allgemeinen privaten Haushalt gesprochen, oder? […] Ich weiß es einfach nicht, keine Ahnung. Ich kann da nur für mich und unseren Familienhaushalt sprechen.“
Außer der Testperson 02 äußerten auf Nachfrage zwei weitere Testpersonen Unsicherheiten bezüglich der Frage bzw. einer Antwort. Von ihnen wählte keine die korrekte Antwortoption aus (TP 03, 10):
- „Da habe ich lange überlegen müssen. Beleuchtung und Kochen und Backen konnte ich ausschließen. Aber bei den anderen drei Bereichen fand ich es sehr schwierig. Da war ich mir sehr, sehr unsicher.“ (TP 03; Antwort: „Elektrische Geräte“)
- „Da war ich mir auch ein bisschen unsicher. Das könnte auch für die Raumheizung sein oder Wasseraufbereitung. Das ist schwer einzuschätzen aus meiner Sicht, aber ich denke, es sind auf jeden Fall in den normalen Haushalten viel zu viele elektrische Geräte im Einsatz.“ (TP 10; Antwort: „Elektrische Geräte“)
Mangels konkreten Wissens dachten vier Testpersonen beim Beantworten der Frage an ihren eigenen Haushalt und schlossen daraus auf die Allgemeinheit:
- „Hier in meiner Wohnung würde ich sagen, ist es die Raumheizung, weil die Fenster nicht richtig dicht sind und alles so schlecht gedämmt ist. Aber bei Neubauten, die ordentlich isoliert sind, da ist die Raumheizung, glaube ich, kein Thema. Und elektrische Geräte, da stand ja auch noch einschließlich Kühlschrank. Wobei elektrische Geräte ja dann auch eigentlich zum Kochen und Backen sind?“ (TP 03; Antwort: „Elektrische Geräte“)
- „Kochen und Backen, das mache ich zweimal am Tag. [Bei der] Beleuchtung habe ich immer nur das an, wo ich mich gerade aufhalte. Also, ich denke, dass das die elektrischen Geräte sind, die man da unterschätzt.“ (TP 06; Antwort: „Elektrische Geräte“)
- „Wir haben einen großen Kühlschrank, die Waschmaschine und der Trockner, und der Herd läuft ja auch, also, wenn Sie Kinder haben, sowieso. Ich gehe jetzt mal nur von uns aus. Bei uns würde ich jetzt mal sagen, sind es die elektrischen Geräte.“ (TP 07; Antwort: „Elektrische Geräte)
- „Ich kann es nicht generell sagen, aber ich gehe hier von mir aus, weil wir einen Durchlauferhitzer haben.“ (TP 09; Antwort: „Warmwasserbereitung“)
Keine der zehn Testpersonen hatte Schwierigkeiten, die Frage zu verstehen.
Wie sicher sind sich die Testpersonen, dass ihre Antwort korrekt ist?
Wie Tabelle N2_F8 zeigt, waren sich mehr als die Hälfte der Testpersonen (n = 6) „eher“ bzw. „sehr unsicher“ bei der Richtigkeit ihrer Antwort (TP 01, 03, 04, 05, 06, 08). Dagegen schätzten drei Testpersonen ihre Antwort als „sehr“ bzw. „eher sicher“ ein (TP 07, 09, 10), wobei keine dieser Testpersonen die korrekte Antwort ausgewählt hatte. Testperson 02, die keine substanzielle Antwort ausgewählt hatte („Weiß nicht“), wurde nicht nach ihrer Einschätzung gefragt.
Tabelle N2_F8. Confidence Rating bei Frage 8 (N = 10)
| Probing-Frage |
Testpersonen (n) |
| sehr sicher |
1 |
| eher sicher |
2 |
| eher unsicher |
5 |
| sehr unsicher |
1 |
| keine Angabe |
1 |
Für wie schwierig (für die Allgemeinheit) halten die Testpersonen die Frage?
Im Anschluss an das Confidence Rating erfolgte wiederum ein Specific Probing, welches eine Einschätzung der Schwierigkeit der Frage in einer „echten“ Umfrage abfragte (s. Tabelle N3_F8). Die Mehrheit der Testpersonen (n = 6) schätzte, dass in der späteren Befragung mindestens die Hälfte der Befragten die richtige Antwort kennen würden (≥ 50%). Anders als bei Frage 7 und 9 zeigte sich hierbei kein konsistentes Muster, mit dem die Testpersonen von ihrer persönlichen Sicherheitseinschätzung auf die Allgemeinheit schlossen.
Tabelle N3_F8. Vergleich der Specific Probe mit dem Confidence Rating bei Frage 8 (N = 10)
| Testpersonen-Nr. |
Prozentangabe |
Sicherheitseinschät-zung |
| TP 01 |
65% |
Eher unsicher |
| TP 02 |
60% |
k.A. |
| TP 03 |
40% |
Sehr unsicher |
| TP 04 |
60% |
Eher unsicher |
| TP 05 |
30% |
Eher unsicher |
| TP 06 |
50% |
Eher unsicher |
| TP 07 |
20% |
Eher sicher |
| TP 08 |
50% |
Eher unsicher |
| TP 09 |
50% |
Sehr sicher |
| TP 10 |
40% |
Eher sicher |
