Haben die Testpersonen Probleme, die Frage zu verstehen oder zu beantworten?
Von den zehn Testpersonen entschied sich die Hälfte (n = 5) für die korrekte Antwortoption („Auto“). Jeweils eine Testperson wählte die Optionen „Omnibus“ (TP 08) und „Nahverkehrszug/Regionalbahn“ (TP 04) aus. Drei gaben an, dass sie die Antwort auf die Frage nicht wüssten:
- „Ich hätte U-Bahn getippt, aber ich bin mir da sehr unsicher. Ich weiß es echt nicht. Ich habe mich damit noch nicht befasst und wollte nichts Falsches antworten.“ (TP 02; Antwort: „Weiß nicht“)
- „Ich weiß es wirklich nicht. Und es ist zu naheliegend, gleich das Auto zu verdammen und die anderen Sachen gutzusprechen. Ich weiß es nicht, was pro Person am meisten Energie verbraucht.“ (TP 06; Antwort: „Weiß nicht“)
- „Ich weiß es nicht, ich wüsste nicht, was ich da nehmen soll. Die Regionalbahn? Ich weiß es wirklich nicht. Auto, keine Ahnung.“ (TP 07; Antwort: „Weiß nicht“)
Verständnisprobleme zeigten sich bei keiner der zehn Testpersonen.
Verstehen die Testpersonen, dass pro Person und pro Kilometer die Anzahl der maximalen Fahrgäste ausschlaggebend ist?
Von den fünf Testpersonen, die die richtige Antwort („Auto“) ausgewählt hatten, bezogen sich alle in ihrer Begründung auf die Anzahl der Personen, die maximal in den Verkehrsmitteln transportiert werden können:
- „Weil ich glaube, dass das Auto, also wenn man das jetzt pro Person und pro Kilometer rechnet, am meisten Brennstoff verbraucht, weil es eben so wenige Leute transportieren kann und weil es im Prozess dahinter, also ich sage jetzt mal in der Gewinnung von Treibstoffen oder in der Produktion sehr viel Energie verbraucht […].“ (TP 01)
- „Weil das Auto die wenigsten Menschen befördert.“ (TP 03)
- „In so einem Auto sitzt oft nur eine Person drin, das gilt auch für mich. Wenn dann zwei, drei, vier oder fünf drinsitzen, dann ist es natürlich weniger im Verhältnis. Das fängt aber mit der Straßenbahn an. Die fährt ja mit Strom – der muss natürlich über Kohle oder irgendwie herkommen. Aber es sind halt mehr Leute, die sie benutzen. Desto geringer wird also die Verbrauchsenergie pro Person.“ (TP 09)
Diejenigen Testpersonen, die sich für eine der falschen Antwortoptionen entschieden hatten (TP 04, 08), begründeten dies mit der Häufigkeit von Fahrten oder der Größe von Verkehrsmitteln:
- „Weil die Bahnen und Züge, Regionalbahnen sehr oft und häufig und auch lange Strecken fahren. Das kam mir als Erstes in den Sinn, dass ich an die Bahn denke.“ (TP 04; Antwort: „Nahverkehrszug/Regionalbahn“)
- „Ich habe mich dafür entschieden, weil das ein größeres Fahrzeug als das Auto ist. [Die] Straßenbahn hat eher etwas mit Elektro zu tun. Wenn [das] Flugzeug dabei wäre, würde ich Flugzeug sagen.“ (TP 08; Antwort „Omnibus“)
Wie sicher sind sich die Testpersonen, dass ihre Antwort korrekt ist?
Wie in der Tabelle zur Probing-Frage N2_F7 ersichtlich wird, variierte unter den Testpersonen die gefühlte Sicherheit bei der Beantwortung der Frage. „Sehr sicher“ bzw. „eher sicher“ waren sich vor allem diejenigen Testpersonen, die die korrekte Antwort („Auto“) ausgewählt hatten (TP 01, 03, 09, 10). „Eher unsicher“ waren sich diejenigen Testpersonen, die sich für eine der anderen Antwortoptionen entschieden hatten (TP 04, 08). Testperson 05 war sich trotz richtiger Antwort „eher unsicher“. Die Testpersonen, die keine Antwort ausgewählt hatten („Weiß nicht“), wurden nicht nach ihrer Einschätzung gefragt.
Tabelle N2_F7. Confidence Rating bei Frage 7 (N = 10)
| Probing-Frage |
Testpersonen (n) |
| sehr sicher |
2 |
| eher sicher |
2 |
| eher unsicher |
3 |
| sehr unsicher |
- |
| keine Angabe |
3 |
Für wie schwierig (für die Allgemeinheit) halten die Testpersonen die Frage?
Im Anschluss an das Confidence Rating erfolgte ein Specific Probing, welches eine Einschätzung der Schwierigkeit der Frage in einer „echten“ Umfrage abfragte. Neun der zehn Testpersonen gaben eine solche Einschätzung ab. Testperson 06 konnte keine Einschätzung vornehmen und begründete dies damit, die richtige Antwort auf die Frage selbst nicht zu wissen:
„Das kann ich nicht beurteilen. Vermutlich viele, was die Sache für mir dann noch peinlicher macht.“
Tabelle N3_F7. Vergleich der Specific Probe mit dem Confidence Rating bei Frage 7
| Testpersonen-Nr. |
Prozentangabe |
Sicherheitseinschätzung |
| TP 01 |
75% |
Eher sicher |
| Tp 02 |
30-40% |
- |
| TP 03 |
60% |
Eher sicher |
| TP 04 |
30-40% |
Eher unsicher |
| TP 05 |
30% |
Eher unsicher |
| TP 06 |
- |
- |
| Tp 07 |
20% |
- |
| TP 08 |
30% |
Eher unsicher |
| TP 09 |
70-80% |
Sehr sicher |
| TP 10 |
< 80% |
Sehr sicher |
Vier der neun Testpersonen schätzten einen Wert, welcher über 50 Prozent lag (TP 01, 03, 09, 10). Die ursprüngliche Antwort dieser Testpersonen bei Frage 7 entsprach der korrekten („Auto“). Außerdem waren sich diese Testpersonen bei der Korrektheit ihrer Antwort „eher“ bzw. „sehr sicher“ gewesen. Der angegebene Wert der restlichen fünf Testpersonen lag unter 50 Prozent (TP 02, 04, 05, 07, 08). Darunter sind diejenigen, die sich bei ihrer Antwort „eher unsicher“ waren (TP 04, 05, 08), und Testpersonen, die die Antwort bei Frage 7 nicht gewusst hatten (TP 02, 07).
