Um die spätere Frage nicht zu beeinflussen, sah das Untersuchungsdesign vor, dass die Testpersonen zunächst die Einleitungsseite lasen und ohne Nachfragen auf Seiten des Interviewers mit der ersten Version der Frage fortfahren konnten. Nach dem Lesen, Beantworten und Besprechen der beiden Frageversionen lasen die Testpersonen nochmals die Einleitungsseite und es wurden ihnen Nachfragen dazu gestellt.
Äußerten die Testpersonen Verständnisprobleme beim Lesen der Einleitung?
Es zeigten sich zwei Probleme beim Lesen des Einleitungstextes. Das erste Problem bestand darin, dass die Information aus dem letzten Absatz beim ersten Lesen nicht richtig verarbeitet wurde. Dadurch kam die Kernbotschaft, dass die Stilllegung eines Emissionsrechts bedeutet, dass dieses den Kraftwerken nicht mehr zur Verfügung steht und auf diese Weise ein aktiver Beitrag zum Um- weltschutz geleistet wird, beim Lesen des Einleitungstextes nicht an. Dieses Problem betraf vier der sechs Testpersonen:
Die Ursache für das vermehrte Übersehen des letzten Absatzes könnte seine Ursache im zweiten Problem haben. Denn einigen Testpersonen blieb der Zusammenhang zwischen ihrer Rolle als Privatperson und dem Emissionsausstoß der Industrie unklar:
Folglich zeigte sich eine Testperson, als sie die erste Frage las, verunsichert, ob sie tatsächlich über diesen Sachverhalt entscheiden könne und solle („Wenn ich jetzt in der Position wäre das zu entscheiden?“, TP 02).
Des Weiteren glaubte eine Testperson, dass der Einleitungstext von einer aktuellen Neuerung im Emissionsrecht handele, durch die Emissionsrechte erst kostenpflichtig würden:
Kennen die Testpersonen bereits im Vorfeld das Wort „Emissionsrecht“?
Vier Testpersonen gaben an, den Begriff Emissionsrecht bereits im Vorfeld des Interviews gekannt zu haben (TP 01, 03, 05, 06). Davon erklärten zwei Testperson, dass sie sowohl den Begriff Emissionsrecht als auch Emissionshandel erklären könnten (TP 01, 05). Allerdings gab einzig Testperson 01 problemlos eine Definition von Emissionsrechten bzw. Emissionshandel, die beide Begriffe korrekt definierte und in Verbindung miteinander setzte:
„Man kann sich über Emissionshandel ‚freikaufen‘. Man kann zum Beispiel mehr Schadstoff ausstoßen oder von anderen Ländern Schadstoffe abkaufen. Lauter solche Geschichten, die ich eigentlich nicht toll finde. Einfach um selbst mehr Schadstoffe auszustoßen, kann man sich quasi freikaufen. Hier geht es um Emissionsrechte. Gut, im Grunde genommen ist es auch ein Handel. Wenn ich jetzt für 42 Euro eine Tonne CO2 kaufe, dann können die Industrie oder die Kraftwerkebetreiber das nicht ausstoßen.“
Die anderen Testpersonen gaben Erklärungen ab, die von einem teils richtigen, teils verkürzten oder sogar falschen Verständnis von Emissionsrechten bzw. Emissionshandel zeugten:
Keine Testperson gab an, dass der Einleitungstext ihnen unbekannte Worte enthielt.
Die Einleitung sollte so formuliert werden, dass sie den Befragten unmissverständlich vermittelt, dass a) das Stilllegen eines Emissionsrechts einen Beitrag zum Klimaschutz darstellt, und b) sie als Individuen im Nachfolgenden über die Stilllegung eines Emissionsrechts entscheiden dürfen.
Die Kernbotschaft der Einleitung wird aktuell im letzten Absatz der Einleitungsseite zusammengefasst. Einige Testpersonen schenkten diesem Absatz nicht genügend Aufmerksamkeit. Andere wiederum entnahmen dem Absatz nicht, dass sie als Privatperson die Gelegenheit erhalten, ein Emissionsrecht stillzulegen, was wiederum Auswirkungen auf Unternehmen hat.
Wir empfehlen, die Kernbotschaft, dass die Befragten sich zwischen einem Beitrag zum Klimaschutz (im Sinne der Allgemeinheit) und einem Geldbetrag (für sich selbst) entscheiden können, prominent an den Anfang des Experiments zu stellen. Dies kann bspw. auf einer gesonderten Umfrageseite geschehen. Anschließend erhalten die Befragten auf einer zweiten Seite die (in der Komplexität variierte) Erläuterung zum Prinzip des Emissionshandels.
Die Nennung des durchschnittlichen CO2-Verbrauchs eines Privathaushaltes ist für das Verständnis der Frage nicht notwendig und könnte zur Komplexitätsreduktion gestrichen werden. Die derzeitige Platzierung führte zudem dazu, dass Befragte eine Verknappung der Versorgung befürchteten. Da diese Information jedoch beibehalten werden soll, um als Größenordnung zur besseren Einschät-zung des persönlichen Verbrauchs zu dienen, empfehlen wir, den Satz so zu platzieren , dass keine Unsicherheit aufkommt, ob die Stilllegung eines Emissionsrechts zu einer Verknappung der persönlichen Energieversorgung führen könnte. Diese Information könnte entsprechend als Einleitung zum Experiment platziert werden.
Eine Umsetzung könnte wie folgt aussehen:
Erste Seite:
„Durch Konsum, Stromverbrauch, Heizen und Mobilität verursacht jede/r Deutsche im Durchschnitt acht Tonnen CO2 pro Jahr.
Im Rahmen dieser Umfrage werden Sie gebeten, sich zu entscheiden, ob Sie ein sogenanntes Emissionsrecht stilllegen und damit etwas für den Klimaschutz tun möchten oder ob Sie stattdessen 5 EUR erhalten möchten.
Durch das Stilllegen eines Emissionsrechts kann man als Privatperson einen aktiven Beitrag zum Klimaschutz leisten.
Bevor Sie sich entscheiden, erhalten Sie auf der nächsten Seite zusätzliche Hintergrundinformationen zu Emissionsrechten.“
Zweite Seite:
„Die Europäische Union (EU) möchte den Ausstoß von klimaschädlichen Treib-hausgasen (z. B. CO2) schnell und deutlich reduzieren und bis 2050 klimaneutral sein. Um den Ausstoß dieser Schadstoffe wirksam zu kontrollieren, müssen große Kraftwerke und Industrieanlagen für jede ausgestoßene Tonne Treibhausgas ein sogenanntes Emissionsrecht erwerben. Die von der EU ausgegebene Menge die-ser Emissionsrechte ist strikt begrenzt. Ein Emissionsrecht kostete Anfang Februar 2021 etwa 42 EUR (inkl. MwSt.) pro Tonne CO2.
Man kann als Privatperson ein solches Emissionsrecht kaufen und stilllegen. Wenn man dies macht, steht es den Kraftwerken und Industrieanlagen nicht mehr zur Verfügung. Die Kraftwerke können somit eine Tonne CO2 weniger aus-stoßen. Durch die Stilllegung leistet man einen aktiven Beitrag zum Klimaschutz.“
Frage: Einige Testpersonen hatten beim Lesen des Fragetextes das Bedürfnis, die Erläuterungen nochmal zu lesen, aber nur eine Testperson ging dazu zurück auf die Einleitungsseite. Daher empfehlen wir, auf der Frageseite einen gut sichtbaren Informations-Button einzubauen, mit dem man die Erläuterungen einblenden kann.
Zudem empfehlen wir, den Fragetext so zu formulieren, dass sowohl die Wahl, vor welche die Befragten gestellt werden, deutlich wird, als auch die Bedeutung der einzelnen Antwortmöglichkeiten. Dies könnte bspw. so geschehen:
„Wir bieten Ihnen heute an, für Sie ein Emissionsrecht, das zum Ausstoß einer Tonne CO2 berechtigt, zu kaufen. Die Kosten für die Beschaffung des Emissionsrechts tragen wir als Auftraggeber der Studie. Sie können wählen, ob Sie das Emissionsrecht jetzt stilllegen oder ob Sie stattdessen 5 EUR erhalten möchten.
Wenn Sie sich dafür entscheiden, das Emissionsrecht jetzt stillzulegen, muss die Industrie ab sofort eine Tonne CO2 weniger ausstoßen als vorher.
Wenn Sie sich dafür entscheiden, 5 EUR zu erhalten, werden Ihnen diese über [Umfrageunternehmen] auf Ihrem Konto gutgeschrieben.“
Antwortformat: Die Antwortmöglichkeiten sollten, wie oben beschrieben, im Fragetext bzw. in einer darunterliegenden Instruktion erläutert werden, um Verwirrung über die Kombination der Antwortoptionen vorzubeugen.
Gut die Hälfte der Befragten entschied sich im Pretest für die Antwort „weiß nicht/keine Aussage“, was allerdings unterschiedliche Gründe hatte. Um in der Befragung zwischen verschiedenen Auslösern der Antwortverweigerung unterscheiden zu können, empfehlen wir, Befragten, die „weiß nicht/keine Angabe“ wählen, eine Nachfrage zu stellen. Eine Kombination aus geschlossenen Antwortoptionen und dem offenen Textfeld erleichtert die Auswertung einer solchen Nachfrage, und bietet Befragten, die sich inhaltlich zu dem Thema oder ihrer Ent-scheidung äußern möchten, die Möglichkeit, dies zu tun.
Diese könnte wie folgt aussehen:
„Sie haben die vorangegangene Frage mit ‚weiß nicht/keine Angabe‘ beantwortet. Wieso haben Sie sich für diese Antwort entschieden?
Die Liste der Gründe kann nach Bedarf erweitert werden.
Nach dem ersten Lesen des Einleitungstextes sahen und beantworteten die Testpersonen zunächst die erste Version der Frage (Control Treatment 1), gefolgt von Nachfragen des Interviewers dazu. Im Anschluss bekamen sie die zweite Version der Frage gezeigt (Control Treatment 2) und beantworteten Nachfragen dazu.
Control Treatment 2: Beantworten die Testpersonen die zweite Version der Frage anders als die erste, und wenn ja, warum?
Drei der sechs Testpersonen blieben bei ihrer vorherigen Antwort. Davon entschieden sich zwei Testpersonen in beiden Frageversionen dafür, das Emissionsrecht sofort stillzulegen (TP 01, 03). Eine Testperson erklärte, dass es der Umwelt nichts bringe, ein Jahr mit der Stilllegung zu warten und sie deswegen weiterhin das Emissionsrecht direkt stilllegen möchte (TP 01). Die zweite Testperson blieb ebenfalls bei ihrer Antwort, das Emissionsrecht direkt stillzulegen, zeigte sich aber durch die zusätzliche Antwortoption verunsichert:
Die dritte Testperson beantwortete beide Frageversionen mit „weiß nicht/keine Angabe“ (TP 05), da sie in beiden Frageversionen unzufrieden mit den verfügbaren Antwortmöglichkeiten gewesen sei.
Die anderen drei Testpersonen beantworteten die zweite Version der Frage anders als die erste und änderten ihre Antwort auf die zusätzliche Antwortoption „Das Emissionsrecht in einem Jahr stilllegen“. Davon hatten zwei Testpersonen in der ersten Version mit „weiß nicht/keine Angabe“ (TP 02, 06) und eine mit „Das Emissionsrecht jetzt stilllegen“ (TP 04) geantwortet. In zwei Fällen begründeten die Testpersonen dies damit, dass ihnen der zeitliche Vorlauf angenehmer sei, um sich zu informieren (TP 02) bzw. das Stilllegen des Emissionsrechts vorzubereiten (TP 04). Im dritten Fall schien die Testperson die erste Version der Frage nicht korrekt gelesen zu haben (TP 06):
Control Treatment 2: Wie verstehen die Testpersonen die zusätzliche Antwortoption „Das Emissionsrecht in einem Jahr stilllegen“ in der zweiten Version der Frage?
Die meisten Testpersonen mutmaßten, dass die zusätzliche Antwortoption als zeitlicher Aufschub dienen sollte, bspw. um sich selbst informieren zu können, oder aber für die Industrie und Politik, um die Stilllegung vorzubereiten. Sie stellten sich vor, dass das Emissionsrecht ein Jahr später stillzulegen, leichter umsetzbar sei, oder auch, dass während dieses Jahres nachverhandelt wer-den könne, ob das Emissionsrecht überhaupt stillgelegt werden solle:
Nach dem Lesen der zweiten Frageversion wurden die Testpersonen gefragt, ob es ihrer Einschätzung nach besser für die Umwelt sei, wenn man das Emissionsrecht sofort oder erst in einem Jahr stilllege. Diese Nachfrage bestätigte, dass keine der Testpersonen Kenntnis davon hatte, dass es aus Klimaschutzgründen Vorteile haben könnte, das Emissionsrecht erst ein Jahr später stillzulegen, und zwar unabhängig davon, ob die Testpersonen ihr Wissen über Klimaschutz im Allgemeinen als „sehr gut“ (TP 04), „eher gut“ (TP 01, 05), „durchschnittlich“ (TP 03, 06) oder „eher schlecht“ (TP 02) einschätzten.
Fünf Testpersonen gaben an, dass es eindeutig besser sei, das Emissionsrecht sofort stillzulegen. Eine Testperson wollte sich nicht festlegen, weil sie unsicher war, ob durch das sofortige Stilllegen nicht ein Versorgungsloch entstehen könnte und die Stilllegung des Emissionsrechts mit zeitlichem Vorlauf vielleicht vernünftiger verlaufen würde (TP 04). Nachdem die Testperson die Einleitungsseite ein zweites Mal gelesen hatte, kam auch sie zu dem Schluss, dass ein sofortiges Stilllegen im Sinne des Klimaschutzes sei.
Fällt es den Testpersonen einfacher, Control Treatment 1 oder 2 zu verstehen?
Drei Testpersonen empfanden Control Treatment 2, inklusive der Zeitdimension, als einfacher zu beantworten als die erste Version. Eine Testperson begründet dies damit, dass die zusätzliche Option, der Industrie ein weiteres Jahr Zeit zu geben, sie darin bekräftigte, das Emissionsrecht sofort stilllegen zu lassen („Einfach ist es auf jeden Fall, aber ich finde [die zweite Version] besser, weil man mehr Entscheidungen treffen kann. Wenn ich jetzt ein Jahr Zeit hätte, das [Emissionsrecht] stillzulegen und der Industrie weitere Möglichkeiten gebe, CO2 auszustoßen, dann finde ich die Antwort, das [Emissionsrecht] sofort stillzulegen, besser.“, TP 01). Eine weitere Testperson empfand die zweite Version allerdings nur deswegen als einfacher, weil sie die erste Version nicht vollständig gelesen hatte (TP 06).
Zwei Testpersonen empfanden Control Treatment 1, d. h., ohne Zeitdimension, als leichter zu beantworten, weil sie in Control Treatment 2 mehr haben nachdenken müssen (TP 04) bzw. weil sie durch die zusätzliche Antwortoption, deren Sinn nicht erklärt werde, verunsichert seien (TP 03). Eine Testperson fand beide Versionen gleich gut (TP 05).
