Informationen zur Frage und Ziel der Testung:
Frage 6 soll erfassen, welchen Beitrag die deutsche Entwicklungszusammenarbeit zur Erreichung
verschiedener Ziele in Entwicklungsländern leisten sollte. Die Items wurden den Testpersonen in
zufälliger Reihenfolge angezeigt. Ziel der kognitiven Nachfrage war es herauszufinden, ob die Testpersonen Schwierigkeiten hatten, die vielen unterschiedlichen Ziele zu bewerten.
Befunde:
Bei allen Items von Frage 6 ist die Verteilung der Antworten linksschief, d. h., dass die Befragten mehrheitlich einen Beitrag der Entwicklungszusammenarbeit in den jeweiligen Themenbereichen befürworteten (Skalenwerte 5-7). Die Anzahl der Testpersonen, die „Weiß nicht“ auswählten, lag zwischen 2,9 % und 5,8 %. Um die interne Konsistenz der 15-Item-Skala zu bestimmen, wurde Cronbachs Alpha berechnet. Ein Cronbachs-Alpha-Wert von 0,96 deutet darauf hin, dass die Testpersonen kaum zwischen den genannten Zielen differenzierten.
Die 116 Testpersonen, die (zufällig) Gruppe 2 zugeordnet wurden, erhielten die kognitive Nachfrage zu Schwierigkeiten bei der Beantwortung der Frage. Davon gaben 32,8 % an, dass ihnen die Beantwortung der Frage „eher schwer“ gefallen sei und eine Person (0,9 %), dass ihr die Beantwortung „sehr schwer“ gefallen sei.
Die Testpersonen begründeten ihre Schwierigkeiten bei der Beantwortung der Frage hauptsächlich
damit, dass es ein komplexes Thema sei und ihnen nötige Hintergrundinformationen fehlen würden:
- "Mir fehlt Wissen zur Einschätzung, inwieweit hier überhaupt positiver Einfluss genommen werden kann. Zudem ist dies hauptsächlich Sache der dortigen Regierung.“ (TP118)
- „Ich kann mich nicht in die Situation hineinversetzen, wie es ist, in einem Entwicklungsland zu
leben und wieviel Hilfe an welcher Stelle nötig ist.“ (TP141)
- „Weil es ein nicht ganz einfaches Thema ist.“ (TP184)
- „Weil es zu viel Bereiche gibt, die Unterstützung erfordern. Es ist mir hauptsächlich schwergefallen, eine Klassifizierung vorzunehmen. Eigentlich erfordern fast alle genannten Bereiche
ausreichende Unterstützung.“ (TP238)
Lediglich drei Testpersonen äußerten sich nicht zur Komplexität des Themas, sondern zur Frageformulierung selbst:
- „Die Problembereiche sind sehr allgemein gehalten. Es wäre einfacher gewesen, sich an konkreten Beispielen (vor Ort) zu entscheiden.“ (TP142)
- „Manche Fragen bzw. die vorgeschlagenen Antworten sind etwas unglücklich formuliert.“
(TP352)
- „Zu viele Auswahlmöglichkeiten.“ (TP529)
Ein Drittel der Testpersonen gab an, dass ihnen die Beantwortungen der Frage „eher schwer“ oder „sehr schwer“ gefallen sei, was vorwiegend mit der Komplexität des Themas begründet wurde. Darüber hinaus deuten die Daten des Pretests darauf hin, dass die Testpersonen kaum zwischen den genannten Zielen differenzierten.
Analog zu Frage 5 empfehlen wir, das Frageformat abzuändern und die Befragten zu bitten, nur eine Subgruppe der wichtigsten Ziele auszuwählen (z.B. drei oder fünf), für welche die deutsche Entwicklungsarbeit einen Beitrag leisten sollte. Je nach Erkenntnisinteresse könnte eine solche Frage als Ranking- oder Multiple-Choice-Frage realisiert werden.
Falls ein solches Frageformat aufgrund des Analysepotenzials nicht in Betracht kommt, empfehlen wir, die Komplexität der Frage durch die Verwendung einer 4er-Antwortskala (ohne „weder noch“-Option) zu reduzieren. Darüber hinaus empfehlen wir, die Items auf drei Fragebogenseiten zu verteilen. Diese (sowie die Items auf den einzelnen Seiten) sollten in randomisierter Reihenfolge präsentiert werden.
