Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Question Text:

Answer Categories:

Recommendations:

Cognitive Techniques:

Findings for Question:

Informationen zur Frage und Ziel der Testung:
Die Frage 14 wird all jenen Befragten gestellt, die bei der vorherigen Frage angegeben haben, dass die Erwartungen (zumindest teilweise) nicht erfüllt wurden. Die Frage erfasst, welcher Art die Abweichung zwischen den Erwartungen der Befragten und den erzielten Ergebnissen war. Das Ziel der Testung bestand darin herauszufinden, ob die Liste der Antwortoptionen vollständig ist oder ob noch weitere Optionen genannt werden sollten.

Befund:
Neun der zehn Testpersonen erhielten Frage 14 aufgrund der Filterführung bzw. ihrer Antwort auf Frage 13. Zwei dieser Testpersonen nutzten die Other-Kategorie und erläuterten, dass ihre Fragestellung (teilweise) explorativen Charakter hatte und sie daher keine Erwartungen an die Ergebnisse hatten (TP02) bzw. dass zwar ein erwarteter Effekt gefunden wurde, dieser aber nicht statistisch signifi-kant war (TP06). Testperson 06 gab an, dass sie dieses Ergebnis nicht als „Null effect“ bezeichnen würde.

• „Wir hatten da teilweise keine gerichteten Hypothesen. Das kann ja auch z. B. im Rahmen einer Skalenentwicklung der Fall sein. Da hat man in dem Sinn auch keine Erwartungen. Man will ja schauen, ist das vielleicht zwei- oder dreidimensional, ist das Konstrukt so und so.“(TP02)
• „Ich suche hier ein Stück weit nach der ‚Nicht-Signifikanz‘. Was wir erwartet haben, ist natürlich ein Effekt in eine bestimmte Richtung, aber mitgedacht ist natürlich dann immer, dass dieser Effekt signifikant ist. Und das wäre jetzt hier eigentlich meine Antwort. Also ich sage, das ist zwar in dieselbe Richtung wie erwartet, aber die Signifikanz hat gefehlt, sowohl bei der Moderation als auch bei ein, zwei Haupteffekten, die wir erwartet haben. ‚Opposite direction‘ und ‚Null effect‘ ist klar, wobei das eben wirklich so ein bisschen besetzt ist für die tatsächlich getroffene Null und nicht nur für einen Effekt, der klein ist oder halt nicht signifikant. Mir fehlt hier ‚not significant as expected‘. (TP06)

Mit Ausnahme von Testperson 06 gaben alle Testpersonen an, die Liste der Antwortoptionen sei voll-ständig, insbesondere da auch eine offene Other-Kategorie angeboten würde. Allerdings wiesen vier Testpersonen (TP03, 05, 08, 10) darauf hin, dass sie sich bei dieser Frage eine Mehrfachauswahl gewünscht hätten.

• „Ich kann nur eins ankreuzen, richtig? Ich hätte hier auch mehrere Sachen ankreuzen können. Also ich glaube, den Haupteffekt hatte ich ja gerade eben schon gesagt, der so ganz in die andere Richtung ging als erwartet. Aber wir hatten auch ein, zwei Prädiktoren, wo wir gedacht haben, es gibt einen bestimmten Effekt und die haben halt keinen Effekt gehabt. Also Null Ef-fekt hätte ich auch noch anklicken können.“ (TP05)
• „Bei mir würde ich jetzt Null-Effekt sagen. Weil das am ehesten passt. Aber es könnten ja auch mehrere Dinge hier zutreffen. Hier sollten Mehrfachantworten möglich sein.“(TP08)

Question Topic:

Construct: