Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Fragetext:

Antwortkategorien:

Alternatives Antwortformat, das getestet wurde:

Empfehlungen:

Die zweite Version von Frage 12 wurde vom Großteil der Testpersonen bevorzugt und als eindeutiger bezeichnet als die erste Version. Allerdings wiesen mehrere Testpersonen darauf hin, dass bei der Verwendung von Version 2 der Frage kaum Varianz in den Antworten der Befragten zu erwarten ist: Nahezu alle würden sich wahrscheinlich bei „Yes, partially“ einsortieren, da dies ein häufiges Ergebnis in sozialwissenschaftlichen Studien ist. Wir empfehlen daher, eine Kombination der beiden Frageversionen bzw. Antwortskalen zu verwenden und in der Frage den Begriff „main“ zu streichen. Darüber hinaus empfehlen wir, eine Residualkategorie zu ergänzen, mit der Befragte angeben können, dass sie keine Signifikanztests durchgeführt haben. Diese könnte z. B. für Befragte relevant sein, die bayessche statistische Verfahren statt des Nullhypothesen-Signifikanztestens einsetzen: 

Did you find statistically significant results when analyzing the data (by whatever standard you use to interpret statistical significance)?

Yes, all results were statistically significant
Yes, most results were statistically significant
Yes, but only some results were statistically significant
No, none of the results were statistically significant 
I/We did not conduct tests of significance

Eingesetzte kognitive Technik/en:

Befund zur Frage:

Informationen zur Frage und Ziel der Testung:
Frage 12 erfasst, ob die Ergebnisse der zentralen Analysen statistisch signifikant waren. Die zwei getesteten Frageversionen unterscheiden sich bezüglich der verwendeten Antwortskala. Ziel der Testung war es, herauszufinden, welche der beiden Versionen besser funktioniert bzw. von den Testpersonen bevorzugt wird.

Befund:
Die Testpersonen verorteten sich bei beiden Versionen am oberen Ende der Antwortskala und erläuterten, dass sie (größtenteils) statistisch signifikante Ergebnisse gefunden hätten.

• „Wir suchen in der Studie nach Wirkmechanismen, und die finden wir auch in den Daten. Nicht so stark wie erwartet, aber wir finden schon das, was wir suchen, eindeutig.“ (TP01, Antwort Frage 12 Version 1: Definitely yes)
• „Ich sage jetzt ‚Mostly yes‘. Wir haben mehrere Papiere. Wir haben mehrere AVs. Also es ist ein differenzierter Strauß von Analysen, die wir gemacht haben. Und ich würde sagen, dass wir überwiegend das gefunden haben, was wir erwartet haben. Wir haben nicht alles gefunden, was wir erwartet haben.“ (TP08, Antwort Frage 12 Version 1: Mostly yes)
• „Wir hatten nur einzelne signifikante Ergebnisse.“ (TP02, Antwort Frage 12 Version 1: Somewhat yes)

Mit Ausnahme von einer Testperson (TP08), gaben alle an, die zweite Version der Frage zu bevorzugen, da die Antwortskala eindeutiger sei und sie die Beantwortung der Frage erleichtere.

• „Das passt wesentlich besser. Wir haben krasse Unterschiede gefunden, aber teilweise auch gar keine. Hier, mit dem ‚Yes, partially‘, finde ich mich wesentlich besser zurecht als bei der ers-ten Version.“ (TP03, Antwort Frage 12 Version 1: Definitely yes, Antwort Frage 12 Version 2: Yes, partially)
• „Ich finde die Zweite hier auf jeden Fall passender, weil es relativ eindeutig ist, wie man sich da einordnen kann. Und es nicht so viel Interpretationsspielraum zwischen den Antwortkategorien gibt.“ (TP04, Antwort Frage 12 Version 1: Mostly yes, Antwort Frage 12 Version 2: Yes, partially)
• „Das ‚partially‘ ist genau der Begriff, den ich brauchte, also das ‚zum Teil‘. Die Version ist wesentlich einfacher.“ (TP09, Antwort Frage 12 Version 1: Somewhat yes, Antwort Frage 12 Version 2: Yes, partially)

Testperson 08 wies darauf hin, dass die Antwortskala in Frageversion 2 zu wenig differenziere, worauf auch drei weitere Testpersonen hinwiesen.

• „‘Yes, partially‘ kann ja alles Mögliche bedeuten. Da habt ihr zu wenig Varianz in der Skala.“ (TP08)
• „Hier werden wahrscheinlich fast alle ‚Yes, partially‘ auswählen. Einfach weil das der typische Befund ist in den Sozialwissenschaften.“ (TP01)
• „Die zweite ist zwar sehr viel einfacher zu beantworten, aber damit bekommt man natürlich viel ungenauere Ergebnisse. Als Befragter fände ich das besser, als Forscher kommt es natür-lich darauf an, was man herausfinden will.“ (TP02)
• „Klar, ihr werdet mit der Version wahrscheinlich sehr viele ‚yes, partially‘-Antworten bekommen. Aber vom kognitiven Aufwand her ist die schon besser, viel einfacher.“ (TP06)

Thema der Frage:

Konstrukt: