Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Fragetext:

Antwortkategorien:

Alternatives Antwortformat, das getestet wurde:

Empfehlungen:

Analog zur vorherigen Frage 12 empfehlen wir, eine Kombination der beiden Frageversionen bzw. Antwortskalen zu verwenden und in der Frage den Begriff „main“ zu streichen. Darüber hinaus empfehlen wir, eine Residualkategorie zu ergänzen, mit der Befragte angeben können, dass sie keine Erwartungen hatten (z. B. aufgrund eines explorativen Studiendesigns): 

Did you find support for your expectations?

Yes, for all expectations
Yes, for most expectations
Yes, but only for some expectations
No, for none of my/our expectations 
I/We did not have any expectations (e.g., explorative study design)

Eingesetzte kognitive Technik/en:

Befund zur Frage:

Informationen zur Frage und Ziel der Testung:
Frage 13 erfasst, ob die Ergebnisse der Datenanalyse die wichtigsten Erwartungen bestätigten. Wie bei der vorherigen Frage unterscheiden sich die zwei getesteten Frageversionen in der verwendeten Antwortskala. Ziel der Testung war es, herauszufinden, welche der beiden Versionen besser funktioniert bzw. von den Testpersonen bevorzugt wird.

Befund:
Wie bei der vorherigen Frage verorteten sich die Testpersonen bei beiden Versionen am oberen Ende der Antwortskala und erläuterten, dass die Ergebnisse der Datenanalyse (größtenteils) ihre Erwartungen bestätigt hatten.

• „Weil wir unsere Hauptannahmen bestätigt finden.“ (TP01, Antwort Frage 13 Version 1: Definitely yes)
• „‘Mostly yes‘, weil einige Zusammenhänge waren zwar nicht statistisch signifikant, aber das konnten wir auch tatsächlich so erwarten aus der Literatur.“ (TP10, Antwort Frage 13 Version 1: Mostly yes)
• „Hier auch ‘Somehwat yes’. Weil wir ja Support gefunden haben, deshalb wäre ‚No‘ einfach falsch und ‚Mostly‘ finde ich jetzt zu viel, weil es nahezu 50:50 war. Da finde ich ‚Mostly‘ nicht richtig passend.“ (TP09, Antwort Frage 13 Version 1: Somewhat yes)

Ebenfalls analog zu Frage 12, drückte die Mehrheit der Befragten (n = 9) ihre Präferenz für Frageversion 2 aus, wobei auch hier darauf hingewiesen wurde, dass die erste Version möglicherwiese zu differenzierteren Ergebnissen führt.

• „Ich würde auf jeden Fall die zweite Version bevorzugen. Das ‘Somewhat yes’ und ‘Somewhat no’ in der ersten finde ich zu unklar, zu nah beieinander.“ (TP06, Antwort Frage 13 Version 1: Somewhat yes, Antwort Frage 13 Version 2: Yes, partially)
• „Also die zweite ist deutlich einfacher, aber die erste ermöglicht für Forschende natürlich eine stärkere Unterscheidung.“ (TP07, Antwort Frage 13 Version 1: Mostly yes, Antwort Frage 13 Version 2: Yes, partially)

Thema der Frage:

Konstrukt: