Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Fragetext:

Instruktionen:

Antwortkategorien:

Alternatives Antwortformat, das getestet wurde:

Empfehlungen:

Eingesetzte kognitive Technik/en:

Befund zur Frage:

Informationen zur Frage und Ziel der Testung:
Frage 19 erfasst die Wahrscheinlichkeit, mit der die Befragten das oder die Forschungspapier(e) erneut bei einer Fachzeitschrift oder einem Sammelband einreichen werden. Auch diese Frage wird nur denjenigen Befragten gestellt, die bei Frage 16 angegeben haben, dass alle oder manche Papiere zu der Studie abgelehnt wurden. Die zwei getesteten Frageversionen unterscheiden sich dahingehend, ob die Antwort als Prozentzahl in ein offenes Textfeld eingebeben oder aus einer geschlossenen Antwort-skala ausgewählt werden muss. Das Ziel der Testung bestand darin herauszufinden, ob das offene Antwortformat differenziertere Antworten hervorbringt als das geschlossene Format und ob eine der beiden Versionen von den Testpersonen bevorzugt wird.

Befund:
Wie aus Tabelle 17 hervorgeht, wiesen die Antworten der Testpersonen bei beiden Frageversionen keine bzw. nur sehr geringe Varianz auf. Alle zehn Testpersonen argumentierten, dass sie Forschungspapiere nach deren Ablehnung immer bei einer anderen Fachzeitschrift oder einem Sammelband einreichen würden.

• „Ich habe da Arbeit reingesteckt, ich möchte es nicht liegen lassen. Ich habe jetzt ein Paper, das schon etwas länger liegt, weil wir noch eine Sache umändern müssen. Aber das wird auf jeden Fall auch eingereicht.“ (TP03, Antwort Frage 19 Version 1: 100%)
• „Es bringt mir ja nichts, wenn ich es nicht wieder irgendwo einreiche. Also ich würde nie ein Paper, das fertig ist, auf meiner Festplatte verrotten lassen, sondern immer einreichen, bis es irgendwo angenommen wird.“ (TP04, Antwort Frage 19 Version 1: 100%)
• „Also ich finde, wenn ich mir schon die Mühe gemacht habe, was zu schreiben, dann hatte ich einen Grund, warum ich es geschrieben habe. Und ich würde es immer nochmal woanders probieren und da auch erstmal dran festhalten.“ (TP05, Antwort Frage 19 Version 1: 90%)

Drei Testpersonen wiesen auch hier (wie bereits bei Frage 18) darauf hin, dass es unpassend sei, die Frage im Präsens zu formulieren, da es ja sein könne, dass man ein Paper bereits wieder eingereicht hat.

• „Ja, gut. Es ist ja jetzt praktisch schon erfüllt. Da hätte ich jetzt gerne etwas angeklickt wie ‚habe ich schon gemacht‘. Dann würde ich jetzt hier verlegenheitshalber 100% eingegeben.“ (TP06)
• „Hier jetzt wieder: Wenn man das schon gemacht hat, dann weiß ich jetzt nicht, was ich hier eintragen soll. Bei mir liegt das zum Beispiel in der Vergangenheit. Daher passt die Frage nicht so gut.“ (TP10)

Die Mehrheit der Befragten (n = 7) drückte ihre Präferenz für Frageversion 2 aus, was sie damit begründeten, dass Frageversion 1 eine zu detaillierte Beantwortung erfordere.

• „Ich finde die zweite hier besser, weil ich finde, dass das Antwortformat der ersten Frage ein bisschen extrem detailliert für eine Frage ist, die man, glaube ich, nicht so detailliert beantworten kann. Und ich glaube auch nicht, dass es da so wahnsinnig viel Varianz gibt.“ (TP04)
• „Ich finde, bei Version 1 ist das ja eine Skala mit 100 Ausprägungen. Ich weiß nicht, ob das Sinn macht, also ob da nicht am Ende eh die Leute sagen 100 oder 50 oder 70. Ob da nicht die zweite Skala das genauso erledigt. Für diese Frage ist eigentlich keine Prozentskala nötig.“(TP10)

Thema der Frage:

Konstrukt: