Wir empfehlen, Frage 18 in zwei Fragen aufzuteilen und zum einen danach zu fragen, welche (emotionalen) Konsequenzen die Ablehnung(en) für die Befragten persönlich haben und zum anderen danach zu fragen, ob man das bzw. die Paper woanders eingereicht hat. Die Information, ob eine erneute Einreichung geplant ist, wird in Frage 19 erfragt, weshalb dieser Aspekt in Frage 18 nicht enthalten sein muss bzw. sein sollte.
Bei der ersten Frage empfehlen wir, die Antwortoption „I anticipated the rejection of the paper“ zu streichen, da dies keine Konsequenz darstellt. Darüber hinaus sollte die (empfohlene) „None of the above“-Kategorie als exklusive Antwortkategorie definiert werden. Mögliche Formulierungen der beiden Fragen wären wie folgt:
Frage 1:
Does any of the following apply to you as a consequence of the rejection(s) of the paper(s)?
I am frustrated with the journal review process.
I have lost confidence in my work.
I feel embarrassed to reveal that I have performed a study that was not deemed good enough by peers.
I have lost interest in an “unsuccessful” study.
Other:
None of the above
Frage 2:
Have you already resubmitted the paper(s)?
Yes, I have resubmitted the paper(s) without major changes.
Yes, I have resubmitted the paper(s) after making revisions according to the sugges-tions.
No, I have not (yet) resubmitted the paper(s).
Informationen zur Frage und Ziel der Testung:
Frage 18 erfasst, welche Konsequenzen die Ablehnung eines oder mehrerer der Forschungspapiere für die Befragten hat(te). Wie bereits Frage 17 wird sie nur denjenigen Befragten gestellt, die bei Frage 16 angegeben haben, dass alle oder manche Papiere zu der Studie abgelehnt wurden. Das Ziel der Testung bestand darin herauszufinden, ob die Liste der Antwortoptionen vollständig ist oder ob noch weitere Optionen genannt werden sollten.
Befund:
Alle zehn Testperson gaben im Laufe des kognitiven Interviews an, dass eines oder mehrere ihrer Forschungspapiere im Begutachtungsprozess schon einmal abgelehnt wurde. Folglich erhielten alle Testpersonen Frage 18. Die kognitiven Interviews förderten drei Probleme der Frage zu Tage. Zum einen ist unklar, ob die beiden Kategorien am Ende der Antwortliste („No, …“) exklusiv sein sollten oder nicht, d. h. ob es möglich sein soll, sowohl eine Konsequenz der Ablehnung anzugeben als auch, dass das bzw. die Paper wieder eingereicht wurden oder werden sollen. Von den sieben Testpersonen, die mindestens eine der beiden „No“-Kategorien auswählten, klickten sechs auch eine oder mehrere substantielle Kategorien an. Mehrere Testpersonen wiesen darauf hin, dass sie die oberen Antwortoptionen und die beiden unteren als zu zwei Fragen zugehörig wahrnehmen würden.
Ein zweites Problem besteht darin, dass die beiden „No“-Kategorien im Präsens formuliert sind und dadurch nicht auf Situationen zutreffen, in denen die Forschungspapiere bereits wieder eingereicht wurden. Zwei Testpersonen (TP07, 10) nutzten die „Other“-Kategorie, um diese Situation zu beschreiben.
Eine Testperson wies außerdem darauf hin, dass die Antwortoption „I anticipated the rejection of the paper” nicht wirklich zur Frage passe, da dies keine Konsequenz sei („Das ist ja keine Konsequenz!“, TP01).
