Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Fragetext:

Instruktionen:

Antwortkategorien:

Empfehlungen:

Wenn davon auszugehen ist, dass Befragte in der Haupterhebung mehr als eine Frage bzw. ein Erhebungsinstrument als zentral („main instrument/survey questions“) für ihre Studie ansehen könnten, empfehlen wir, Mehrfachantworten zuzulassen, da es möglich ist, dass auf diese Fragen/Instrumente unterschiedliche Antwortoptionen zutreffen.

Darüber hinaus empfehlen wir, eine Antwortoption wie z. B. „I do not know / I do not recall“ zu ergänzen, da es möglich ist, dass Befragte den Status des Erhebungsinstruments nicht (mit absoluter Sicherheit) kennen können.

Eingesetzte kognitive Technik/en:

Befund zur Frage:

Informationen zur Frage und Ziel der Testung:
Frage 2 erfasst den Status des (Haupt-)Erhebungsinstruments, das in der Studie verwendet wurde, zum Zeitpunkt der Datenerhebung. Unterschieden wird hier zwischen neu entwickelten, bereits publizierten und getesteten/validierten Instrumenten. Die Frage wurde im Pretest allen Testpersonen gestellt. Ziel der Testung war es, herauszufinden, ob die Antwortkategorien wie intendiert verstanden werden, ob den Befragten die Beantwortung der Frage schwer fällt, und ob eine Antwortoption wie „I do not recall“ ergänzt werden sollte.

Befund:
Alle Testpersonen konnten die Frage beantworten. Ihre Begründungen für die Auswahl einer Antwortoption passten jeweils zur gewählten Option.

• „Die Items habe ich aus einer Studie übernommen, die mit wiederholten Items arbeitet und die entwickelt und validiert und die auch publiziert sind.“ (TP10, Antwort: published and validated)
• „Ich würde mal sagen, ‚published and unvalidated‘. Das waren schon Items aus der Literatur, aber die waren nicht das, was ich unter validiert verstehe. Also validiert würde bedeuten, dass man Items aussortiert, dann explorative und konfirmatorische Faktorenanalyse rechnet, und dann die Konstruktvalidität noch einmal testet usw. Und das wurde da nicht gemacht.“ (TP02, Antwort: published and unvalidated)
• „Ich habe keine Skala z. B. aus dem ESS verwendet, wo ich das 1 zu 1 übernommen habe, sondern wir haben uns damals an vorherigen, publizierten Studien orientiert. Aber zu man-chen Dingen gab es keine Skalen, das heißt, wir mussten teilweise welche anpassen und teil-weise auch neue Fragen designen. Aus dem Grund passten die anderen Optionen für mich nicht, vor allem weil wir auch nicht gepretested haben. Das ist nicht so, dass wir noch kognitive Interviews gemacht haben.“ (TP03, Antwort: newly developed but not pretested)

Drei Testpersonen gaben an, dass ihnen die Beantwortung der Frage schwergefallen sei bzw. sie die Antwortoptionen für nicht verständlich hielten. Eine Testperson (TP09) erläuterte, dass sie in ihrer Studie Fragen aus unterschiedlichen Quellen genutzt habe, auf die mehrere Antwortoptionen zutreffen würden. Sie schlug daher vor, bei dieser Frage Mehrfachantworten zuzulassen.

„Teilweise waren das Fragen, die exakt aus dem ALLBUS, ISSP etc. übernommen wurden und teilweise Fragen aus dem ESS, wo wir dann etwas angepasst haben. Und die wurden dann nicht getestet. Ich bräuchte eine Mehrfachauswahl, wenn ich es für einzelne Fragen beantworten würde. Für den Fragebogen als Ganzes würde ich bei der Antwort bleiben, denn der wurde so neu entwickelt und nie am Ganzen getestet. Die Mehrheit der Fragen wäre ‚published and validated‘, aber manche wurden adaptiert und nicht getestet.“ (TP09, Antwort: newly developed but not pretested)

Die anderen beiden Testpersonen wiesen darauf hin, dass die Begriffe „published“, „validated“ und „pretested“ nicht eindeutig seien und von Befragten auf unterschiedliche Weise interpretiert werden könnten.

• „Ich habe ein bisschen Probleme mit diesem ‚validated‘. Muss ich die validieren? Oder andere? Weiß man das von Fragen, die man aus Studien zum Beispiel übernommen hat?“ (TP07)
• „Was heißt hier ‚validated‘, ‚unvalidated‘, ‚pretested‘? Da können sich vielleicht viele Forschende nicht direkt einordnen. Was genau heißt eine Validierung von einem Messinstrument? Was muss dafür getan werden, dass das als published gilt? Ich meine, wenn man selbst ein neues Item entwickelt, dann ist es einfacher, dann weiß man, man hat es neu entwickelt und gepretestet oder nicht. Aber wenn man mit existierenden Items arbeitet, dann weiß das vielleicht nur die Person, die sie publiziert hat. Aber was heißt validiert in dem Fall? Das ist für mich eigentlich der Kernbegriff, der für mich nicht ganz klar ist.“ (TP10)

Thema der Frage:

Konstrukt: