2. Fragetext
   (Befund/Empfehlungen): Ich lese Ihnen nun einige Situationen vor, die bei der Arbeit auf jemanden zukommen können. Uns interessiert dabei, wie häufig diese Situationen bei Ihrer Arbeit vorkommen. Wie häufig kommt es bei Ihrer Arbeit vor, ...

   • Befund zum Fragetext
   • Empfehlungen zum Fragetext

   1. Befund zum Fragetext: Zur Dimensionalität der Items
      
      Im Rahmen des Pretests sollte auch geprüft werden, ob die Testpersonen erkennen, dass die Items zwei zugrundeliegenden Dimensionen zugeordnet werden sollten: die Items A bis D sollten die Sozialkompetenz messen, die Items E bis G die Methodenkompetenz. Wenn die Items tatsächlich die entsprechenden Dimensionen abbilden sollten, müsste es den Testpersonen gelingen, sie in einem Sorting-Verfahren der jeweiligen Dimension zuzuorden.
      
      In einem ersten Durchgang wurde das Verfahren des free sorting zum Einsatz gebracht, das heißt, die Items wurden einzeln auf Kärtchen geschrieben und die Testpersonen sollten ohne jede Vorgabe Stapel bilden, und zwar so, „dass diejenigen Begriffe, die irgendwie zusammengehören, die ähnliches ausdrücken, auf dem gleichen Stapel liegen“.
      
      Es zeigt sich alleine von der Anzahl der gebildeten Stapel, dass die theoretischen Dimensionen sich den Testpersonen nicht erschließen; nur zwei Testpersonen fügen die Items zu zwei Stapeln zusammen, acht Testpersonen bilden drei, fünf Testpersonen vier Stapel. In keinem einzigen Fall werden beim freien Sortieren die Dimensionen Sozialkompetenz bzw. Methodenkompetenz exakt abgebildet.
      
      Wie die genaue Verteilung der Items auf die Stapel beim free sorting erfolgt ist, ist hier nicht von Belang, denn: In einem zweiten Schritt wurden die Testpersonen gebeten, die Kärtchen erneut zu sortieren, aber jetzt unter der Maßgabe, dass nur noch zwei Stapel gebildet werden dürfen.
      
      Und auch hier zeigt sich, dass die Dimensionen Sozialkompetenz bzw. Methodenkompetenz von den Testpersonen nicht durch die Items repräsentiert werden, die das eigentlich leisten sollten: Nur zwei der 15 Testpersonen bilden die beiden Stapel so, wie das theoretische Konstrukt es vorgesehen hat.
      
      Nachdem die Testpersonen die Items auf zwei Stapel verteilt haben, wurden sie noch gebeten, den Stapeln einen „Namen“ zu geben. Bei dem ersten der gebildeten Stapel, dominiert der Begriff „Kommunikation“, bei dem zweiten Stapel, ist das weniger eindeutig.
      Betrachten wir das im Einzelnen und beginnen mit dem Stapel, der eigentlich „Sozialkompetenz“ heißen sollte:
      • TP 01 (A-B-C-D-E): "Rund um Kommunikation, Umgang mit anderen"
      • TP 02 (A-B-C-F): "Kommunikation und Verantwortung"
      • TP 03 (A-B-G): "Externes, Mitverantwortung"
      • TP 04 (A-B-C-F-G): "Alltag, Geschäfte"
      • TP 05 (A-B-C-D-E-F): "Andere, negativ"
      • TP 06 (A-B-C-F): "Verantwortung"
      • TP 07 (A-B-C): "Kommunikation"
      • TP 08(A-F-G): "Kommunikation"
      • TP 09 (korrekt: A-B-C-D): "Kommunikation"
      • TP 10 (korrekt: A-B-C-D): "Team"
      • TP 11 (A-B-C-D-E-F): "Tägliches Brot"
      • TP 12 (A):"Ausnahme"
      • TP 13 (A-B-C-D-E):"Kommunikation mit außen, Sachen in Bezug auf andere Menschen"
      • TP 14 (A-C-F):"Planung"
      • TP 15 (A-C-D-E):"Konfliktlösung"
      Und der Stapel, der eigentlich „Methodenkompetenz“ heißen sollte:
      • TP 01 (F-G): "Initiative und Eigenständigkeit"
      • TP 02 (D-E-G): "Problemlösung"
      • TP 03 (C-D-E-F): "Intern, Eigenverantwortung"
      • TP 04 (D-E): "Probleme"
      • TP 05 (G): "Ich, positiv"
      • TP 06 (D-E-G): "Probleme, Konflikte"
      • TP 07 (D-E-F-G): "Konflikte"
      • TP 08 (B-C-D-E): "Entscheidung"
      • TP 09 (korrekt: E-F-G): "Entscheidungen"
      • TP 10 (korrekt: E-F-G): "Einzelentscheidungen"
      • TP 11 (G): "Kommt gelegentlich vor"
      • TP 12 (B-C-D-E-F-G): "Job, Tagesgeschäft"
      • TP 13 (F-G): "Persönlich, Kommunikation mit mir selbst"
      • TP 14 (B-D-E-G): "Kommunikation"
      • TP 15 (B-F-G): "Berufliche Kompetenz"
      Alles in allem lässt sich als Ergebnis des kognitiven Pretests die Dimensionalität der Items betreffend festhalten, dass die Testpersonen die theoretisch erwartete Zuordnung zwischen Items und Dimension im Großen und Ganzen nicht nachvollziehen. Dies mag – wie verschiedene Kommentare gezeigt haben – vor allem daran liegen, dass selbst Items, die auf einer der beiden Dimensionen laden sollten, sprachlich sich zu sehr ähnlich sind. Es ist in der Tat nicht unbedingt nachvollziehbar, warum z.B. das Item „mit Konflikten umgehen und diese lösen“ (Item D) der Dimension „Sozialkompetenz“ zugeordnet ist, das Item „auf Probleme reagieren und diese lösen“ (Item E) dagegen der „Methodenkompetenz“. Dies mag inhaltlich zwar durchaus begründet und berechtigt sein, ist aber für die Testpersonen definitiv nicht nachvollziehbar. Dies erkennt man empirisch daran, dass dreizehn der fünfzehn Testpersonen die Items D und E dem gleichen Stapel zuordnen.
      
      Und auch ansonsten werden fast durchgängig Items auf einen gemeinsamen Stapel abgelegt, die eigentlich entweder der „Sozialkompetenz“ oder der „Methodenkompetenz“ zuzuordnen sein sollten.

   1. Empfehlungen zum Fragetext: Dimensionalität der Items: Was die Dimensionalität der Items angeht, werden wir keine Empfehlung aussprechen. Die Items können im wesentlichen unverändert bleiben. Allerdings könnte Item B aufgrund der Randverteilungen gestrichen werden; dann wäre Sozialkompetenz wie Methodenkompetenz durch drei Items repräsentiert.
      Skala: Da die Skala den zeitlichen Raum für das Beantworten der Frage eindeutig nicht vollständig abbildet, empfehlen wir die folgende Erweiterung:
      Alternative 1: ständig – häufig – manchmal – nie
      oder Alternative 2: täglich – drei oder vier mal die Woche – ein oder zwei mal die Woche – nie
      Darüber hinaus bieten wir folgende Empfehlung zur Diskussion an: Änderung der Fragenformulierung; statt: „wie häufig kommt es vor, dass…?“ in „An wie vielen Tagen in der Woche kommt es normalerweise vor, dass Sie…?“ und Angabe von Tagen anstelle Verwendung einer Skala.
4. Antwortkategorien

   Häufig

   Manchmal

   Nie

   • Befund zu Antwortkategorien
   • Empfehlungen zu Antwortkategorien

---

1. Eingesetzte kognitive Technik/en: Specific Probing, Sorting.

Items