Zur Dimensionalität der Items
Im Rahmen des Pretests sollte auch geprüft werden, ob die Testpersonen erkennen, dass die Items zwei zugrundeliegenden Dimensionen zugeordnet werden sollten: die Items A bis D sollten die Sozialkompetenz messen, die Items E bis G die Methodenkompetenz. Wenn die Items tatsächlich die entsprechenden Dimensionen abbilden sollten, müsste es den Testpersonen gelingen, sie in einem Sorting-Verfahren der jeweiligen Dimension zuzuorden.
In einem ersten Durchgang wurde das Verfahren des free sorting zum Einsatz gebracht, das heißt, die Items wurden einzeln auf Kärtchen geschrieben und die Testpersonen sollten ohne jede Vorgabe Stapel bilden, und zwar so, „dass diejenigen Begriffe, die irgendwie zusammengehören, die ähnliches ausdrücken, auf dem gleichen Stapel liegen“.
Es zeigt sich alleine von der Anzahl der gebildeten Stapel, dass die theoretischen Dimensionen sich den Testpersonen nicht erschließen; nur zwei Testpersonen fügen die Items zu zwei Stapeln zusammen, acht Testpersonen bilden drei, fünf Testpersonen vier Stapel. In keinem einzigen Fall werden beim freien Sortieren die Dimensionen Sozialkompetenz bzw. Methodenkompetenz exakt abgebildet.
Wie die genaue Verteilung der Items auf die Stapel beim free sorting erfolgt ist, ist hier nicht von Belang, denn: In einem zweiten Schritt wurden die Testpersonen gebeten, die Kärtchen erneut zu sortieren, aber jetzt unter der Maßgabe, dass nur noch zwei Stapel gebildet werden dürfen.
Und auch hier zeigt sich, dass die Dimensionen Sozialkompetenz bzw. Methodenkompetenz von den Testpersonen nicht durch die Items repräsentiert werden, die das eigentlich leisten sollten: Nur zwei der 15 Testpersonen bilden die beiden Stapel so, wie das theoretische Konstrukt es vorgesehen hat.
Nachdem die Testpersonen die Items auf zwei Stapel verteilt haben, wurden sie noch gebeten, den Stapeln einen „Namen“ zu geben. Bei dem ersten der gebildeten Stapel, dominiert der Begriff „Kommunikation“, bei dem zweiten Stapel, ist das weniger eindeutig.
Betrachten wir das im Einzelnen und beginnen mit dem Stapel, der eigentlich „Sozialkompetenz“ heißen sollte:
Und der Stapel, der eigentlich „Methodenkompetenz“ heißen sollte:
Alles in allem lässt sich als Ergebnis des kognitiven Pretests die Dimensionalität der Items betreffend festhalten, dass die Testpersonen die theoretisch erwartete Zuordnung zwischen Items und Dimension im Großen und Ganzen nicht nachvollziehen. Dies mag – wie verschiedene Kommentare gezeigt haben – vor allem daran liegen, dass selbst Items, die auf einer der beiden Dimensionen laden sollten, sprachlich sich zu sehr ähnlich sind. Es ist in der Tat nicht unbedingt nachvollziehbar, warum z.B. das Item „mit Konflikten umgehen und diese lösen“ (Item D) der Dimension „Sozialkompetenz“ zugeordnet ist, das Item „auf Probleme reagieren und diese lösen“ (Item E) dagegen der „Methodenkompetenz“. Dies mag inhaltlich zwar durchaus begründet und berechtigt sein, ist aber für die Testpersonen definitiv nicht nachvollziehbar. Dies erkennt man empirisch daran, dass dreizehn der fünfzehn Testpersonen die Items D und E dem gleichen Stapel zuordnen.
Und auch ansonsten werden fast durchgängig Items auf einen gemeinsamen Stapel abgelegt, die eigentlich entweder der „Sozialkompetenz“ oder der „Methodenkompetenz“ zuzuordnen sein sollten.
| Itemtext | Aktiv getestet |
|---|---|
a) dass Sie Verantwortung für andere Personen übernehmen müssenItemtext:
a) dass Sie Verantwortung für andere Personen übernehmen müssen
Empfehlungen:
Item belassen.
Befund zum Item:Bei Item A wird spontan nichts Erwähnenswertes geäußert.
Die Testpersonen unterscheiden drei Gruppen von Personen, für die Verantwortung übernommen werden soll. Eine Gruppe stellen studentische Hilfskräfte, Auszubildende und PraktikantInnen dar, die mit den Arbeitsabläufen im Betrieb noch nicht vertraut sind. Bei diesen wird Verantwortung übernommen dafür, dass die gestellten Aufgaben korrekt gelöst werden und sie korrekt in die Arbeitsabläufe eingewiesen werden. Zum Beispiel sagt TP 10: „Ich muss neue Mitarbeiter und Praktikanten anlernen und überwachen“. Die zweite Gruppe umfasst KollegInnen und MitarbeiterInnen. Verantwortung übernehmen wird hier in dem Sinne verstanden, dass man Empfehlungen und Ratschläge gibt, für deren Richtigkeit man sich verantwortlich fühlt („Wenn mich ein Kollege aus einer anderen Abteilung was fragt, wie und ob es geht, dass ich ihm später auch den Rücken freihalte“, TP 12). Die dritte Gruppe, für die einige Testpersonen Verantwortung übernehmen müssen, sind Kunden. Dabei dreht es sich um Verantwortung bei Beratungen sowie bei der Auswahl der passenden Produkte. TP 03 beschreibt dies folgendermaßen: „Und da habe ich die Verantwortung, was ich dem Kunden eben entsprechend verkaufe.“. Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
b) dass Sie mit anderen Personen kommunizieren müssenItemtext:
b) dass Sie mit anderen Personen kommunizieren müssen
Empfehlungen:
Item B könnte aufgrund der Randverteilungen gestrichen werden.
Befund zum Item:Bei Item B wird vereinzelt die Breite der Skala kritisiert, es werden Antwortkategorien
wie „ständig“, „sehr häufig“ und „täglich“ gefordert.
Unter dieser Formulierung werden Gespräche mit KundInnen, KollegInnen, Vorgesetzten und der Geschäftsleitung verstanden. Die Testpersonen zählen häufig die verschiedenen Kommunikationswege wie Telefon, E-Mail, Fax oder direkte Gespräche auf, z.B. „Telefonie mit Kunden, Kollegen, Vorgesetzten, Rechtsanwälten und so weiter. Kommunikation per Telefon, Fax, E-Mails. Die ganze Palette.“ (TP 12) Die Kommunikation wird nach Inhalten unterschieden. Zum einen wird auf private Inhalte verwiesen, zum anderen handelt es sich um Themen, die den Beruf und das Geschäft betreffen. Es wird auf jeden Fall unterstrichen, wie wichtig Kommunikation im Berufsleben der Testpersonen ist, dass sie eine zentrale Rolle einnimmt und dass ohne Kommunikation die Arbeit nicht möglich wäre, wie z.B. bei TP 07: „Ich sitze vier Stunden am Telefon und rede“. Aufgrund der Randverteilungen stellt sich die Frage, ob Item B wirklich aussagekräftig ist: Wenn alle Testpersonen angeben, sie müssten „häufig“ mit anderen Personen kommunizieren, könnte auf das Item verzichtet werden. Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
c) dass Sie andere überzeugen oder Kompromisse aushandeln müssenItemtext:
c) dass Sie andere überzeugen oder Kompromisse aushandeln müssen
Empfehlungen:
Item belassen.
Befund zum Item:Bei Item C wird vereinzelt die Breite der Skala kritisiert, es werden die Antwortkategorien „oft“ und „täglich“ gefordert.
Kompromisse werden bei vielen Testpersonen in Zusammenhang mit der Geschäftsleitung/den Vorgesetzten und den Kunden gesehen. Hier gilt es, unterschiedliche Vorstellungen dieser beiden Parteien aufeinander abzustimmen, damit beide Parteien zufriedengestellt werden können. Kompromisse müssen auch bei unzufriedenen Kunden gefunden werden. Eine Testperson nimmt einen Zusammenhang zwischen diesem Item und Item B wahr. Kompromisse müssen schließlich auch bei Meinungsverschiedenheiten ausgehandelt werden, „wenn man anderer Meinung ist, wie der Rest…“ (TP 09), wird diskutiert und darüber gesprochen, „ …dass man sich irgendwie einig wird" (TP 15). Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
d) dass Sie mit Konflikten umgehen und diese lösen müssenItemtext:
d) dass Sie mit Konflikten umgehen und diese lösen müssen
Empfehlungen:
Problematisch ist die wahrgenomme Überschneidung von Item D (Konflikte lösen)
und E (Probleme lösen). Hier sollte eines der beiden Items so umformuliert werden, dass
die unterschiedliche Bedeutung der Items besser zum Vorschein kommt. Dazu wäre aber
zunächst die genaue Zielrichtung der beiden Items zu definieren.
Befund zum Item:Bei Item D wird die Antwortkategorie „täglich“ gefordert.
Konflikte entstehen bei vielen Testpersonen, wenn ihre Kunden unzufrieden sind und es Meinungsverschiedenheiten zwischen KollegInnen, oder zwischen ihnen und ihren MitarbeiterInnen gibt. Dabei wird von einigen Testpersonen auf einen wahrgenommenen Zusammenhang zwischen diesem Item und dem vorherigen Item C („andere überzeugen und Kompromisse aushandeln") hingewiesen. Für diese Testpersonen müssen Kompromisse für zugrunde liegende Konflikte gefunden werden. Drei Testpersonen verwenden in ihren Erläuterungen nicht das Wort „Konflikte“, sondern „Probleme“ und eine weitere gibt bei Nachfrage, was unter Konflikten zu verstehen sei, an, dass Konflikte eben Probleme seien. Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
e) dass Sie auf Probleme reagieren und diese lösen müssenItemtext:
e) dass Sie auf Probleme reagieren und diese lösen müssen
Empfehlungen:
Problematisch ist die wahrgenomme Überschneidung von Item D (Konflikte lösen)
und E (Probleme lösen). Hier sollte eines der beiden Items so umformuliert werden, dass
die unterschiedliche Bedeutung der Items besser zum Vorschein kommt. Dazu wäre aber
zunächst die genaue Zielrichtung der beiden Items zu definieren.
Befund zum Item:Bei Item E wird die Antwortkategorie „täglich“ gefordert. Darüber hinaus wird spontan
darauf hingewiesen, dass „Probleme und Konflikte eigentlich das gleiche“ bedeute (TP
13).
Auffallend bei diesem Item ist, dass mehr als die Hälfte der Testpersonen ihre Antworten mit einem Verweis auf das vorherige Item beginnen. „Das ist das Gleiche wie eben“ (TP 06), „Das ist genau das Selbe“ (TP 05), „Das bezieht sich wieder auf die Konflikte“ (TP 13) stellen eine Auswahl dieser Verweise dar. Menschen nehmen bei diesen Problemen eine zentrale Rolle ein, wobei in diesem Fall nochmals zwischen Kollegen und Kundschaft unterschieden wird. Auch Maschinen können für Testpersonen eine Problemquelle sein, wie bei TP 10: „Probleme gibt es hauptsächlich mit der Maschine, dass die nicht richtig läuft. Das muss man in den Griff bekommen, die Maschine richtig einstellen beziehungsweise reparieren.". Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
f) dass Sie eigenständig schwierige Entscheidungen treffen müssenItemtext:
f) dass Sie eigenständig schwierige Entscheidungen treffen müssen
Empfehlungen:
Item belassen.
Befund zum Item:Bei Item F wird die Skala kritisiert; vermisst wird eine Antwortkategorie „zwischen
häufig und manchmal“, und es wird die Kategorie „täglich“ gefordert. TP 02 äußert sich
spontan dahingehend, dass sie mit der Formulierung „schwierige Entscheidungen“
Probleme habe. Sie würde zwischen Entscheidungen und schwierigen Entscheidungen
einen Unterschied sehen: „Entscheidungen muss ich natürlich häufig treffen, schwierige
Entscheidungen nur manchmal".
Schwierige Entscheidungen werden häufig mit den Vorgesetzten oder der Geschäftsleitung in Verbindung gebracht. Hierbei unterscheiden sich aber zwei Gruppen von Testpersonen. In der ersten Gruppe sind Testpersonen, die einer selbstständigen Arbeit nachgehen oder im Angestelltenverhältnis mit großer Entscheidungsbefugnis ausgestattet sind. Beide Gruppen geben an, sie müssten dauernd schwierige Entscheidungen treffen. Die zweite Gruppe von Testpersonen steht in einem Beschäftigungsverhältnis mit anscheinend geringerer Entscheidungsbefugnis. Diese Personen müssen Entscheidungen entweder an den Chef weiterleiten („…aber wenn es darüber liegt, gebe ich das an Chefin weiter.“ TP 07) oder ihren Vorgesetzten nach der Vorgehensweise fragen. Ebenfalls macht es einen Unterschied, ob die zu treffende Entscheidung zu einem Problem mit dem Vorgesetzten führen könnte, wie z.B. bei TP 03, die sagt, sie „…gehe dieses Risiko ein, dass mir mein Chef dann Probleme macht.“, oder ob die Testperson die zu treffende Entscheidung einfach nicht treffen darf. Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
g) dass Sie eigene Wissenslücken erkennen und schließen müssenItemtext:
g) dass Sie eigene Wissenslücken erkennen und schließen müssen
Empfehlungen:
Item belassen.
Befund zum Item:Bei Item G wird darauf hingewiesen, dass „nie“ eigentlich keine passende Antwortvorgabe
sei, denn: „Wenn man hier nie sagen würde, würde man lügen“ (TP 04).
Wissenslücken treten dann auf, wenn die Testpersonen „…mit einer Frage konfrontiert werden, wo einfach das Fachwissen fehlt“. (TP 04). Neue, ungewohnte Situationen wie ein Abteilungswechsel, fremde Produkte, etc. lassen ebenfalls Wissenslücken erkennen, die dann mit Hilfe von „Fachlektüre“ (TP 15), dem Internet oder dem Wissen von Kollegen geschlossen werden. Eine Testperson nennt als Grund für das Auftreten von Wissenslücken „…moderne Zeiten…“ (TP 03), zwei Testpersonen merken neue oder besondere Rechtslagen an, die „…man sich aneignen muss um gegebenenfalls vertragliche Vereinbarungen zu ergänzen…“ (TP 01), bevor „…jemand falsche Auskünfte gibt.“ (TP 12). Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:Sozial- & Methodenkompetenz im Beruf
|
Ja |
