Fragebogen auswerten in SPSS und R

Gerade bei einem neu erstellten Fragebogen ist die Reliabilität für die Auswertung besonders wichtig. Sie beschreibt, wie stark ein Messinstrument von zufälligen Messfehlern beeinflusst wird. Hat der Fragebogen eine perfekte Genauigkeit, kommt es unter gleichen Bedingungen zu den gleichen Ergebnissen. Bei niedriger Reliabilität dagegen käme derselbe Fragebogen unter gleichen Bedingungen zu völlig unterschiedlichen Ergebnissen, ein Hinweis darauf, dass er mit hohen Messfehlern belastet ist.

Wir prüfen die Skalen Ihres Fragebogens vor der eigentlichen Analyse und weisen die Kennwerte im Ergebnisdokument aus. Falls eine Skala nicht trägt, sagen wir Ihnen das, bevor darauf eine ganze Hypothesenprüfung aufgebaut wird.

Gerade bei Mitarbeiterbefragungen, klinischen Fragebögen oder anderen sensiblen Themen ist neben der statistischen Qualität auch der vertrauliche Umgang mit den Rohdaten wichtig. Ihre Daten werden ausschließlich für Ihr Projekt verwendet, vertraulich behandelt und auf Wunsch nach Abschluss der Auswertung gelöscht.

• Falsches Skalenniveau angenommen. Likert-Items werden oft wie metrische Daten behandelt, obwohl sie streng genommen ordinal sind. Bei Einzelitems ist das methodisch angreifbar.
• Reliabilität nicht geprüft. Eine Skala wird zum Summenwert zusammengefasst, ohne vorher Cronbachs Alpha zu berechnen. Trägt die Skala nicht, trägt auch das Ergebnis nicht.
• Testvoraussetzungen übersprungen. Ein t-Test wird gerechnet, ohne vorher auf Normalverteilung zu prüfen, siehe dazu auch unser Beitrag Normalverteilung prüfen.
• Fehlende Werte einfach gelöscht. Ganze Fälle werden entfernt, statt das Muster der fehlenden Werte zu dokumentieren und begründet zu behandeln.
• Signifikanz mit Relevanz verwechselt. Ein p-Wert unter .05 wird als bedeutsames Ergebnis verkauft, ohne die Effektstärke zu berichten. Mehr dazu im Beitrag Signifikant heißt nicht relevant.
• Mehrfachtestung ohne Korrektur. Werden viele Items einzeln getestet, steigt die Wahrscheinlichkeit falsch-positiver Ergebnisse, ohne eine Korrektur wie Bonferroni bleibt das unberücksichtigt.

Likert-Skalen gehören zu den häufigsten Antwortformaten in Fragebögen, von "stimme gar nicht zu" bis "stimme voll zu". Formal handelt es sich um ordinale Daten, die Abstände zwischen den Kategorien sind nicht zwingend gleich groß. Ein einzelnes Likert-Item deshalb wie eine metrische Variable zu behandeln, etwa mit einem Mittelwert zu beschreiben, ist methodisch angreifbar.

In der Praxis werden Likert-Items jedoch selten einzeln ausgewertet, sondern zu einer Skala aus mehreren Items zu einem Summen- oder Mittelwert zusammengefasst. Ist die Reliabilität dieser Skala ausreichend hoch (Cronbachs Alpha ab etwa 0,7) und besteht sie aus genügend Items, gilt die Verwendung parametrischer Verfahren wie t-Test oder ANOVA auf den Skalenmittelwert in weiten Teilen der Forschung als vertretbar.

Unsere Empfehlung: Reliabilität immer zuerst prüfen, dann entscheiden, ob die Skala als Summenwert parametrisch oder je Item nichtparametrisch ausgewertet wird. Wir treffen diese Entscheidung gemeinsam mit Ihnen und begründen sie im Ergebnisdokument nachvollziehbar.

Eine häufige Frage vor der Erhebung: Wie viele ausgefüllte Fragebögen sind nötig, damit ein Ergebnis überhaupt belastbar ist? Pauschale Faustregeln wie "mindestens 30 pro Gruppe" greifen zu kurz, die tatsächlich nötige Stichprobengröße hängt vom erwarteten Effekt, der Anzahl der Gruppen und dem geplanten Testverfahren ab. Eine kleine Stichprobe kann einen großen Effekt zuverlässig zeigen, ein kleiner Effekt braucht dagegen deutlich mehr Fälle, um sich überhaupt von Zufall zu unterscheiden.

Eine Poweranalyse vor der Erhebung legt fest, wie viele Fragebögen für Ihre konkrete Fragestellung realistisch nötig sind, statt hinterher festzustellen, dass die Stichprobe zu klein war, um überhaupt etwas nachzuweisen. Gerade bei Abschlussarbeiten mit begrenztem Erhebungszeitraum lohnt sich dieser Schritt, bevor der Fragebogen überhaupt verschickt wird. Auf Anfrage übernehmen wir die Poweranalyse als eigenständigen, kurzfristig verfügbaren Schritt vor Ihrer eigentlichen Erhebung.

Enthält Ihr Fragebogen viele Einzelitems zu ähnlichen Themen, etwa zehn Items rund um Arbeitszufriedenheit, stellt sich oft die Frage, ob diese Items tatsächlich ein einziges oder mehrere unterschiedliche Konstrukte messen. Die explorative Faktorenanalyse fasst Items, die stark miteinander korrelieren, zu gemeinsamen Faktoren zusammen und macht sichtbar, welche Struktur tatsächlich hinter den Daten steckt, statt sie vorab anzunehmen.

Das Ergebnis ist eine reduzierte Anzahl an Faktoren, die sich anschließend wie eigene Skalen behandeln und auf Reliabilität prüfen lassen. Sinnvoll ist das vor allem bei neu konstruierten Fragebögen oder wenn unklar ist, ob die ursprünglich angenommene Struktur der Skalen sich in Ihren Daten tatsächlich bestätigt. Bei etablierten, bereits validierten Skalen ist stattdessen meist eine konfirmatorische Prüfung der bekannten Struktur der passendere Weg.

In der Praxis entscheidet sich erst mit der Faktorenanalyse, wie viele tatsächlich unabhängige Konstrukte Ihr Fragebogen misst. Zwei Items, die inhaltlich verschieden wirken, können statistisch stark genug zusammenhängen, um denselben Faktor zu bilden, und umgekehrt. Diese Struktur bildet anschließend die Grundlage für alle weiteren Auswertungsschritte, von der Reliabilitätsprüfung bis zur eigentlichen Hypothesenprüfung.