Statistik Blog · Interpretation
Signifikant heißt nicht relevant
Der häufigste Fehler in Ergebnisteilen: ein kleiner p-Wert wird als großer Effekt verkauft. Warum Effektstärken in jede Ergebnisdarstellung gehören.
Zwei Fragen, die oft verwechselt werden
Ein p-Wert unter 0,05 beantwortet nur eine Frage: Ist der beobachtete Effekt wahrscheinlich nicht durch reinen Zufall entstanden? Er beantwortet nicht die zweite, oft wichtigere Frage: Ist dieser Effekt groß genug, um praktisch etwas zu bedeuten? Diese beiden Fragen werden in Ergebnisteilen von Abschlussarbeiten regelmäßig vermischt.
Der Grund liegt in der Mathematik des p-Werts selbst: Bei ausreichend großer Stichprobe wird praktisch jeder noch so kleine, real vorhandene Unterschied irgendwann signifikant, selbst wenn er inhaltlich vernachlässigbar ist. Umgekehrt kann ein großer, bedeutsamer Effekt bei kleiner Stichprobe die Signifikanzschwelle knapp verfehlen.
Effektstärken machen diesen Unterschied sichtbar: Cohens d für Gruppenvergleiche, r oder eta-Quadrat für Zusammenhangsmaße, Odds Ratios für logistische Modelle. Sie geben eine von der Stichprobengröße unabhängige Einschätzung, wie stark ein Effekt tatsächlich ist, unabhängig davon, ob er die Signifikanzschwelle erreicht.
Was das für Ihre Ergebnisdarstellung bedeutet
Ein guter Ergebnisteil berichtet nicht nur "p < ,05", sondern auch die passende Effektstärke und ordnet sie ein: klein, mittel oder groß nach den üblichen Konventionen. Das macht Ihre Auswertung nicht nur methodisch sauberer, sondern auch für Gutachter deutlich überzeugender.
Häufige Fragen.
Was ist eine Effektstärke?
Eine von der Stichprobengröße unabhängige Kennzahl, die angibt, wie groß ein Unterschied oder Zusammenhang tatsächlich ist, etwa Cohens d bei Gruppenvergleichen oder r bei Korrelationen.
Muss ich Effektstärken immer zusätzlich zum p-Wert berichten?
In den meisten Fachbereichen wird das mittlerweile erwartet, insbesondere in Psychologie, Medizin und Sozialwissenschaften. Es macht die Ergebnisdarstellung deutlich aussagekräftiger.
Kann ein nicht signifikantes Ergebnis trotzdem relevant sein?
Ja, insbesondere bei kleinen Stichproben kann ein praktisch bedeutsamer Effekt vorliegen, ohne die Signifikanzschwelle zu erreichen. Die Effektstärke hilft, das einzuordnen.
Berechnen Sie Effektstärken standardmäßig bei der Auswertung?
Ja, Effektstärken gehören für uns zur vollständigen Interpretation jedes statistischen Tests, nicht nur der reine p-Wert.
Unsicher, wie groß Ihr Effekt wirklich ist?
Das Erstgespräch ist kostenlos und unverbindlich.
Weiterlesen.
Signifikanz und p-Wert einfach erklärt
Die Grundlagen: was ein p-Wert überhaupt aussagt.
Mehr erfahren BlogNormalverteilung prüfen
Warum ein Test allein bei der Interpretation nicht reicht.
Mehr erfahren RatgeberDissertation statistisch auswerten lassen
Wo Effektstärken in Promotionen besonders wichtig sind.
Mehr erfahren