Er worden twee dingen verward:
- of iets significant is
- of dat 'goed' is.
P-waarden werken áltijd hetzelfde. Als p kleiner is dan alfa (bijv. < .05), dan is de p-waarde significant. Altijd en overal. Als p > .05, dan wordt uitgegaan van de nulhypothese (geen verschil bijv.), en als p < .05 (significant), dan wordt de nulhypothese verworpen, en uitgegaan van verschil.
[merk op: de nulhypothese wordt verworpen, maar er wordt niet een alternatieve hypothese aangenomen]
Maar of significantie 'gewenst' is hangt van context af. Soms wil je dat dingen verschillen (jouw behandeling vs controle), maar soms wil je dat dingen niet verschillen (de varianties tussen groepen die je wilt vergelijken, of je data van een normaalverdeling).
Je zult dus steeds per geval moeten vaststellen 'significant, dus verschil. Wat verschilt er? Wilde ik dat?'
Levene en Welch zijn dan ook nog twee verschillende toetsen. Levene's is een F-toets (variantie grootste groep gedeeld door variantie kleinste. De Welch is een soort t-toets, maar dan in ANOVA-vorm (het verschil tussen twee of meer groepsgemiddelden (uitgedrukt als variantie), gedeeld door gewogen optelling van de varianties). De twee resultaten kunnen dus nooit in conflict zijn: ze gaan over heel iets anders