Je zit erg dicht in de buurt, maar je verwart type-1 fout en de p-waarde. De kans om een effect te rapporteren dat niet in de populatie aanwezig is is de type-1 fout en deze is altijd gelijk aan alpha (meestal 5%). Dit komt omdat de alpha het overschrijdingscriterium is. En aangezien p-waarden geen effectgrootten zijn boeit het eigenlijk niet hoe klein de p is: zodra deze kleiner is dan alpha is het significant. Significantie is een ja-nee spelletje.
De gerapporteerde p-waarde zegt eigenlijk alleen maar iets over de houdbaarheid van de nulhypothese; niets over de alternatieve. Simpel gezegd: de p-waarde van .007 zegt dat het geoberveerde verschil (of extermer!), als de nulhypothese zou kloppen, slechts .007 is. Aangezien dit kleiner is dan ons afgesproken criterium van wanneer een geobserveerde kans op een waarneming te klein is om onopgemerkt te blijven, besluiten we de nulhypothese even naast ons neer te leggen.
De type-1 fout is nog steeds 5%. De nulhypothese kan nog steeds kloppen. Maar omdat we een afspraak hebben gemaakt dat kansen onder een bepaald criterium ons de mogelijkheid mogen geven om te zeggen: genoeg is genoeg; laten we ook eens andere hypothesen dan de nulhypothesen als acceptabele hypothesen beschouwen, kiezen we voor het verwerpen van Ho.
Dit zegt nog niets over de kans dat de alternatieve hypothese waar is. Daar is andere statistiek, of een serie herhaalde experimenten voor nodig