Alle confidence intervallen (dus niet alleen van de t-toets) hebben dezelfde betekenis; maar deze betekenis laat zich niet altijd even eenvoudig duiden; en ook professionals snappen de CI niet altijd even goed (zie bijvoorbeeld een prachtig paper van Morey et al. (2014) [ http://andrewgelman.com/wp-content/uploads/2014/09/fundamentalError.pdf ]
Confidence Intervallen zijn nodig, omdat alle statistiek die wij bedrijven eigenlijk chicque vormen van 'schatten' zijn, wat weer eufemistisch is voor 'gericht raden'. De 'echte waarde' van een parameter is ons dan eigenlijk nooit bekend; zelfs als we alle informatie van de populatie bezitten is er zelfs nog iets als meetfout.
Even kort door de bocht: een Confidence Interval is een interval van waarden, waarbij we hopen dat als we een experiment oneindig vaak zouden herhalen; de echte waarde (true score) 95% van de tijd in dat interval zou vallen. In andere woorden; in plaats dat ik zeg "ik heb waarschijnlijk een 7 voor het tentamen" zeg ik met een CI: "met 95% denk ik dat mijn tentamencijfer tussen de 5 en de 9 ligt". Hier is veel informatie uit de infereren: als het tentamen een 6 is dan was dat in de lijn der verwachting; die verwachting is wel erg breed, en blijkbaar heb ik niet genoeg informatie om echt zeker mijn eigen cijfer in te schatten, en mocht ik een 4 of een 10 halen voor het tentamen dan is dat niet onmogelijk, maar dan ben ik wel erg verbaasd.
Alles binnen het interval zijn dus allemaal scores die net zo goed de ware score kunnen zijn als het gemiddelde dat we berekend hadden. Bij t-toetsen worden scores gestandaardiseerd (gemiddelde 0, etc.) Als de 0 dan in het CI ligt, dan kan een gemiddeld verschil van 0 (groep1 = groep2) net zo goed de ware score zijn als het gemiddelde verschil dat dat we berekend hadden. Dus; als nul in het CI ligt, dan is er nog gerede kans dat de nulhypothese klopt; dus niet significant