De regressieanalyse is eigenlijk weinig meer dan een gepimpte correlatie. In het enkelvoudige geval eigenlijk in termen van conclusies identiek. De regressie heeft vooral als functie om een afhankelijke variabele te kunnen 'voorspellen' op basis van waarden van X. Dus waar een correlatie enkel een indicatie van een verband tussen twee variabelen geeft, maakt een regressiefunctie het mogelijk om met de waarde van 1 variabele de waarde van de andere te kunnen berekenen, met een bepaalde foutenmarge.
Dat is dan ook gelijk het voordeel van de regressietechniek; het geeft ook handvaten om die foutenmarge in te schatten. De correlatie doet dit eigenlijk al, maar alleen in abstracte zin (zwak, middel, sterk). De regressie, omdat het een lijnfunctie betreft, helpt om in te zien hoeveel Y nu eigenlijk verandert naarmate X toeneemt. Dit maakt het mogelijk om te beoordelen of gemiddeld genomen het cijfer van studenten bijvoorbeeld wezenlijk verbetert naarmate zij meer uren studeren, of wanneer er meer feedback wordt gegeven gedurende een cursus, etc.
EDIT: ik was vergeten je covariantievraag te beantwoorden. De B is niet gelijk aan de covariantie tussen X en Y, maar equivalent aan de covariantie (covXY) gedeeld door de totale variantie op X (varX).