最小二乗法では回帰を用いました。変数間の関係では相関を用いました。対応する変量ｘとｙの間の関係度合を表す尺度に回帰と相関があります。では、回帰と相関とは、どこが違うのでしょうか？
違いのイメージ
ｘとｙの変数があります。回帰ではｘを説明変数、ｙを被説明変数といいます。説明変数が１つの回帰を単回帰、変数が２つの相関を単相関といい、説明変数が複数のときを重回帰、変数が３つ以上のときを重相関といいます。重回帰や重相関に場合は複雑になるので、別章にまわし、ここでは単回帰と単相関について取り扱います。
回帰とは、ｘが決まればｙが決まるという関係（ｘ→ｙ）で、それに対して、相関とは、ｘとｙが同等の関係（ｘ－ｙ）だという違いです。
例えば、ｘを身長、ｙを体重としたとき、身長から体重を推定できないかと考える（体重から身長を推定することは考えない）のが回帰であり、方向性を考えずに、身長と体重の間に関係があつかどうかを調べるのが相関です。
回帰では、点（ｘ,ｙ）とそのｘにおける直線上の点（ｘ,ｙ*）の距離をｙの高さの差、すなわち、ε＝ｙ－ｙ* を誤差εとし、ε2を最小にする直線（ｙ＝ａ＋ｂｘ）を求めます（参照：「最小二乗法」）。
そして、直線の傾きｂのことを、（変数ｘのｙに対する）回帰係数といいます。
それに対して、回帰では、方向性を考えずに、ｘとｙの関係度合を示す尺度として、相関係数を考えます。この相関係数の絶対値が１に近いならば、ｘとｙの関係が強い（やや厳密性を欠きますが、ｘとｙが直線上に近接している）ことを示し、０に近いならば、ｘとｙの間の関係が少ない（直線と離れている）ことを示しています（参照：「相関係数」）。
このように、回帰と相関は異なる概念なので、用途により使い分けることが必要です。しかし、直線の式（回帰式）を求める前に、まず相関を行って、関係があることを確認してから、あるいは複数の説明変数がある場合には適切な変数を選択してから、回帰により式を決定するのが一般的です。
単回帰と単相関
次のように、ｎ（＝１０）組のｘとｙがあるとします。
自由度：標本数ｎ＝１０なので、φ＝ｎ－１＝９
平均：μx＝Σｘi＝(26＋25＋・・・＋23)／10＝２５、μy＝６０
平方和：Ｓxx＝Σ(ｘi－μx)2＝(26－25)2＋(25－25)2＋・・・＋(23－25)2＝３２.０、Ｓyy＝１９４.０
分散：ｓxx2＝Ｓxx／φ＝32.0/9＝３.５５６、ｓxx2＝２１.５６
標準偏差：ｓx＝√ｓx2＝√3.556＝１.８８６、ｓy＝４.６４３
積和：Ｓxy＝Σ(ｘi－μx)(ｙi－μy)＝(26－25)(54－60)＋(25－25)(62－60)＋・・・＋(23－25)(60－60)＝２３.０
共分散：ｓxy2＝Ｓxy／φ＝23.0/9＝２.５５６
参照：「平均、分散、標準偏差」、
「相関係数」
単回帰での回帰係数
説明変数ｘと被説明変数ｙを、直線
ｙ＝ａ＋ｂｘ
で近似したとします。このｂが（ｘのｙに対する）回帰係数です。
このとき、各点（ｘi,ｘi）と直線との誤差をεiとすれば、
ｙi＝ａ＋ｂｘi＋εi
となります。
ここで、ｙの平均をμy、ｘの平均をμxとして、直線が点x,μy）を通るとすれば、Ｙi＝ｙi－μy、Ｘi＝ｘi－μxとすることにより、直線の式は、
Ｙi＝ｂ×Ｘi＋εi＋（ａ＋ｂμx－μy
となります。右辺の（ ）は０ですから、
Ｙi＝ｂ×Ｘi＋εi
となります。
回帰で、直線近似をするということは、
ε2＝Σ(ｂＸi－Ｙi)2
を最小にすることですから、ε2をｂで偏微分して０とすればよく、
∂ε2/∂ｂ＝２ΣＸi×(ｂＸi－Ｙi)＝０
∴ ｂ＝ΣＸiＹi／ΣＸi2
となります。
ここで、ΣＸiＹi＝Ｓxy、ΣＸi2＝Ｓxxですから、
ｂ＝Ｓxy／Ｓxx＝23.0/32.0＝０.７１８
となります。
また、ｓxy2＝Ｓxy／φ、ｓxx2＝Ｓxx／φ ですから、
ｂ＝ｓxy2／ｓxx2＝2.56/3.56＝０.７１８
から求めることもできます。
なお、ｙを説明変数、ｘを被説明変数にしたときの回帰係数は、
ｂｙ→ｘ＝Ｓxy／Ｓyy＝23.0/194.0＝０.１１９
となり、全く異なる直線になります。このことからも回帰では、方向性が重要であることがわかります。
単相関での相関係数
相関係数ｒは、次の式で定義されます。
ｒ＝Ｓxy／√Ｓxx√Ｓyy＝23.0／(√32.0×√194.0)＝０.２９２
相関係数と回帰係数の間には、
ｂｘ→ｙｂｙ→ｘ＝（Ｓxy／Ｓxx）（Ｓxy／Ｓyy）
＝Ｓxy2／(ＳxxＳyy)＝ｒ2
の関係があります。これからも、相関係数は方向性をもたない場合の変数間の関係を示す尺度だと理解できましょう。
単相関での寄与率、決定係数
ｙ＝ａ＋ｂｘによるｙの計算値をｙ*とすると、
ｙ－μy＝（ｙ－ｙ*）＋（ｙ*－μy）
と変形できます。ここで、（ｙ－ｙ*）は回帰による偏差で、（ｙ*－μy）は残差であり、この２つの間の相関係数は０ですから、上式の両辺の平方和は等しくなります。
Σ(ｙ－μy)2＝Σ(ｙ－ｙ*)2 ＋ Σ(ｙ*－μy)2
（全変動） （回帰による変動）（残差による変動）
ここで、ｙ＝ａ＋ｂｘがよく当てはまるということは、回帰による変動が大きく、残差による変動が小さいということです。それで、
回帰による変動 Σ(ｙ－ｙ*)2
ｒ2＝────────＝───────
全変動 Σ(ｙ－μy)2
のことを、寄与率あるいは決定係数といいます。
そして、単回帰、単相関のときは、
相関係数2＝寄与率
であることが証明されています。それで、ｒ2という記号を使うのです。
相関係数がどの程度ならよいかは、ｘとｙの物理的意味により異なります。自然科学では高い相関が求められるでしょうし、社会科学ではあまり高い相関は期待できないでしょう。一般に、次のようにいわれています。
ｒ ｒ2 相関
±０.７以上 ０.５以上 強い
±０.４以上 ０.１以上 中程度
±０.２以上 ０.０５以上 弱い
±０.２以下 ０.０５以下 相関なし