重相関と重回帰

ここで用いる標本と、それによる統計量および記号を掲げます。

単相関と単回帰（復習）

単相関と単回帰について、簡単に復習しておきます。
　ここでは、変数をｘとｚにします。
　変数ｘとｚの相関係数ｒ_zxは、
　　　ｒ_zx＝Ｓ_zx／√(Ｓ_xxＳ_zz)＝23.0/√(32.0×194.0)＝０.２９２
となります。
　また、ｘを説明変数、ｚを被説明変数とし、回帰直線を
　　　ｚ＝ａ＋ｂｘ
とすると、ｂを回帰係数といい、
　　　ｂ_x→z＝Ｓ_zx／Ｓ_xx＝23.0/32.0＝０.７２
となります。
　（ｂ_x→z／ｒ_zx＝√(Ｓ_zz／Ｓ_xx)＝ｓ_z／ｓ_x　の関係、すなわち、回帰係数は相関係数を標準偏差で調整した関係があります）
　定数項ａは、この直線が点（μ_x, μ_z）を通ることから、
　　　60.0＝ａ＋0.72×25.0　　　∴ ａ＝４２.０
となるので、回帰直線は次式になります。
　　　ｚ＝４２.０＋０.７２ｘ

この回帰直線により計算したｚの値をｚ^*としたとき、
　　　ε_i＝ｚ_i－ｚ_i^*
を残差といいます。この残差εは、説明変数ｘの影響を取り除いたものであり、残差εとｚの相関係数 ｒ_εz＝０となります。このように、相関がない２変数の関係を「互いに直交する」といいます。

互いに直交する変数では、平方和の加法が成立するので、次の関係が成立します。
　　　Σ(ｚ－μ_z)²＝Σ(ｚ－ｚ^*)²　＋　Σ(ｚ^*－μ_z)²
　　　（全変動）　（回帰による変動）（残差による変動）
　そして、寄与率あるいは決定係数を
　　　　　　回帰による変動　　Σ(ｚ－ｚ^*)²
　　　ｒ²＝────────＝───────
　　　　　　　全変動　　　　　Σ(ｚ－μ_z)²
と定義します。これは、回帰直線の当てはまりの度合いを示す尺度です。（計算例）

偏相関係数と偏回帰係数

変数が３つ以上の重回帰、重相関では、相関係数、回帰係数に相当する偏相関係数、偏回帰係数が重要な概念になります。かなり複雑になります。

偏相関係数

変数がｘ,ｙ,ｚの３つがある場合、（ｘ,ｙ）、（ｙ,ｚ）、（ｚ,ｘ）について３つの相関係数が考えられます。
　　　ｒ_xy＝－０.０３２
　　　ｒ_yz＝　０.８１３
　　　ｒ_zx＝　０.２９２

ｒ_zx は、変量がｘとｚの２つだけのときの、ｘとｚの関係を示す尺度ですが、ここではｙが存在しているので、それによる影響を受けます。
　例えば、ｘを身長、ｚを体重、ｙを胸囲とすれば、ｒ_zx は、胸囲を考慮せずに、身長と体重の関係を求めています。これは、胸囲は体重や身長には無関係だ（互いに直交している）という仮定をしているといえます。ところが実際には、胸囲が大きい人は体重が大きいだけでなく、身長も大きいという傾向があるでしょう。そうなると、ｒ_zx が身長と体重の「純粋な」関係を示しているとはいえません。

ｘとｚの相関から、ｙの影響を取り除いたｙとｚの相関を偏相関、その度合いを偏相関係数といい ｒ_zx.yとします。
　３つの変数間での相関関係を図示すると次のようになります。

ここで、ｚ｜ｙは、ｚからvの影響を除いた残差ですから、ｚをｙのみで単回帰したときの残差ε_y→zになり、ｘ｜ｙは、ｘをｙのみで単回帰したときの残差ε_y→xになります。すなわち、ｒ_zx.yはこの残差同士の相関になります。
　回帰式は、次のようになります。
　　　ｙ→ｚ：　ｚ＝２９.０＋２.０６６ｙ
　　　ｙ→ｘ：　ｘ＝２５.５－０.０３３ｙ
　当然、残差の平均は０です。平方和および積和は、次のようになります。
　　　Σε_y→z²＝６５.８７
　　　Σε_y→x²＝３１.９７
　　　Σε_y→zε_y→x＝２５.０７
　これから、偏相関係数 ｒ_zx.y＝25.0/√(65.87×31.97)＝０.５４６
となります。

元の標本にまで戻らなくても、２変数の相関係数から偏相関係数を求めることができます（証明略）。
　ｒ_zx.yは次の式により計算できます。

　　　　　 　　　　ｒ_zx－ｒ_yzｒ_xy
　　　ｒ_zx.y＝─────────────＝０.５４６
　　　　　　　√(１－ｒ_yz²)√(１－ｒ_xy²)

　同様に、ｘの影響を除いたｙとｚの偏相関係数は、
　　　　　 　　　　ｒ_yz－ｒ_xyｒ_zx　　　　　　　　0.813－0.032×0.292
　　　ｒ_yz.x＝─────────────＝───────────────＝０.８６０
　　　　　　　√(１－ｒ_xy²)√(１－ｒ_zx²)　√(1－(-0.032)²)×√(1－0.292²)

　参考までに、ｚの影響を除いたuとｙの偏相関係数は、
　　　　　 　　　　ｒ_xy－ｒ_zxｒ_yz
　　　ｒ_xy.z＝─────────────＝－０.４８４
　　　　　　　√(１－ｒ_zx²)√(１－ｒ_yz²)

となります。

偏回帰係数

偏回帰係数とは、他の説明変数を一定にして、その説明変数を１だけ増加させたときの被説明変数の平均的な増加量を意味します。
　すなわち、回帰式、
　　　ｚ＝ａ＋ｂｘ＋ｃｙ
のｂがｘのｚに対する偏回帰係数 ｂ_x、ｃがｘのｚに対する偏回帰係数 ｂ_y になります。
　単にこれらの値を求めるだけならば、最小二乗法のほうが簡単です（→参照：「多項式、高次式での最小二乗法」）。実際に計算すると、次の回帰式が得られます。
　　　ｚ＝９.００＋０.７８４ｘ＋２.０９２ｙ
　　　　　　　　　　ｂ＝ｂ_x　　　ｃ＝ｂ_y
　しかし、最小二乗法では回帰分析による豊富な情報が得られません。それで、以下のような考え方が必要なのです。

ｘのｚに対する偏回帰係数とは、ｙの影響を除去したときの、ｘがｚに与える影響ですから、偏相関係数で行ったように、ｚをｙのみで単回帰したときの残差ε_y→zと、ｘをｙのみで単回帰したときの残差ε_y→xが対象になります。
　すなわち、ｘのｚに対する偏回帰係数とは、ε_y→zを被説明変数、ε_xyを説明変数としたときの、回帰係数だといえます。

偏回帰係数は次の式で与えられます。そして、この式の右辺の先頭項を標準偏回帰係数といいます。

　　　　　　ｒ_zx－ｒ_yzｒ_xy　　ｓ_z　 0.292－0.813×(-0.032)　4.643
　　　ｂ_x＝────────×──＝───────────×───
　　　　　　 １－ｒ_xy²　　　　ｓ_x　　　　1－(-0.032)²　　　 1.886

　　　　　＝０.３１８×２.４６２＝０.７８４
　　　　　標準偏回帰係数　　　　　偏回帰係数

同様に、ｘを除いたときのｙとｚの偏回帰係数と標準偏回帰係数は、次のようになります。
となります。

　　　　　　ｒ_yz－ｒ_zxｒ_xy　　ｓ_z　 0.813－0.292×(-0.032)　4.643
　　　ｂ_y＝────────×──＝───────────×───
　　　　　　 １－ｒ_xy²　　　　ｓ_y　　　　1－(-0.032)²　　　 1.826

　　　　　＝０.８２３×２.５２３＝２.０９２
　　　　　標準偏回帰係数　　　　　偏回帰係数

ａは、この直線が平均の点を通ることから、
　　　μ_z＝ａ＋ｂ_xｘ＋ｂ_yｙ
より求められます。
　すなわち、数値例では、
　　　ｚ＝９.００＋０.７８４ｘ＋２.０９２ｙ
となります。

偏回帰係数の分子・分母を、それぞれ標準偏差で割っています。偏回帰係数は、説明変数の値の大小（単位の取り方など）により、変化してしまうので、それを除去するために、平均値=0，分散=1 に標準化（標準化）するのです。それが標準偏回帰係数です。標準偏回帰係数は、被説明変数への影響の大小を比較するのに用いられます。
　先に「単回帰と単相関」で、回帰係数は相関係数を標準偏差で調整した関係にあるといいましたが、そうすると、標準偏回帰係数は相関係数に似た意味づけが連想されます。ｂ_xでの標準偏回帰係数と偏相関係数 ｒ_zx.y を比較してください。ｒ_zx.y の分母の ｒ_yz を ｒ_xz に変えただけです。

重相関係数

重回帰も単回帰のときと同様に、ｚと回帰式による計算値ｚ^*から、決定係数Ｒ²は
　　　　　　回帰変動　　Σ(ｚ－ｚ^*)²
　　　Ｒ²＝─────＝───────
　　　　　　 全変動 　　Σ(ｚ－μ_z)²
あるいは、
　　　　　　　　残差変動　残差²　 46.2
　　　１－Ｒ²＝────＝───＝───＝０.１２７　∴Ｒ²＝０.８７３
　　　　　　　　全変動　　Ｓ_zz　　194.0
と定義できます。そして、その平方根を重相関係数といいます。
　なお、単相関係数にはｒを用い、重相関係数にはＲを用いることになっています。

Ｅｘｃｅｌによる計算

上述のように、重回帰では複雑な式が用いられますが、実務には、Ｅｘｃｅｌの「データ分析」に「分散分析」を用いることにより、容易に計算できます。
　数値例を用いて、回帰式を ｚ＝ａ＋ｂｘ＋ｃｙ としたときのＥｘｃｅｌによる結果出力例を掲げます。

• 回帰式（Ａ）
  係数は偏回帰係数のことです。すなわち、回帰式は次式になります。
  　　　ｚ＝９.００＋０.７８ｘ＋２.０９ｙ
• 変動（Ｂ）
  回帰の変動は回帰変動、残差の変動は残差変動でε²、合計の変動は全変動でＳ_zzのことです。
• 重相関係数（Ｃ）
  重相関Ｒとは重相関係数Ｒのこと、重決定Ｒ２とはＲ²のことです。