如果迴歸模型是
Y = β0+β1*X1+β2*X2+ε
也就是說迴歸函數是 β0+β1*X1+β2*X2, 那麼, 對 X1, X2 的
"標準化" 並不會改變共線性問題. 因為, X1 與 X2 間的相關
係數, 實際上可以說是以它們的標準化值 z1=(X1-X1bar)/s(X1),
z2=(X2-X2bar)/s(X2) 定義的: r(X1,X2) = (1/n)Σ(z1_i)(z2_i).
如果迴歸模型沒有常數項
Y = β1*X1+β2*X2+ε
其中 E[ε]=0, 那麼對任一 Xj 標準化, 模型就被破壞了!
α1*z1+α2*X2 = α1*(X1-X1bar)/s(X1)+α2*X2
= -α1*X1bar/s(X1) + (α1/s(X1))*X1+α2*X2
多了一項未知, 但不自由的常數項 "-α1*X1bar/s(X1)", 也就是
說原來的模型被破壞了!
對 X2 標準化, 或同時對 X1, X2 標準化, 結果類似, 模型都被
修改成四不像了.
沒有常數項的迴歸, 共線性問題的指標不是 r(X1,X2), 除非
X1, X2 都被 z1, z2 取代.
就原模型而言, 共線性問題來自
Σ(X1i)(X2i)/√[Σ(X1i)^2Σ(X2i)^2];
若 z1 取代 X1, 有沒有共線性問題看的是
Σ(z1i)(X2i)/√[Σ(z1i)^2Σ(X2i)^2]
= Σ(X1i-X1bar)(X2i)/√[(n-1)s1^2Σ(X2i)^2].
雖然分子等於 Σ(X1i-X1bar)(X2i-X2bar), 但分母根號內的
Σ(X2i)^2 比 Σ(X2i-X2bar)^2 大, 因此上述指標小於 r(X1,X2)=0.7.
而 X1, X2 都以其標準化分數 z1, z2 取代, 共線性的指標
又提高, 事實上是回到 r=0.7.
This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends: 'You Say What You Like, Because They Like What You Say' - http://www.medialens.org/index.php/alerts/alert-archive/alerts-2013/731-you-say-what-you-like-because-they-like-what-you-say.html
