STATISTIK-FORUM.de

[Sandwitch]

Hallo alle zusammen,

bei der Berechnung meiner moderierten hierarchischen Regressionsanalysen bin ich auf ein kleines Problem gestoßen.
Um meinen Interaktionsterm zu erstellen muss ich ja zunächst meine Prädiktoren transformieren, damit ich dem Problem der Multikollinearität entgegen wirken kann.
ABER: Setze ich dazu die Zentrierung oder die Z-Standardisierung ein? Welchen Vorteil bringt die jeweilige Vorgehensweise?

Im i-net konnte ich zwar herausfinden, dass die Zentrierung dazu führt, dass der Mittelwert = 0 wird, während die Werte immer noch in der Ursprungsskala erhalten bleiben.
Aber welchen Vor- oder Nachteil habe ich dadurch?
Für die Z-Standardisierung werden die Werte ja auch zentriert und anschließend nur noch zusätzlich durch die Standardabweichung geteilt.

Wäre super, wenn mir jemand dabei helfen könnte diesen Knoten in meinem Kopf zu lösen.

Vielen Dank im Voraus.
Sandwitch

[Holgonaut]

Hi,

das Zentrierung / Standardisierung Multikollinearität verringert, ist ein Mythos. Siehe

Echambadi, R., & Hess, J. D. (2007). Mean-centering does not alleviate collinearity problems in moderated multiple regression models. Marketing Science, 26(3), 438-445.

Es macht Sinn, weil sich die Interaktionseffekte besser grafisch veranschaulichen lassen, siehe

Frazier, P. A., Barron, K. E., & Tix, A. P. (2004). Testing moderator and mediator effects in counseling psychology. Journal of Counseling Psychology, 51(1), 115-134.

Eine Standardisierung führt zu einer Varianz/SD = 1, was für die Wahl der typischen Moderator-levels von -1SD/+1SD von Vorteil ist.

Grüße
Holger

[Sandwitch]

Hallo Holger,

vielen Dank für deine schnelle Hilfe. Die zweite Literaturangabe hat in meinem Kopf endlich für Klarheit gesorgt!!!

Gruß
Sandwitch

[folterknecht]

das Zentrierung / Standardisierung Multikollinearität verringert, ist ein Mythos.

Danke für die Aufklärung, das finde ich hilfreich! Diesen Mythos habe ich nämlich so in der Vorlesung gelernt und in jedem mir bekannten Fachbuch steht er auch so drin. Dabei ist es ja sehr plausibel, dass Zentrierung nichts an der Multikollinearität ändern kann, die Korrelationen zwischen den UV lassen sich ja nicht "wegzentrieren". Ich frage mich, ob Fachbuch-Autoren eigentlich ab und zu auch mal nachdenken oder immer nur bei anderen abschreiben?

ärgert sich
Folterknecht

[Holgonaut]

Hi Folterknecht.

Naja, die Zentrierung verringert tatsächlich die Korrelation zwischen Prädiktor/Moderator und dem Produktterm, aber es verringert die Multikollinearität dennoch nicht.

Siehe die kleine Simulation (mit R)

P = rnorm(250,4,1) #den Prädikor generieren, als normalverteilte Variable mit M=4, SD=1
M = .6*P + rnorm(250,4,1) #den Moderator generieren - korreliert leicht mit P
data = as.data.frame(cbind(P,M)) #in ein data-faile zusammenfügen

data$Prod = data$P*data$M #Produktterm unzentriert

data$ProdC = (data$P - mean(data$P))*(data$M - mean(data$M)) #Produktterm zentriert

cor(data) #Korrelationsmatrix

.........P M Prod ProdC
P 1.00 0.57 0.91 0.05
M 0.57 1.00 0.84 0.19
Prod 0.91 0.84 1.00 0.24
ProdC 0.05 0.19 0.24 1.00

Analog werden auch die VIFs durch die Zentrierung deutlich gesenkt - aber dennoch nicht die Multikollinearität.

Erste beiden Punkte (Senkung der Korrelation und VIF) waren jahrzehntelang ein schlagender Beleg, dass das was bringt. Ich würde da nicht so unfair sein. Ich habs ja auch jahrelang vertreten.
Dazu kommt noch, dass die Regressionsanalyse mit / ohne Zentrierung ja auch völlig anders aussieht und gerade die first-order- Effekte der Prädiktoren/Moderatoren häufig sign. sind, während sie in der unzentrierten Version nicht sign. sind. Nur hat man halt jahrelang übersehen, dass sie völlig unterschiedliche Bedeutung haben (unzentriert: Effekt des Prädiktors bei null Moderator; zentriert: Effekt bei mittlerem Moderator).


Gruß
Holger

[folterknecht]

Naja, die Zentrierung verringert tatsächlich die Korrelation zwischen Prädiktor/Moderator und dem Produktterm, aber es verringert die Multikollinearität dennoch nicht.

Dann verstehe ich offenbar nicht, wass Multikollinearität ist. Der Dozent sagte in der Vorlesgung:

"Multikollinearität heißt, die Prädiktoren nehmen sich gegenseitig an Erklärungswert weg"

Im Script steht:

Auslöser von Multikollinearität:
Hohe Interkorrelation (Redundanz) der Prädiktoren
(anders gesagt: Die Prädiktoren sind miteinander
konfundiert).

Bei Wikipedia finde ich:

Multikollinearität ist ein Problem der Regressionsanalyse und liegt vor, wenn zwei oder mehr erklärende Variablen eine sehr starke Korrelation miteinander haben.


Das passt m.E. zu meiner bisherigen Vorstellung, ich habe Multikollinearität und Korrelation bisher mehr oder weniger als identisch angesehen. Gibt es eine anschauliche Erklärung für einen mathematischen Stümper wie mich, was Multikollinearität wirklich ist?

Ich dachte eigentlich, dass es nicht möglich ist die Korrelation der Faktoren zu beseitigen, ohne die gleichzeitig die "vorhersagende" Information in den Prädiktoren zu zerstören. Wie ist das dennoch möglich?

Erste beiden Punkte (Senkung der Korrelation und VIF) waren jahrzehntelang ein schlagender Beleg, dass das was bringt. Ich würde da nicht so unfair sein. Ich habs ja auch jahrelang vertreten.

Ja, ich sollte gerade als Anfänger den Mund nicht so voll nehmen, Ich war nur gerade auf 180, da ich einen Fehler banalen aufdecken konnte, der in fast allen Lehrbüchern steht und der mich mehrere Tage zur Verzweiflung gebracht hat.

[folterknecht]

Naja, die Zentrierung verringert tatsächlich die Korrelation zwischen Prädiktor/Moderator und dem Produktterm, aber es verringert die Multikollinearität dennoch nicht.

Ich habe jetzt den Artikel von Echambardi gelesen. Das Zentrieren nichts nützt, glaube ich ja, aber ich verstehe immer noch nicht, wieso man ursprünglich dachte, dass es was nützt.

Ich habe jetzt mal Folgendes gemacht. Habe zwei Variablen angelegt die perfekt miteinander korrelieren (Einkommen in Euro und Einkommen in Dollar). Habe dann daraus den Produktterm gebildet. Dieser korreliert zu .98 mit EK_Dollar und EK_Euro. Dann habe ich beide Variablen z-standardisiert und aus den z-standardisierten Variablen den Produktterm gebildet. Mit den Variablen EK_Euro und EK_Doller korreliert auch diese Produktterm zu .98. Das standardisieren hat also an der Korrelation nichts geändert.

[Holgonaut]

Hi,

ich kann dir auch nicht sagen, warum sich die Korrelation senkt - da müsste ich länger drüber nachdenken Vielleicht haben andere die Idee ad hoc parat.

Habe zwei Variablen angelegt die perfekt miteinander korrelieren

Warum das? Ist nicht nötig.

Was den Rest Deines Versuchs angeht, kann ich nicht folgen. Ich hatte das ja schon vorgemacht oben. Das hast du anscheinend ignoriert. Hier also noch mal die Wiederholung
- diesmal mit perfekt korrelierten Variablen

P = rnorm(250,4,1) #den Prädikor generieren, als normalverteilte Variable mit M=4, SD=1
M = .6*P #den Moderator generieren - KORRELIERT PERFEKT MIT P
data = as.data.frame(cbind(P,M)) #in ein data-file zusammenfügen

data$Prod = data$P*data$M #Produktterm unzentriert

data$ProdC = (data$P - mean(data$P))*(data$M - mean(data$M)) #Produktterm zentriert

cor(data) #Korrelationsmatrix


P M Prod ProdC
P 1.00000000 1.00000000 0.98638919 -0.07997961
M 1.00000000 1.00000000 0.98638919 -0.07997961
Prod 0.98638919 0.98638919 1.00000000 0.08500962
ProdC -0.07997961 -0.07997961 0.08500962 1.00000000

Wie bei dir beträgt die Korrelation zwischen P/M und dem Produktterm .98 - aber mit dem aus zentrierten Variablen gewonnenen zu -.08.

Grüße
Holger

[Druss]

Hallo,

in dem Paper

Echambadi, R., & Hess, J. D. (2007). Mean-centering does not alleviate collinearity problems in moderated multiple regression models. Marketing Science, 26(3), 438-445

auf Seite 7 Gleichung (4) ist da nicht ein Fehler?

An die Matrix alpha3 wird keine Anforderung (ob idempotent etc gestellt) folglich kann es sich ja bei alpha3 um jede bel. Matrix handeln.

Vergleicht man nun in Gleichung (3) den zweiten Additionsterm (alpha2 + alpha3' * \bar x1)', so wird in der Matrix W die Abhängigkeit zwischen beta2 und alpha2 als

alpha2 + (\bar x1' kronecker I ) * vec(alpha3) beschrieben.

Da bekannterweise gilt, dass vec(ABC) = (C' kronecker A) * vec(B) gilt müsste da eigentlich stehen

alpha2 + (\bar x1' kronecker I ) * vec(alpha3')

Es gilt ja nicht vec(alpha3) = vec(alpha3')

Grüße
Druss

[Berry]

*