多重共线性的处理

amoyzz

在做多元线性回归的时候，我们有时候会遇到解释变量之间由于存在高度相关关系而导致的多重共线性问题，如何解决这个问题令人十分头痛，特别是对于初学者。线性回归模型中的自变量多重共线性问题会使模型估计准确性降低。常用的检验方法主要有简单相关系数检验法、容忍度(Tolerance)法、方差膨胀因子（VIF,Variance Inflation Factor）法、特征值和条件指数(Eigen-Value and ConditionIndexes)法、Theil多重共线性效应系数法等。SPSS、stata等常见软件都可以直接得出结果来判断。但如何解决多重共线性，这个问题值得我们仔细思考。
处理方法：
(一）删除不重要的自变量
自变量所提供的信息是重叠的，所以才会导致共线性的问题。可以删除不重要的自变量，从而减少重复信息。注意：从实际情况的角度确定相对不重要的，同时要结合偏相关系数检验证实为共线性原因的那些变量中删除。如果删除不当，会产生模型设定误差，适得其反。
（二）逐步回归法（此法最常用的，也最有效）
逐步回归（Stepwise Regression）是一种常用的消除多重共线性、选取“最优”回归方程的方法。其做法是逐个引入自变量，引入的条件是该自变量经F检验是显著的，每引入一个自变量后，对已选入的变量进行逐个检验，如果原来引入的变量由于后面变量的引入而变得不再显著，那么就将其剔除。引入一个变量或从回归方程中剔除一个变量，为逐步回归的一步，每一步都要进行F 检验，以确保每次引入新变量之前回归方程中只包含显著的变量。这个过程反复进行，直到既没有不显著的自变量选入回归方程，也没有显著自变量从回归方程中剔除为止。
（三）主成分回归
主成分分析法作为多元统计分析的一种常用方法。在处理多变量问题时具有其一定的优越性，其降维的优势是明显的，尤其是对共线性较强的变量之间。当采取主成分提取了新的变量后，往往这些变量间的组内差异小而组间差异大，起到了消除共线性的问题。
（四）改变解释变量的形式
改变解释变量的形式是解决多重共线性的一种简易方法，例如对于横截面数据采用相对数变量，对于时间序列数据采用增量型变量。
（五）岭回归
岭回归分析实际上是一种改良的最小二乘法，是一种专门用于共线性数据分析的有偏估计回归方法。岭回归分析的基本思想是当自变量间存在共线性时，解释变量的相关矩阵行列式近似为零，X'X是奇异的，也就是说它的行列式的值也接近于零，此时OLS估计将失效。此时可采用岭回归估计。岭回归就是用X'X+KI代替正规方程中的X'X，人为地把最小特征根由minli提高到min（li+k），希望这样有助于降低均方误差。
（六）追加样本信息（实际操作中不容易实现）
多重共线性问题的实质是样本信息的不充分而导致模型参数的不能精确估计，因此追加样本信息是解决该问题的一条有效途径。但数据收集本来就很难，追加样本量耗时耗力，不太现实。
处理原则：
1、多重共线性是普遍存在的，轻微的多重共线性问题可不采取措施；
2、严重的多重共线性问题，一般可根据经验或通过分析回归结果发现。如影响系数符号，重要的解释变量t值很低。要根据不同情况采取必要措施。
3、如果模型仅用于预测，则只要拟合程度好，可不处理多重共线性问题，存在多重共线性的模型用于预测时，往往不影响预测结果；

统计211网现推出微信公众号平台，每日更新，由一批专业统计领域的专业人士撰稿，每位专家根据自己擅长的领域为各位统计爱好者提供原创或经典的科研统计相关信息。内容包含统计理论解析、应用案例解读、典型错误辨析等，也涉及统计方法在软件中的应用，例如 SPSS、R、SAS、STATA、Amos等统计软件，全方位多视角的介绍统计相关知识，力求为广大读者提供帮助。
公众号名称：统计211网
公众号ID: tj211_com
二维码.png (15.1 KB, 下载次数: 0)

2016-5-11 08:58 上传

点击文件名下载附件