沈浩老师多变量分析讲座--聚类分析

yitong

物以类聚，人以群分，聚类分析是一种重要的多变量统计方法，但记住其实它是一种数据分析方法，不能进行统计推断的。当然，聚类分析主要应用在市场细分等领域，我们也经常采用聚类分析技术来实现对抽样框的分层。

聚类分析Cluster Analysis：顾名思义是一种分类的多元统计分析方法。按照个体或样品(individuals, objects or subjects)的特征将它们分类，使同一类别内的个体具有尽可能高的同质性(homogeneity)，而类别之间则应具有尽可能高的异质性(heterogeneity)。

我们也可以对变量进行聚类—分类，但是更常见的还是对个体分类（样本聚类——细分）。为了得到比较合理的分类，首先要采用适当的指标来定量地描述研究对象（样本或变量，常用的是样本）之间的联系的紧密程度。常用的指标为“距离”和“相似系数”，假定研究对象均用所谓的“点”来表示。

   在聚类分析中，一般的规则是将“距离”较小的点或“相似系数”较大的点归为同一类，将“距离”较大的点或“相似系数”较小的点归为不同的类！（一般的相似系数就是相关系数了）

基本概念：

需要一组表示个体性质或特征的变量，称之为聚类变量。根据个体或样本之间联系的紧密程度进行分类。一般来说分类变量的组合都是由研究者规定的，不是像其它多元分析方法那样估计推导出来的。

   聚类分析前所有个体或样本所属的类别是未知的，类别个数一般也是未知的，分析的依据就是原始数据，没有任何事先的有关类别的信息可参考。所以：严格说来聚类分析并不是纯粹的统计技术，它不像其它多元分析法那样，需要从样本去推断总体。聚类分析一般都涉及不到有关统计量的分布，也不需要进行显著性检验。

聚类方法：

聚类分析简单、直观；

聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析；

不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类；

聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响；

研究者在使用聚类分析时应特别注意可能影响结果的各个因素；

异常值和特殊的变量对聚类有较大影响

   当分类变量的测量尺度不一致时，需要事先做标准化处理。当然，聚类分析不能做的事情是：

自动发现和告诉你应该分成多少个类——属于非监督类分析方法；

期望能很清楚的找到大致相等的类或细分市场是不现实的；

样本聚类，变量之间的关系需要研究者决定；

不会自动给出一个最佳聚类结果。

我这里提到的聚类分析主要是谱系聚类（hierarchical clustering）和快速聚类（K-means）、两步聚类（Two-Step）；

根据聚类变量得到的描述两个个体间（或变量间）的对应程度或联系紧密程度的度量。

可以用两种方式来测量：

采用描述个体对（变量对）之间的接近程度的指标，例如“距离”，“距离”越小的个体（变量）越具有相似性。

采用表示相似程度的指标，例如“相关系数”，“相关系数”越大的个体（变量）越具有相似性。

计算聚类——距离指标D(distance)的方法非常多：按照数据的不同性质，可选用不同的距离指标：

欧氏距离(Euclidean distance)；

欧氏距离的平方(Squared Euclidean distance)；

曼哈顿距离(Block)；

切比雪夫距离(Chebychev distance)；

卡方距离(Chi-aquare measure) 等；

相似性也有不少，主要是皮尔逊相关系数了！

注意：上面主要在谱系聚类方法中采用，但谱系聚类主要用在变量聚类上，如果对样本聚类样本不能太多了，否则你要等很长时间，还不一定有用！

总体推荐：

聚类变量的测量尺度不同，需要事先对变量标准化；

聚类变量中如果有些变量非常相关，意味着这个变量的权重会更大；

欧式距离的平方是最常用的距离测量方法；

聚类算法要比距离测量方法对聚类结果影响更大；

一般聚类个数在4－6类，不易太多，或太少；

数据挖掘软件中的聚类更理想。

标准化方法影响聚类模式：

变量标准化倾向产生基于数量的聚类；

样本标准化倾向产生基于模式的聚类；

当然我现在聚类都用数据挖掘技术了，其实聚类分析采用数据挖掘技术更合理，毕竟是发现知识，我们事先不知道是否存在显著差异的细分市场，而且往往在统计分析聚类中，需要研究者主观给出聚类变量，得到的结果也可能是研究者或客户能想到的，往往客户最希望得到事先不知道的，直觉不能感知到的，数据挖掘就体现了这一点。当然采用数据挖掘软件得到的聚类结果，也更直观，最重要的是采用SPSS聚类的结果要呈现出来，是个体力活，用Clementine得到的结果就非常容易看出来和理解了！

关于市场细分中的聚类分析，主要是采用两阶段聚类或快速聚类，一般要先进行因子分析，聚类分析，类的识别，聚成几类，类的稳定性测试，选择目标类，定位，描述细分市场，市场营销组合等！

记住：

为了得到比较好的结果，我们一般现在都采用Two-step聚类，这样可以把定类变量纳入聚类；

如果希望得到稳定的聚类结果，可以在聚类分析的时候提供类中心——一般来自分类均值；

聚类结果得到的细分市场一定是研究者能表述并有营销手段达到目标市场的；

细分不光为自己找到细分市场，也为竞争对手细分了市场。

最后我要说：聚类是一门技术，细分是一门艺术！