马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > 运营思维 > 数据分析 > 聚类分析的方法及应用

聚类分析的方法及应用

时间:2014-08-15   文章来源:马海祥博客   访问次数:

通常,我们在研究与处理事物时,经常需要将事物进行分类,例如地质勘探中根据物探、化探的指标将样本进行分类;古生物研究中根据挖掘出的骨骼形状和尺寸将它们分类;大坝监控中由于所得的观测数据量十分庞大,有时亦需将它们分类归并,获得其典型代表再进行深入分析等,对事物进行分类,进而归纳并发现其规律已成为人们认识世界、改造世界的一种重要方法。

聚类分析的方法及应用-马海祥博客

由于对象的复杂性,仅凭经验和专业知识有时不能确切地分类,随着多元统计技术的发展和计算机技术的普及,利用数学方法进行更科学的分类不仅非常必要而且完全可能。

近些年来,数值分类学逐渐形成了一个新的分支,称为聚类分析,聚类分析适用于很多不同类型的数据集合,很多研究领域,如工程、生物、医药、语言、人类学、心理学和市场学等,都对聚类技术的发展和应用起到了推动作用。

1、什么是聚类分析?

聚类分析也称群分析或点群分析,它是研究多要素事物分类问题的数量方法,是一种新兴的多元统计方法,是当代分类学与多元分析的结合。其基本原理是,根据样本自身的属性,用数学方法按照某种相似性或差异性指标,定量地确定样本之间的亲疏关系,并按这种亲疏关系程度对样本进行聚类。

聚类分析是将分类对象置于一个多维空问中,按照它们空问关系的亲疏程度进行分类。

通俗的讲,聚类分析就是根据事物彼此不同的属性进行辨认,将具有相似属性的事物聚为一类,使得同一类的事物具有高度的相似性。

聚类分析方法,是定量地研究地理事物分类问题和地理分区问题的重要方法,常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。

2、聚类分析方法的特征

(1)、聚类分析简单、直观。

(2)、聚类分析主要应用于探索性的研究,其分析的结果可以提供多个可能的解,选择最终的解需要研究者的主观判断和后续的分析。

(3)、不管实际数据中是否真正存在不同的类别,利用聚类分析都能得到分成若干类别的解。

(4)、聚类分析的解完全依赖于研究者所选择的聚类变量,增加或删除一些变量对最终的解都可能产生实质性的影响。

(5)、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。

(6)、异常值和特殊的变量对聚类有较大影响,当分类变量的测量尺度不一致时,需要事先做标准化处理。

3、聚类分析的发展历程

在过去的几年中聚类分析发展方向有两个:加强现有的聚类算法和发明新的聚类算法。现在已经有一些加强的算法用来处理大型数据库和高维度数据,例如小波变换使用多分辨率算法,网格从粗糙到密集从而提高聚类簇的质量。

然而,对于数据量大、维度高并且包含许多噪声的集合,要找到一个“全能”的聚类算法是非常困难的。某些算法只能解决其中的两个问题,同时能很好解决三个问题的算法还没有,现在最大的困难是高维度(同时包含大量噪声)数据的处理。

算法的可伸缩性是一个重要的指标,通过采用各种技术,一些算法具有很好的伸缩性。这些技术包括:数据采样、信息浓缩、网格和索引。

CLARANS是最早使用数据采样的算法,CURE使用优选的采样点,信息浓缩技术在BIRCH方法和DECLIJE方法中得到应用。

许多算法都使用了索引技术,典型的有:BIRCH方法、DBSCAN方法、小波变换方法、DENCLUE方法、DENCLUE方法、小波变换方法、STING方法和CLIQUE方法使用了网格技术。

但是以上方法仍然不能很好地处理高维度并且大数据量的集合。

最近马海祥还发现了一些新的技术如:STING+方法引入动态数据挖掘触发器:mAFIA方法引入间距尺寸自适应网格分割算法;OptiGrid算法使用迭代和网格等技术处理高维度数据。

新技术的引进大大加强了聚类算法的效能,尤其提升了处理高维度数据的能力,但是由于这些算法刚刚形成,所以在某些地方还有待完善,对于刚接触数据分析的博友,可以先看下马海祥博客的《解读常用的10种可用性研究数据类型方法》相关介绍。

4、系统聚类分析法

系统聚类法(Hierarchical Clustering Method)是目前国内外使用晟多的一种方法,有关它的研究极为丰富。其基本思想是:先将11个样本各自看成一类,然后规定样本之间的距离和类与类之间的距离;然后选择距离最小的一对并成一个新类,计算新类和其他类的距离;再将距离最小的两类合并,这样每次减少一类,直至所有的样本都成为一类为止。

在马海祥看来系统聚类法的优点在于:利用样本之问的距离最近原则进行聚类。这种系统归类过程与所规定的归类指数有关,同时也与具体的归类方法有关系,整个聚类过程可用一张聚类图(树)形象表示。

在聚类分析中,聚类要素的选择是十分重要的,它直接影响分类结果的准确性和可靠性,在地理分类和研究分区中,被聚类的对象常常是多个要素构成的。

不同要素的数据往往具有不同的单位和量纲,其数值的变异可能是很大的,这就会对分类结果产生影响,因此当分类要素的对象确定之后,在进行聚类分析之前,首先要对数据要素进行处理。

在聚类分析中,常用的聚类要素的数据处理方法有如下几种:

①、总和标准化

②、标准差标准化

③、极大值标准化

④、极差的标准化

经过这种标准化所得的新数据,各要素的极大值为1,极小值为0,其余的数值均在0与1之间。

距离是事物之间差异性的测度,差异性越大,则相似性越小,所以距离是系统聚类分析的依据和基础。

5、聚类分析的3种方法

聚类分析是数据挖掘中的一个很活跃的研究领域,并提出了许多聚类算法。

(1)、直接聚类法

直接聚类法是根据距离矩阵的结构一次并类得到结果,其基本步骤如下:

①、把各个分类对象单独视为一类;

②、根据距离最小的原则,依次选出一对分类对象,并成新类;

③、如果其中一个分类对象已归于一类,则把另一个也归入该类;如果一对分类对象正好属于已归的两类,则把这两类并为一类;每一次归并,都划去该对象所在的列与列序相同的行;

④、那么,经过m-1次就可以把全部分类对象归为一类,这样就可以根据归并的先后顺序作出聚类谱系图,直接聚类法虽然简便,但在归并过程中是划去行和列的,因而难免有信息损失,因此,直接聚类法并不是最好的系统聚类方法。

(2)、最短距离聚类法

最短距离聚类法是在原来的m×m距离矩阵的非对角元素中找出 ,把分类对象Gp和Gq归并为一新类Gr,然后按计算公式计算原来各类与新类之间的距离,这样就得到一个新的(m-1)阶的距离矩阵。

再从新的距离矩阵中选出最小者,把Gi和Gj归并成新类;再计算各类与新类的距离,这样一直下去,直至各分类对象被归为一类为止。

(3)、最远距离聚类法

最远距离聚类法与最短距离聚类法的区别在于计算原来的类与新类距离采用的公式不同。

6、系统聚类方法的步骤

(1)、对数据进行变换处理;(不是必须的,当数量级相差很大或指标变量具有不同单位时是必要的)

(2)、构造n个类,每个类只包含一个样本;

(3)、计算n个样本两两间的距离;

(4)、合并距离最近的两类为一新类;

(5)、计算新类与当前各类的距离,若类的个数等于1,转到6;否则回4;

(6)、画聚类图;

(7)、决定类的个数,从而得出分类结果。

7、聚类分析的主要应用

对于聚类分析的应用,马海祥简单的从以下6个领域为大家总结了一下:

(1)、商业

聚类分析被用来发现不同的客户群,并且通过购买模式刻画不同的客户群的特征。

聚类分析是细分市场的有效工具,同时也可用于研究消费者行为,寻找新的潜在市场、选择实验的市场,并作为多元分析的预处理。

(2)、生物

聚类分析被用来动植物分类和对基因进行分类,获取对种群固有结构的认识。

(3)、地理

聚类能够帮助在地球中被观察的数据库商趋于的相似性。

(4)、保险行业

聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组,同时根据住宅类型,价值,地理位置来鉴定一个城市的房产分组。

(5)、因特网

聚类分析被用来在网上进行文档归类来修复信息(关于这点我也曾在马海祥博客的《实例解析关键词聚类的方法策略》一文中跟大家详细的介绍过)。

(6)、电子商务

聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面,通过分组聚类出具有相似浏览行为的客户,并分析客户的共同特征,可以更好的帮助电子商务的用户了解自己的客户,向客户提供更合适的服务。

马海祥博客点评:

聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类,聚类分析所使用方法的不同,常常会得到不同的结论,不同研究者对于同一组数据进行聚类分析,所得到的聚类数未必一致。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/sjfx/746.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 分析方法   聚类分析   应用分析  

上一篇:用一句话告诉你什么是数据分析?
下一篇:详解大数据的4个基本特征

您可能还会对以下这些文章感兴趣!

  • 预测2020年数据中心行业发展的10个趋势分析

    岁末年初正是对未来一年数据中心行业发展进行预测的时候,人们将会看到一些事情的到来:云计算的兴起、SSD硬盘的发展,以及其他问题,例如许多企业将业务从云平台遣返回到内部部署数据中心。而专家对数据中心行业的预测可能偶尔会带来一些惊喜。随着大数据行业和技术的发展,企业需要改善内部部署数据中心和云计算资源之间的平衡,在服务器上采用人工智能技术,并努力有效地管理数据蔓延。行业媒体通常会对未来一年进行预测,像往常一……【查看全文

    阅读:33关键词: 2020年   数据中心   行业发展   趋势分析   日期:2019-12-26
  • 大数据环境下衍生出的营销思路或策略

    “大数据”的概念距问世已经有39年了,而大数据营销的时代在前几年才得以到来,这种基于数据协同和深度计算的个性化营销正在用其巨大而全面的影响力改变着营销的格局和战略方向。淘宝每天处理数以万计的交易数据,Facebook每天接待40亿访客,在互联网这种领域,……【查看全文

    阅读:671关键词: 大数据   营销思路   营销策略   大数据营销   日期:2019-05-03
  • 关于用户调研数据分析中常见的一些误区

    近期和一些做用户研究的人员进行了交流,发现很多做这个行业的人都对自己所做的工作有些迷茫,报告写了很多,数据也分析了很多,但是却感觉对产品的实际运营帮助不大,甚至分析出来的结果和实际情况比偏差很大。其实用户研究并不是一个新兴的领域,在很多传统行业,用户……【查看全文

    阅读:813关键词: 眼球追踪   眼球追踪技术   用户调研   调研误区   调研探讨   数据分析   日期:2013-12-24
  • 分析解读数据的真正目的是什么?

    最近我在马海祥博客上新开了一个数据分析专栏,主要是通过平时的一些数据解析来合理科学的提高网站的各项指标的。可能一说到数据,可能就会立马让人想到是数字、图表、模型、方程等容易让人怯步的词语。其实做数据分析的真正目的和意义,是躲在背后的那些人。 在营销学……【查看全文

    阅读:1002关键词: 分析数据   解读数据   解读数据目的   日期:2013-08-26
  • 大数据时代下的第三方数据公司和甲方公司的差异

    现在是一个大数据时代,人人嘴边都挂着数据创造价值、数据挖掘等一些热词。各公司内部也逐渐认识到数据的重要性,纷纷成立数据部门,期待数据可以真正的为业务服务。另外,也有一些专做数据服务的第三方公司不断涌现,希望能帮助产生数据的甲方分担数据分析的担子,挖掘……【查看全文

    阅读:1062关键词: 大数据   大数据时代   第三方数据   数据公司   日期:2014-02-23
  • 解读2014年中国移动互联网用户行为洞察研究报告

    2014中国移动互联网用户行为洞察报告旨在协助行业上下游相关人士了解用户行为的最新动向,全面透析用户的媒体使用习惯、新媒体使用方式、对移动广告的接受程度以及移动广告如何影响用户的购买决策。更多移动互联网用户将手机作为他们首选或唯一的上网工具。……【查看全文

    阅读:1648关键词: 解读报告   中国互联网   移动互联网   用户行为   研究报告   日期:2014-01-14
  • 零基础学习数据地图的制作与分析

    有时在实际工作中会碰到这种情况,即数据与地名有关,这时虽然也能用Excel的图表来表现,但如果能将数据和地图结合起来,将会收到更加好的效果,应用地图来分析和展示与位置相关的数据,要比在Excel中单纯的数字更为明确和直观,让人一目了然,数据地图就是解决此类问题……【查看全文

    阅读:1884关键词: 数据地图   地图制作   数据分析   日期:2016-07-14
  • 数据分析的流程及分析方法

    数据分析是指通过建立审计分析模型对数据进行核对、检查、复算、判断等操作,将被审计单位数据的现实状态与理想状态进行比较,从而发现审计线索,搜集审计证据的过程,在实用中,数据分析可帮助人们作出判断,以便采取适当行动,数据分析的目的是把隐没在看来杂乱无章……【查看全文

    阅读:11073关键词: 数据分析   数据分析流程   分析方法   日期:2014-09-19
  • 如何以客户为中心进行数据挖掘与分析

    数据挖掘与分析可以说是信息领域发展最快的技术,很多不同领域的专家都从中获得了发展的空间,使得数据挖掘成为企业界讨论的热门话题,随着信息技术的发展,人们采集数据的手段越来越丰富,由此积累的数据日益膨胀,数据量达到GB甚至TB级,而且大数据也成为数据分析主流……【查看全文

    阅读:7628关键词: 数据挖掘   数据分析   分析数据   日期:2014-12-27
  • 分类型数据可视化的操作方法及案例分析

    在当前互联网,各种数据可视化图表层出不穷,本文尝试对数据可视化的方法进行归纳,数据可视化可以将海量数据通过图形、表格等形式直观反映给大众,降低数据读取门槛,可以让企业通过形象化方式对自身产品进行营销。数据可视化技术的基本思想,是将数据库中每一个数据项……【查看全文

    阅读:1876关键词: 数据分析   案例分析   日期:2016-09-28
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

未来的站内SEO优化需要做些什么? 网站前端性能优化中最容易被忽略的10个技巧