Skip to main content
 首页 » 人工智能

层次聚类示例实战教程

2022年07月19日131dyllove98

聚类是一种机器学习算法,它试图把数据集的观测值分为不同的簇。即相似观测值聚为簇,反之不相似的在不同簇中。聚类属于无监督,它尝试从数据集中发现结构,而不是预测响应变量的值。

聚类通常用于市场分析,例如某公司有下列信息:

  • 家庭收入
  • 家庭人数
  • 户主职业
  • 距市区距离

如果这些是有效信息,聚类可以识别类似家庭可能会购买一定产品或对某类广告响应较好。聚类最常用算法是KMeans,但需要预先设定聚类数量。

对应的层次聚类算法不需要预先设定聚类数量,它能够生成树形结构——称为系统树图。

介绍层次聚类

与KMeans类似,分层聚类的目标是产生相互非常相似的观测结果簇,而不同簇中的观测结果则截然不同。一般采用以下步骤进行分层聚类:

  1. 分别计算数据集中每两个变量的相异度
  • 首先必须确定距离度量指标——如欧式距离,用于计算数据集中每个观测值之间的相异度
  • 如果数据集包括n个观测值,那么共需要计算n(n-1)/2次对相异度
  1. 将观测数据融合成簇
  • 把上一步中两个最相似的观测值融合到一个簇中。
  • 重复这个过程,直到所有观测到的都是一个大簇的成员。最终结果是一个树,可以绘制成系统树图。

为了确定两个簇之间的距离,我们可以使用下列几种方法,包括:

  • 完全连接聚类: 求属于两个不同聚类的点之间的最大距离。
  • 单连接聚类: 求属于两个不同聚类的点之间的最小距离。
  • 均值连接聚类: 找出所有属于两个不同聚类的点之间的成对距离,然后计算平均值。
  • 质心连接聚类: 求每个簇的质心,计算两个不同簇的质心之间的距离。
  • ward最小方差法:最小化集群内的总方差,每一步都将簇间距离最小的一对簇进行合并。

对于不同数据集,这些方法之间会有差异。下面通过示例逐步实现层次聚类算法。

加载包及数据

这两个包中有几个实现聚类算法的有用函数:

library(factoextra) 
library(cluster) 
 
#load data 
df <- USArrests 
 
#remove rows with missing values 
df <- na.omit(df) 
 
#scale each variable to have a mean of 0 and sd of 1 
df <- scale(df) 
 
#view first six rows of dataset 
head(df) 
 
#                Murder   Assault   UrbanPop         Rape 
# Alabama    1.24256408 0.7828393 -0.5209066 -0.003416473 
# Alaska     0.50786248 1.1068225 -1.2117642  2.484202941 
# Arizona    0.07163341 1.4788032  0.9989801  1.042878388 
# Arkansas   0.23234938 0.2308680 -1.0735927 -0.184916602 
# California 0.27826823 1.2628144  1.7589234  2.067820292 
# Colorado   0.02571456 0.3988593  0.8608085  1.864967207 

该示例使用R 内置 USArrests 数据集,包括美国1973年每10万人的犯罪信息,包括谋杀、人身袭击、强奸、以及城镇人口率(Murder, Assault, Rape, UrbanPop)。

上面代码首先加载数据,接着删除缺失值行,最后对变量进行归一化,即统一为均值为0,标准差为1 .

确定连接方法

为了执行层次聚类方法,可以使用cluster 包中agnes()函数,语法如下:

** agnes(data, method)

  • data : 数据集
  • method:计算簇之间相异度的方法

因为事先不了解那个方法效果最好,我们定义函数使用不同方法执行层次聚类。该函数能够计算每种方法的凝聚系数,用于度量族的聚集程度,值越接近1,族凝聚度越高:

#define linkage methods 
m <- c( "average", "single", "complete", "ward") 
names(m) <- c( "average", "single", "complete", "ward") 
 
#function to compute agglomerative coefficient 
ac <- function(x) { 
  agnes(df, method = x)$ac 
} 
 
#calculate agglomerative coefficient for each clustering linkage method 
sapply(m, ac) 
 
#   average    single  complete      ward  
# 0.7379371 0.6276128 0.8531583 0.9346210  

从输出可以看到ward 方法效果最好,因此我们将使用该方法实现层次聚类:

#perform hierarchical clustering using Ward's minimum variance 
clust <- agnes(df, method = "ward") 
 
#produce dendrogram 
pltree(clust, cex = 0.6, hang = -1, main = "Dendrogram")  

在这里插入图片描述

系统树图的每个叶子表示原始数据集中的观测值,从下往上,类似观测值融为枝,最后融合为一棵树。

确定最佳簇数

为了决定数据集分为几个簇,需要使用间隙统计指标,它比较在没有聚类的分布中,k的不同值的总簇内变异与它们的期望值。使用cluster包中的clusGap函数计算间隙统计指标,fviz_gap_stat()函数能够以图形方式展示簇数与指标之间的关系:

#calculate gap statistic for each number of clusters (up to 10 clusters) 
gap_stat <- clusGap(df, FUN = hcut, nstart = 25, K.max = 10, B = 50) 
 
#produce plot of clusters vs. gap statistic 
fviz_gap_stat(gap_stat) 

在这里插入图片描述

从图中我们可以看到,间隙统计指标在k = 4集群是最高的。因此,我们将选择将数据集分成4个不同簇。

给原始数据集增加分类

下面我们把数据分类结果增加至原始数据集中,使用cutree()方法把生成树切分为四个簇:

# 计算矩阵距离 
d <- dist(df, method = "euclidean") 
 
# 使用Ward方法执行层次聚类 
final_clust <- hclust(d, method = "ward.D2" ) 
 
# 切分为四个簇 
groups <- cutree(final_clust, k=4) 
 
# 统计每个簇的数量 
table(groups) 
#  
#  1  2  3  4  
#  7 12 19 12 

下面给原始数据每个州追加簇标签:

# 给原始数据追加簇标签 
final_data <- cbind(USArrests, cluster = groups) 
 
# 显示前6条数据 
head(final_data) 
 
#                Murder Assault UrbanPop Rape cluster 
# Alabama          13.2     236       58 21.2       1 
# Alaska           10.0     263       48 44.5       2 
# Arizona           8.1     294       80 31.0       2 
# Arkansas          8.8     190       50 19.5       3 
# California        9.0     276       91 40.6       2 
# Colorado          7.9     204       78 38.7       2 

最后使用aggregate函数计算每个簇的变量均值:

# 最后计算每个族的均值 
aggregate(final_data, by=list(cluster=final_data$cluster), mean) 
 
#   cluster    Murder  Assault UrbanPop     Rape cluster 
# 1       1 14.671429 251.2857 54.28571 21.68571       1 
# 2       2 10.966667 264.0000 76.50000 33.60833       2 
# 3       3  6.210526 142.0526 71.26316 19.18421       3 
# 4       4  3.091667  76.0000 52.08333 11.83333       4 

从输出可以看到:

  • 第1组的各州中,每10万公民中平均有14.67人被谋杀。
  • 第1组中的各州,每10万公民中平均发生251.28起人身袭击事件。
  • 第1组的各州中,居住在城市地区的居民的平均百分比为54.28%。
  • 第1组的各州中,每10万公民中平均发生21.68起强奸案。

本文参考链接:https://blog.csdn.net/neweastsun/article/details/124992900