设为首页 - 加入收藏
广告 1000x90
您的当前位置:12555主二肖com > 聚类 > 正文

如何使用 Keras 实现无监督聚类

来源:未知 编辑:admin 时间:2019-05-25

  由于深度学习算法在表达非线性表征上的卓越能力,它非常适合完成输入到有标签的数据集输出的映射。这种任务叫做分类。它需要有人对数据进行标注。无论是对 X 光图像还是对新闻报道的主题进行标注,在数据集增大的时候,依靠人类进行干预的做法都是费时费力的。

  聚类分析,或者称作聚类是一种无监督的机器学习技术。它不需要有标签的数据集。它可以根据数据成员的相似性对它们进行分组。

  推荐系统,通过学习用户的购买历史,聚类模型可以根据相似性对用户进行区分。它可以帮助你找到志趣相投的用户,以及相关商品。

  在生物学上,序列聚类算法试图将相关的生物序列进行分组。它根据氨基酸含量对蛋白进行聚类。

  在医疗数据库中,对每个病人来说,真正有价值的测试(比如葡萄糖,胆固醇)都是不同的。首先对病人进行聚类分析可以帮助我们对真正有价值的特征进行分类,从而减少特征分散。它可以增加分类任务的准确性,比如在癌症病人生存预测上。

  在一般用途上,它可以生成一个数据的汇总信息用于分类,模式发现,假设生成,以及测试。

  传统的 K-Means 算法速度快,并且可以广泛应用于解决各种问题。但是,它的距离度量受限于原始的数据空间。因此在输入数据维度较高时,它的效率就会降低,比如说图像集。

  让我们来训练一个 K-Means 模型对 MNIST 手写字体进行聚类分析到 10 个群组中。

  评估得到 K-Means 聚类算法的准确度在 53.2%。后面我们会将它与深度嵌入聚类模型进行比较。

  自动编码器是一个数据压缩算法。它由编码器和解码器两个主要部分构成。编码器的工作是将输入数据压缩成较低维度的特征。比如,一个 28x28 的 MNIST 图像总共有 784 个像素。编码器可以将它压缩成 10 个浮点数组成的数组。我们将这些浮点数作为图像的特征。另一方面,解码器将压缩后的特征作为输入,通过它重建出与原始图像尽可能相近似的图像。实际上,自动编码器是一个无监督学习算法。在训练过程中,它只需要图像本身,而不需要标签。

  自动编码器是一个全连接对称模型。之所以是对称的,是因为图像的压缩和解压过程是一组完全相反的对应过程。

  通过训练自动编码器,我们已经使编码器学会了将每幅图像压缩成 10 个浮点数。你可能会想,因为输入维度减少到 10, K-Means 算法应该可以以此开始聚类?是的,我们将会使用 K-Means 算法生成聚类中心。它是 10 维特征向量空间的 10 个群组的中心。但是我们还要建立我们的自定义聚类层,将输入特征转化为群组标签概率。

  这个概率是由 t-分布计算得来。 T-分布,和t-分布邻域嵌入算法一样,测度了内含点和中心点之间的相似度。正如你所猜测的那样,聚类层的作用类似于用于聚类的K-means,并且该层的权重表示可以通过训练K均值来初始化的聚类质心。

  如果您是在 Keras 中创建自定义图层的新手,那么您可以实施三种强制方法。

  接下来,我们在预先训练的编码器之后堆叠聚类层以形成聚类模型。 对于聚类层,我们初始化它的权重,聚类中心使用k-means对所有图像的特征向量进行训练。

  下一步是同时改进聚类分配和特征表示。 为此,我们将定义一个基于质心的目标概率分布,并根据模型聚类结果将KL偏差最小化。

  通过首先将q(编码特征向量)提升到第二幂然后按每个簇的频率进行归一化来计算目标分布。

  有必要通过在辅助目标分布的帮助下从高置信度分配中学习来迭代地细化群集。 在特定次数的迭代之后,更新目标分布,并且训练聚类模型以最小化目标分布与聚类输出之间的KL散度损失。 培训策略可以被看作是一种自我训练的形式。 就像在自我训练中一样,我们采用初始分类器和未标记的数据集,然后用分类器标记数据集以训练其高置信度的预测。

  损失函数,KL散度或Kullback-Leibler散度是衡量两种不同分布之间行为差异的指标。 我们希望将其最小化,以便目标分布尽可能接近聚类输出分布。

  该度量标准表明它已达到96.2%的聚类精度,考虑到输入是未标记的图像,这非常好。 让我们仔细研究它的精确度。

  该度量需要从无监督算法和地面实况分配中获取一个集群分配,然后找到它们之间的最佳匹配。

  最好的映射可以通过在scikit学习库中实现的匈牙利算法有效地计算为linear_assignment。

  在这里,您可以手动快速匹配聚类分配,例如,聚类1与线”和虎钳签证相匹配。

  由于我们正在处理图像数据集,所以值得一试卷积自动编码器,而不是仅使用完全连接的图层构建。

  值得一提的是,为了重建图像,您可以选择去卷积层(Keras中的Conv2DTranspose)或上采样(UpSampling2D)层以减少伪像问题。卷积自动编码器的实验结果可以在我的GitHub上找到。

  自动编码器在降维和参数初始化方面发挥了重要作用,然后针对目标分布对定制的聚类层进行训练以进一步提高精度。

  完整的源代码在我的 GitHub 上,一直读到笔记本的最后,因为您会发现另一种可以同时减少聚类和自动编码器丢失的另一种方法,这种方法被证明对于提高卷积聚类模型的聚类准确性非常有用。返回搜狐,查看更多

本文链接:http://organikhijau.com/julei/100.html

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top