<>Joint Unsupervised Learning of Deep Representations and Image Clusters

<>Abstract

提出了JULE model for deep representations and image clusters共同学习的framework。

在这个framework中,在聚类算法中连续地处理被处理成重复的步骤。 并再连接一个CNN

(核心原句:In our framework, successive operations in a clustering algorithm are
expressed as steps in a recurrent process, stacked on top of representations
output by a Convolutional Neural Network (CNN))

看完paper应该就懂了。

<>Introduction

给定nsn_sns​个images I={I1,...,Ins}\boldsymbol{I} = \{I_1, ..., I_{n_s}\}I={I1​,..
.,Ins​​}, 全局优化目标应为:
argmin⁡y,θL(y,θ∣I)(1) \underset{\boldsymbol{y},
\boldsymbol{\theta}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{y},
\boldsymbol{\theta} \mid \boldsymbol{I}) \tag{1}y,θargmin​L(y,θ∣I)(1)
其中:

* L\mathcal{L}L是损失函数
* y\boldsymbol{y}y 是所有image中cluster 的id (笔者:既然是unsupervised,为什么说会有cluster
ids?如果只是image id,那上面I\boldsymbol{I}I已经说明了这一问题)
* θ\boldsymbol{\theta}θ是可训练参数
优化过程可以被分为如下两步:
argmin⁡yL(y∣I,θ)(2a) \underset{\boldsymbol{y}}{\operatorname{argmin}}
\mathcal{L}(\boldsymbol{y} \mid \boldsymbol{I}, \boldsymbol{\theta}) \tag{2a}yar
gmin​L(y∣I,θ)(2a)

argmin⁡θL(θ∣I,y)(2b) \underset{\boldsymbol{\theta}}{\operatorname{argmin}}
\mathcal{L}(\boldsymbol{\theta} \mid \boldsymbol{I}, \boldsymbol{y}) \tag{2b}θar
gmin​L(θ∣I,y)(2b)

很自然的 公式2a是一个简单的聚类问题,公式2b是一个有监督的表征学习问题。

因此本文提出一种两种公式之间的选项。通过表征学习优化聚类id,通过聚类id来优化参数。(怎么感觉又是self-supervised的那一套。

使用HAC聚类的原因:

* 从过度聚类开始(也就是每一个sample都代表一个聚类类别。
这在表征学习不好的情况下是比较良好的—这个时候CNN还没有被良好的学习。错怪他了,他是重新训练一个CNN的,不是用pretrained)
* 随着更好的表征学习,后续聚类过程中的可以合并。
* HAC是一个迭代循环的过程,很好的适应迭代循环的框架。
基本流程就是这样,simple but effective end to end learning framework.

重点是:

* end to end
* Unlabeled data

具体流程就是这样,可以看图中ttt轮,
合并了红色和黄色的image。然后bp进行优化CNN,然后进入下一个step合并了两个绿色和一个粉红色,然后在bp优化CNN。。这个过程迭代进行。就做完了。

很容易懂的一个workflow。

技术
©2019-2020 Toolsou All rights reserved,
LinkedHashMap基本用法&使用实现简单缓存 dedecms网站被黑 劫持到其他网站如何解决苹果不送充填器耳机真为环保?可能还是为了赚钱吧图片格式转换错误总结-myBatis plus 分页numpy:多维数组的创建用C语言做很简单的飞机游戏Keras保存与加载模型(JSON+HDF5)福布斯中国汽车富豪榜:何小鹏第11 李想第14 李斌第15hive大量小文件处理方法总结