SimCLR, MoCo, BYOL 등의 Self-supervised Method들이 어떤 feature들을 배우는지 우리가 알 수 있을까?
지금까지는 classification이나 object detection을 통해서 self-supervised learning이 잘 되는지 확인했다. 하지만 이 방법들은 self-supervised learning 방법들이 어떤 feature들을 배웠는지 visualize할 수 없다.
self-supervised model = f라고 가정, f(x) = h를 내뱉는다. 이때, representation h가 주어졌을때, 어떤 input x가 해당 h를 만들어내는지 알아내는 것을 목표로 한다. f는 bijective하지 않기 때문에 여러개의 x가 동일한 h를 만들어 낼 수 있다.
이 논문에서는 conditional generative models $p(x|h)$ 을 만들고 $x' \sim p(x|h)$ 샘플링한다. 높은 quality controllable generative model
Specifically, by repeatedly sampling from a same conditioning representation, one can observe which aspects are common to all samples, thus identifying what is encoded in the representation, while the aspects that vary greatly show what was not retained in the representation
ADM를 사용할 예정이다.
Conditioned Batch Normalization Layers
