CVPR2021「自监督学习」领域重磅新作

DeepMind提出的无监督模型BYOL[1]的一个突出特点是去掉了负样本，在讨论AdCo前，一个很核心的问题就是在自监督时代，我们究竟要不要负样本？

首先，从比较纯粹的实用主义角度来说，MoCo V2[2]这类基于负样本的对比学习方法，自监督训练的时间都是比BYOL较少的。这点不难理解，MoCo V2不需要基于Global Batch Normalization (BN)（GPU之间需要通讯），所以从速度来说仅仅需要BYOL约1/3的时间。

另一方面，类似MoCo V2的方法一个比较麻烦的地方是要不断得维护一个负样本的队列。但是，用一组负样本做对比学习，从训练性能的角度来说，从前诸多的实验来看可能更稳定，毕竟多个负样本的对比可以提供更多的样本的分布信息，比BYOL只在单个图像的两个变换增强样本得到的特征上做MSE从训练的角度来说可以更稳定。同时memory bank维持的负样本并不需要梯度计算，所以相关计算量可以忽略不计。

因此，我们认为负样本在对比学习里仍然是一个值得探索的方向。但需要解决如何提高负样本的质量和使用效率的问题。一个比较好的想法是我们能不能不再依赖一个被动的维护一个负样本队列去训练对比模型，而是直接通过主动学习的方法把负样本当作网络参数的一部分去做end-to-end的训练？

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!