CLIP模型微调时过度拟合已知类别的问题及其解决方案

提出了一种新的方法OGEN,通过合成未知类别的特征并采用自适应蒸馏机制,有效解决了CLIP模型微调时过度拟合已知类别的问题,从而提高了模型在未知类别上的泛化能力。