Khái niệm cốt lõi
本文介绍了一个新的TV剧集数据集TV100,该数据集包含了2021年之后发布的TV剧集,并且CLIP模型未曾见过这些图像。这个数据集可以用于评估CLIP等预训练模型在检测新颖实例和持续学习方面的能力。
Tóm tắt
本文介绍了一个新的TV剧集数据集TV100,该数据集包含了2021年之后发布的TV剧集的图像。数据收集过程如下:
从IMDB上手动搜索2021年之后发布的TV剧集,并下载相关图像。
对下载的图像进行手动清理,删除重复和无意义的图像。
使用预训练的CLIP模型对数据集进行零样本测试,选择前100个最难识别的类别构成TV100数据集。
数据集统计信息如下:
数据集包含来自全球各国的TV剧集,其中中国占55%,日本占25%,韩国占16%,泰国占3%,美国占1%。
数据集类别分布非常不均衡,这对于研究长尾识别很有帮助。
实验结果表明,预训练的CLIP模型无法识别TV100数据集中的任何类别,但如果对CLIP模型进行微调,其性能会大幅提高,说明该数据集是可学习和可分离的。
总之,TV100数据集可用于评估预训练模型在检测新颖实例和持续学习方面的能力,对于推动机器学习领域的发展具有重要意义。
Thống kê
CLIP模型在TV100数据集上的零样本准确率仅为2.08%。
经过微调后,CLIP模型在TV100数据集上的准确率可达60.20%。