Основні поняття
CoLLEGe introduces a meta-learning framework for generating flexible embeddings for new concepts in large language models.
Анотація
Current language models struggle with quickly learning new concepts without extensive fine-tuning.
CoLLEGe aims to modernize few-shot concept learning by generating embeddings for new concepts using example sentences.
Tasks include new word acquisition, definition inference, and verbal reasoning, showcasing success without task-specific training.
Evaluation methods focus on complex concept knowledge and usage rather than simple similarity measures.
The CoLLEGe framework involves concept embedding generation, sampling few-shot learning episodes, negative examples, and knowledge distillation.
Experiments demonstrate the effectiveness of CoLLEGe in tasks like GRE verbal reasoning and definition generation.
CoLLEGe outperforms baselines in various tasks, showing promise for enhancing concept learning in language models.
Статистика
現在の言語モデルは、新しい概念を素早く学習することが難しい。
CoLLEGeは、例文を使用して新しい概念のための埋め込みを生成するメタラーニングフレームワークを導入する。
タスクには、新しい単語の取得、定義推論、口頭推論などが含まれる。
評価方法は、シンプルな類似性測定ではなく、複雑な概念知識と使用法に焦点を当てている。
CoLLEGeフレームワークには、概念埋め込み生成、サンプリングされた少数ショット学習エピソード、負例、知識蒸留が含まれる。
実験では、GRE口述理解や定義生成などのタスクでCoLLEGeの効果が示されている。
CoLLEGeはさまざまなタスクでベースラインを上回り、言語モデルでの概念学習の向上に期待が持てることを示しています。