Verknüpfung astronomischer Beobachtungen und natürlicher Sprache mit multimodalen Modellen

PAPERCLIP ist eine Methode, die astronomische Beobachtungen, die von Teleskopen aufgenommen wurden, mit natürlicher Sprache unter Verwendung eines neuronalen Netzwerkmodells verknüpft. Das Modell wird durch die Verwendung erfolgreicher Beobachtungsvorschläge und zugehöriger Beobachtungen aus dem Hubble-Weltraumteleskop feinabgestimmt, wobei die Vorschläge optional unter Verwendung großer Sprachmodelle zusammengefasst werden.