Der Artikel stellt einen neuartigen Ansatz namens Graph-of-Thought (GoT) vor, um die nicht-lineare Natur menschlicher Denkprozesse in Sprachmodellen zu erfassen. Bisherige Ansätze wie Chain-of-Thought (CoT) haben den menschlichen Denkprozess als sequenzielle Kette von Gedanken modelliert, was die Komplexität des menschlichen Denkens nicht vollständig abbildet.
Der GoT-Ansatz repräsentiert Denkeinheiten als Knoten und Verbindungen zwischen ihnen als Kanten in einem Graphen. Dadurch kann er die nicht-sequenzielle Natur des menschlichen Denkens besser erfassen und eine realistischere Modellierung von Denkprozessen ermöglichen.
Der GoT-Ansatz verwendet ein zweistufiges Framework, bei dem zunächst Begründungen und dann die endgültige Antwort generiert werden. Dabei werden neben Textmerkmalen auch die Merkmale des Denkgraphen und, bei multimodalen Aufgaben, auch visuelle Merkmale integriert.
Die Experimente zeigen, dass der GoT-Ansatz auf dem textbasierten AQUA-RAT-Datensatz und dem multimodalen ScienceQA-Datensatz signifikante Verbesserungen gegenüber starken Baseline-Modellen wie Multimodal-CoT erzielt. Der Ansatz übertrifft sogar die Leistung von ChatGPT und GPT-4 bei deutlich weniger Parametern.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Yao Yao,Zuch... klo arxiv.org 03-26-2024
https://arxiv.org/pdf/2305.16582.pdfSyvällisempiä Kysymyksiä