Der Artikel präsentiert L2MAC, ein neuartiges Framework für einen auf Großen Sprachmodellen (LLMs) basierenden Speicherprogramm-Automatikcomputer (von-Neumann-Architektur). L2MAC überwindet die Beschränkungen herkömmlicher LLMs, die durch ein begrenztes Kontextfenster in der Transformer-Architektur eingeschränkt sind, indem es eine dynamische Verwaltung des Kontexts, präzise Lese- und Schreiboperationen für den gesamten Speicher sowie Überprüfungsmechanismen für die generierte Ausgabe bietet.
L2MAC besteht aus drei Hauptkomponenten:
Die CU erfüllt dabei drei zentrale Aufgaben:
(P1) Kontextverwaltung: Anpassung des LLM-Kontexts auf die aktuelle Aufgabe.
(P2) Lese- und Schreiboperationen: Ermöglicht dem LLM-Agenten präzises Lesen und Schreiben im Datei-Speicher.
(P3) Überprüfung der Ausgabe: Überprüft die generierte Ausgabe auf Fehler und Vollständigkeit, um Korrekturen anzustoßen.
Die Autoren zeigen empirisch, dass Code-L2MAC, eine Implementierung von L2MAC für Codegenerierung, den aktuellen Stand der Technik übertrifft, indem es umfangreiche Codebasen erstellt, die komplexe, detailliert spezifizierte Anwendungen erfüllen.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Samuel Holt,... om arxiv.org 03-19-2024
https://arxiv.org/pdf/2310.02003.pdfDiepere vragen