Der Artikel präsentiert L2MAC, ein neuartiges Framework für einen auf Großen Sprachmodellen (LLMs) basierenden Speicherprogramm-Automatikcomputer (von-Neumann-Architektur). L2MAC überwindet die Beschränkungen herkömmlicher LLMs, die durch ein begrenztes Kontextfenster in der Transformer-Architektur eingeschränkt sind, indem es eine dynamische Verwaltung des Kontexts, präzise Lese- und Schreiboperationen für den gesamten Speicher sowie Überprüfungsmechanismen für die generierte Ausgabe bietet.
L2MAC besteht aus drei Hauptkomponenten:
Die CU erfüllt dabei drei zentrale Aufgaben:
(P1) Kontextverwaltung: Anpassung des LLM-Kontexts auf die aktuelle Aufgabe.
(P2) Lese- und Schreiboperationen: Ermöglicht dem LLM-Agenten präzises Lesen und Schreiben im Datei-Speicher.
(P3) Überprüfung der Ausgabe: Überprüft die generierte Ausgabe auf Fehler und Vollständigkeit, um Korrekturen anzustoßen.
Die Autoren zeigen empirisch, dass Code-L2MAC, eine Implementierung von L2MAC für Codegenerierung, den aktuellen Stand der Technik übertrifft, indem es umfangreiche Codebasen erstellt, die komplexe, detailliert spezifizierte Anwendungen erfüllen.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Samuel Holt,... a las arxiv.org 03-19-2024
https://arxiv.org/pdf/2310.02003.pdfConsultas más profundas