Die Studie stellt DriveGPT4 vor, ein neuartiges interpretierbares ganzheitliches autonomes Fahrsystem, das auf großen Sprachmodellen basiert.
DriveGPT4 kann Videoeingaben und Textanfragen verarbeiten. Es kann Fahrzeugaktionen interpretieren, relevante Begründungen liefern und eine Vielzahl von Fragen der Nutzer effektiv beantworten. Darüber hinaus sagt DriveGPT4 Niedrigsteuersignale in einem ganzheitlichen Ansatz vorher.
Um DriveGPT4 zu trainieren, wurde ein speziell auf autonomes Fahren zugeschnittener Datensatz für visuelle Anweisungen mit Hilfe von ChatGPT erstellt. Dieser Datensatz wurde zusammen mit allgemeinen Anweisungsdaten verwendet, um DriveGPT4 durch Mix-Finetuning zu trainieren.
Evaluierungen auf dem BDD-X-Datensatz zeigen die überlegene qualitative und quantitative Leistung von DriveGPT4. Die Feinjustierung domänenspezifischer Daten ermöglicht es DriveGPT4, bei der Verankerung des autonomen Fahrens nahe an oder sogar bessere Ergebnisse als GPT4-V zu erzielen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Zhenhua Xu,Y... at arxiv.org 03-15-2024
https://arxiv.org/pdf/2310.01412.pdfDeeper Inquiries