Die Studie untersucht die Leistung von GPT-4 und GPT-3.5 in mono- und mehrsprachigen rechtlichen Frage-Antwort-Systemen unter Verwendung des COLIEE Task 4-Datensatzes.
Zunächst wird eine Datenanalyse durchgeführt, um die Charakteristika des Datensatzes in Bezug auf Länge und Komplexität der Kontexte und Fragen in Englisch und Japanisch zu verstehen.
Anschließend werden die Modelle in vier verschiedenen Einstellungen getestet: Englischer Kontext und Englische Frage (EN-EN), Japanischer Kontext und Japanische Frage (JA-JA) sowie zwei mehrsprachige Einstellungen: Englischer Kontext mit Japanischer Frage (EN-JA) und Japanischer Kontext mit Englischer Frage (JA-EN).
Die Ergebnisse zeigen, dass GPT-4 in allen Einstellungen konsistent besser abschneidet als GPT-3.5. Außerdem erzielen die Modelle in den monolingualen Einstellungen generell höhere Genauigkeitswerte als in den mehrsprachigen Einstellungen.
Die Beobachtung, dass die japanische monolinguale Leistung besser ist als die englische monolinguale Leistung, wird darauf zurückgeführt, dass die Originaldaten in Japanisch vorlagen und die Modelle möglicherweise effektiver mit dem Japanischen umgehen konnten.
Insgesamt tragen die Erkenntnisse dazu bei, die Herausforderungen und Potenziale von GPT-Modellen in mehrsprachigen rechtlichen Frage-Antwort-Systemen besser zu verstehen. Zukünftige Forschung sollte sich darauf konzentrieren, die mehrsprachigen Fähigkeiten der GPT-Modelle weiter zu verbessern und domänenspezifisches Wissen für den Rechtsbereich zu integrieren.
Para Outro Idioma
do conteúdo original
arxiv.org
Principais Insights Extraídos De
by Ha-Thanh Ngu... às arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18098.pdfPerguntas Mais Profundas