Die Herausforderung des "Lost-in-the-Middle" in großen Sprachmodellen: Wie Sprachmodelle lange Kontexte besser nutzen

Die Einführung von Multi-Scale Positional Encoding (Ms-PoE) verbessert die Fähigkeit von Sprachmodellen, Informationen im mittleren Kontext effektiv zu erfassen.