Generative Methoden können die Evaluierung von Informationssuche-Systemen sowohl herausfordern als auch verbessern. Einerseits können LLMs zur Erstellung von Relevanzurteilen und Abfragen verwendet werden, andererseits müssen neue Ansätze zur Evaluierung der Ausgabe von GenIR-Systemen entwickelt werden.
Durch eine gemischte Zusammenfassung, die eine anfragebezogene Zusammenfassung und eine allgemeine Dokumentenzusammenfassung kombiniert, sowie eine datenbasierte Erweiterung mit großen Sprachmodellen kann die Leistung von Relevanzmodellen in sozialen Suchszenarien verbessert werden.
Durch die Verwendung von Sparse Attention und asymmetrischer Cross-Attention können Cross-Encoder-Modelle für das Dokumenten-Reranking deutlich effizienter werden, ohne dabei an Effektivität einzubüßen.