Unbiased learning-to-rank (ULTR) techniques do not bring clear performance improvements on the large-scale Baidu-ULTR dataset, especially compared to the stark differences brought by the choice of ranking loss and query-document features. While ULTR methods robustly improve click prediction, these gains do not translate to enhanced ranking performance on expert relevance annotations.
Unbiased Learning-to-Rank-Methoden bringen auf dem Baidu-ULTR-Datensatz keine klaren Verbesserungen der Ranking-Leistung im Vergleich zu naiven Methoden, die Klicks ohne Korrektur von Verzerrungen verwenden. Die Wahl der Ranking-Verlustfunktion und der Eingabemerkmale hat einen viel größeren Einfluss auf die Leistung.