Was erklärt den Erfolg des Cross-Modal-Fine-Tunings mit ORCA?

Die Autoren führen eine Reihe von Ablationen durch, um besser zu verstehen, wie die verschiedenen Komponenten von ORCA, einer kürzlich vorgestellten Methode für das Cross-Modal-Fine-Tuning, ihre Leistung beeinflussen. Im Gegensatz zu den ursprünglichen Ergebnissen stellen sie fest, dass das Training des Embedders 2D-Aufgaben überhaupt nicht hilft, verglichen mit einem einfachen Fine-Tuning ohne Embedder-Training. Bei 1D-Aufgaben ist ein gewisses Maß an Embedder-Training notwendig, aber im Gegensatz zur Behauptung im Originalpapier kann mehr Embedder-Training die Leistung auf der Zielaufgabe sogar verschlechtern. In einer Reihe von Experimenten, bei denen wir Komponenten der ORCA-Pipeline einfrieren, stellen wir fest, dass das Fine-Tuning des Modells entscheidend für eine gute Aufgabenleistung ist. Es ist jedoch nicht notwendig, den Embedder nach der zweiten Phase weiter zu trainieren. Schließlich stellen wir fest, dass für eine der 1D-Aufgaben die Verwendung eines vortrainierten Modells tatsächlich nicht notwendig ist, was die Bedeutung von Baseline-Experimenten ohne Vortrain in Evaluierungen des Cross-Modal-Transfers zeigt.