Tri-Distil-BERT und Mixed-Distil-BERT: Mehrsprachiges Code-Mixing-Sprachmodell für Bangla, Englisch und Hindi

Wir stellen Tri-Distil-BERT, ein mehrsprachiges Modell, das auf Bangla, Englisch und Hindi vortrainiert ist, und Mixed-Distil-BERT, ein Modell, das auf code-gemischten Daten feinabgestimmt ist, vor. Beide Modelle zeigen eine wettbewerbsfähige Leistung bei mehreren NLP-Aufgaben im Vergleich zu größeren Modellen wie mBERT und XLM-R.