Octavius: Effizientes Lernen von Multimodalen Großsprachmodellen durch LoRA-MoE zur Reduzierung von Aufgabeninterferenzen

Octavius ist ein neuartiges und erweiterbares Framework, das eine Kombination aus Mixture-of-Experts (MoE) und LoRA verwendet, um Interferenzen zwischen verschiedenen Aufgaben und Modalitäten in Multimodalen Großsprachmodellen (MLLMs) effizient zu reduzieren.