CAFA-evaluator ist ein Python-Programm, das entwickelt wurde, um die Leistung von Vorhersagemethoden für Ziele mit hierarchischen Konzeptabhängigkeiten zu bewerten. Es verallgemeinert die Mehrfachklassenevaluierung auf moderne Ontologien, in denen die Vorhersageziele aus einem gerichteten azyklischen Graphen stammen.
Das Programm erfordert nur eine geringe Anzahl an Standard-Python-Bibliotheken, was die Wartung von CAFA-evaluator erleichtert. Der Code repliziert die Critical Assessment of protein Function Annotation (CAFA)-Benchmarking-Methode, die Vorhersagen der konsistenten Teilgraphen in der Gen-Ontologie bewertet. Aufgrund seiner Zuverlässigkeit und Genauigkeit haben die Organisatoren CAFA-evaluator als offizielle CAFA-Evaluationssoftware ausgewählt.
Das Programm verarbeitet drei Eingaben: eine Ontologie-OBO-Datei, eine Ground-Truth-Datei und den Pfad zum Ordner mit der/den Vorhersage-Datei(en). Optional kann auch eine Datei zur Informationsakkumulation akzeptiert werden, die die Generierung gewichteter Maße wie gewichtete Präzision, Recall, F-Maß und S-Score auslöst.
Die Algorithmen speichern drei dünn besetzte Matrizen im Arbeitsspeicher: den Ontologie-Graphen als Adjazenzmatrix, eine boolesche n x m-Matrix, wobei n die Anzahl der Ziele und m die Anzahl der Ontologie-Begriffe ist, die die Ground Truth darstellt, und eine Matrix der gleichen Größe (oder kleiner, wenn einige Ziele fehlen), die die Vorhersage-Scores enthält.
Die Software generiert mehrere Ausgabeobjekte, darunter eine Tabelle mit einer Bewertungszeile für jede Methode, jeden Namensraum und jeden Schwellenwert. Sie erstellt auch Objekte für F-Maß, S-Score und gewichtetes F-Maß, die die entsprechenden Zeilen mit der besten Leistung melden. Außerdem enthält die Software eine Funktion zum Speichern der Ausgabe in tabellarische Dateien.
Іншою мовою
із вихідного контенту
arxiv.org
Ключові висновки, отримані з
by Damiano Piov... о arxiv.org 03-13-2024
https://arxiv.org/pdf/2310.06881.pdfГлибші Запити