Forschungsartefakte in Veröffentlichungen zur Softwaretechnik: Status und Trends

Core Concepts

Die Softwaretechnik-Community hat die Open-Science-Politik angenommen und ermutigt Forscher, Artefakte in ihren Veröffentlichungen offenzulegen. Der Status und die Trends der Artefaktpraxis und -qualität bleiben jedoch unklar und erfordern weitere Verbesserungen.

Abstract

Diese Studie untersucht den Status und die Trends von Forschungsartefakten in Softwaretechnik-Publikationen. Dafür wurden 1.487 Artefakte aus 2.196 Papieren in führenden Softwaretechnik-Konferenzen (ASE, FSE, ICSE, ISSTA) von 2017 bis 2022 manuell gesammelt und analysiert.
Die Ergebnisse zeigen:

Ein zunehmender Anteil von Softwaretechnik-Publikationen, die ihre Artefakte offenlegen (von 60,5% in 2017 auf 78,3% in 2022).
Die Mehrheit (64,2% in 2022) der Forscher wählt GitHub zum Teilen ihrer Artefakte, obwohl empfohlen wird, Zenodo zu verwenden.
Python hat Java als am häufigsten verwendete Sprache in Artefakten abgelöst (61,1% in 2022).
Der Anteil ungültiger Links steigt über die Zeit an (von 4,8% in 2022 auf 29,8% in 2017).
Die meisten GitHub-Artefakte erhalten wenig Aufmerksamkeit (65,0% haben 10 oder weniger Sterne).
Über 96% der Projekte lösen Codequalitätswarnungen hauptsächlich für Konventionen aus, was auf Unzulänglichkeiten bei der Bewertung der Codequalität hindeutet.
Basierend auf den Erkenntnissen werden Empfehlungen für verschiedene Interessengruppen zur Verbesserung der Artefaktpraxis gegeben.

Stats

Über 90% der Artefakte werden nach der Einreichungsfrist aktualisiert, aber der Anteil sinkt nach späteren Meilensteinen.
9,4% der Artefakte sind aufgrund von Link-Rot nicht mehr verfügbar, mit deutlich höheren Raten für temporäre Speicherorte (32,6%) als für GitHub (6,4%) oder Zenodo (7,1%).
65,0% der GitHub-Artefakte haben 10 oder weniger Sterne, was auf eine begrenzte Wirkung auf die Praxis hindeutet.

Quotes

"Die Softwaretechnik-Community hat die Open-Science-Politik angenommen und ermutigt Forscher, Artefakte in ihren Veröffentlichungen offenzulegen."
"Der Status und die Trends der Artefaktpraxis und -qualität bleiben jedoch unklar und erfordern weitere Verbesserungen."

Key Insights Distilled From

Research Artifacts in Software Engineering Publications

by Mugeng Liu,X... at arxiv.org 04-11-2024

https://arxiv.org/pdf/2404.06852.pdf

Deeper Inquiries

Wie können Konferenzen und Verlage Forscher besser dabei unterstützen, hochwertige und langlebige Artefakte zu erstellen und zu pflegen?

Um Forscher dabei zu unterstützen, hochwertige und langlebige Artefakte zu erstellen und zu pflegen, können Konferenzen und Verlage verschiedene Maßnahmen ergreifen:

Klare Richtlinien: Konferenzen und Verlage sollten klare Richtlinien für die Erstellung und Pflege von Artefakten festlegen. Diese Richtlinien sollten detaillierte Anforderungen an die Dokumentation, Codequalität und Aktualisierung der Artefakte enthalten.

Schulungen und Ressourcen: Konferenzen können Schulungen und Ressourcen für Forscher anbieten, um sie bei der Erstellung hochwertiger Artefakte zu unterstützen. Dies kann Schulungen zur Dokumentation, Codequalität und Verwendung von Artefakt-Repositories umfassen.

Peer-Review: Einführung eines Peer-Review-Prozesses für Artefakte, bei dem andere Forscher die Qualität und Nachhaltigkeit der Artefakte bewerten. Dies kann dazu beitragen, Schwachstellen zu identifizieren und die Qualität zu verbessern.

Anreize: Konferenzen und Verlage könnten Anreize wie Auszeichnungen oder finanzielle Unterstützung für Forscher einführen, die hochwertige und langlebige Artefakte erstellen und pflegen. Dies könnte Forscher motivieren, mehr Sorgfalt in ihre Artefakte zu investieren.

Langfristige Archivierung: Konferenzen und Verlage sollten Mechanismen für die langfristige Archivierung von Artefakten bereitstellen, um sicherzustellen, dass sie auch nach Jahren noch verfügbar und nutzbar sind.

Welche Anreize oder Richtlinien könnten Forscher dazu bringen, ihre Artefakte stärker in reale Anwendungen zu integrieren und zu verbreiten?

Um Forscher dazu zu motivieren, ihre Artefakte stärker in reale Anwendungen zu integrieren und zu verbreiten, könnten folgende Anreize und Richtlinien hilfreich sein:

Praxisorientierte Forschung: Konferenzen und Verlage könnten Forscher ermutigen, praxisorientierte Forschung zu betreiben, bei der die Anwendbarkeit und Umsetzbarkeit der Artefakte in realen Szenarien im Vordergrund stehen.

Kollaboration mit Industrie: Durch die Förderung von Kooperationen zwischen Forschern und Industriepartnern können Artefakte gezielt für reale Anwendungen entwickelt werden. Industriepartner könnten auch Anreize bieten, um die Integration von Artefakten in kommerzielle Produkte zu unterstützen.

Öffentliche Anerkennung: Konferenzen könnten Auszeichnungen oder Anerkennungen für Forscher einführen, deren Artefakte erfolgreich in realen Anwendungen implementiert wurden. Dies könnte Forscher dazu motivieren, ihre Artefakte praxisnah zu gestalten.

Open-Source-Prinzipien: Die Förderung von Open-Source-Prinzipien und die Veröffentlichung von Artefakten unter offenen Lizenzen könnten dazu beitragen, die Verbreitung und Integration in reale Anwendungen zu erleichtern.

Community-Engagement: Konferenzen könnten Plattformen für den Austausch und die Zusammenarbeit zwischen Forschern und Praktikern schaffen, um die Integration von Artefakten in reale Anwendungen zu fördern.

Wie können Metriken und Werkzeuge zur Codequalität speziell auf die Besonderheiten von Forschungsartefakten zugeschnitten werden?

Um Metriken und Werkzeuge zur Codequalität speziell auf die Besonderheiten von Forschungsartefakten zuzuschneiden, könnten folgende Ansätze hilfreich sein:

Anpassung an Forschungsumgebungen: Metriken und Werkzeuge zur Codequalität sollten an die spezifischen Anforderungen und Besonderheiten von Forschungsartefakten angepasst werden. Dies könnte die Berücksichtigung von experimentellen Code, Prototypen und Forschungsdaten umfassen.

Integration von Domänenwissen: Metriken und Werkzeuge sollten das Domänenwissen der Forscher einbeziehen, um die Relevanz und Angemessenheit der Codequalität zu bewerten. Dies könnte die Definition von spezifischen Codequalitätsstandards für bestimmte Forschungsbereiche umfassen.

Automatisierte Codeanalyse: Die Entwicklung von automatisierten Codeanalysewerkzeugen, die speziell auf Forschungsartefakte zugeschnitten sind, könnte Forschern helfen, Codequalitätsprobleme frühzeitig zu erkennen und zu beheben.

Berücksichtigung von Experimentierfreudigkeit: Metriken und Werkzeuge sollten die Experimentierfreudigkeit und iterative Natur von Forschungsprojekten berücksichtigen. Dies könnte die Flexibilität in der Codequalitätsbewertung und die Möglichkeit zur Anpassung an sich ändernde Anforderungen umfassen.

Feedbackmechanismen: Die Integration von Feedbackmechanismen in Metriken und Werkzeuge zur Codequalität könnte Forschern helfen, kontinuierlich ihre Codequalität zu verbessern und bewährte Praktiken zu implementieren.

Durch die Anpassung von Metriken und Werkzeugen zur Codequalität an die spezifischen Anforderungen von Forschungsartefakten können Forscher die Qualität ihrer Artefakte verbessern und deren Wirkung in der Forschungsgemeinschaft steigern.