Wie Softwareentwicklungsforschende GitHub nutzen: Eine empirische Studie zu Artefakten und Auswirkungen

Core Concepts

Softwareentwicklungsforschende nutzen GitHub, um ihre Forschungsartefakte (Tools, Replikationspakete und Datensätze) zu veröffentlichen. Die Popularität und Auswirkungen dieser Repositorys variieren stark, wobei einige eine breite Nutzung und Anerkennung erfahren, während andere kaum Beachtung finden. Der Erfolg hängt oft mit dem Engagement der Autoren für die Pflege und Weiterentwicklung der Repositorys zusammen.

Abstract

Die Studie untersucht, wie Softwareentwicklungsforschende GitHub nutzen, um ihre Forschungsartefakte zu veröffentlichen. Dazu wurden 10.000 Publikationen aus führenden Konferenzen und Zeitschriften analysiert, die insgesamt 3.449 GitHub-Links enthielten.
Die Ergebnisse zeigen, dass nur etwa ein Drittel der Autoren ihre Artefakte explizit auf GitHub veröffentlichen, oft in Form von Tools oder Replikationspaketen. Die Popularität und Auswirkungen dieser Repositorys variieren stark - einige erreichen eine breite Nutzung und Anerkennung, während andere kaum Beachtung finden.
Repositorys, die als "Tools" deklariert sind, sind im Durchschnitt deutlich populärer als reine "Datensätze" oder "Replikationspakete". Der Erfolg hängt oft mit dem Engagement der Autoren für die Pflege und Weiterentwicklung der Repositorys zusammen. Viele Repositorys werden nach der Veröffentlichung jedoch nur unzureichend gepflegt, was sich in langsamer Reaktionszeit auf Nutzeranfragen und ungelösten Problemen zeigt.
Die Studie zeigt, dass Repositorys, die aktiv gepflegt werden und eine breite Nutzung erfahren, oft mit gut zitierten Publikationen einhergehen. Dies legt nahe, dass Forschende stärker dafür belohnt werden sollten, ihre Artefakte langfristig zu warten und weiterzuentwickeln.

Stats

Durchschnittlich 53,5 Sterne und 13,3 Forks für Repositorys, die als "Tools" deklariert sind.
Durchschnittlich 26,4 Sterne und 15,7 Forks für Repositorys, die "Datensätze" enthalten.
Durchschnittlich 1,11 Sterne und 0,7 Forks für reine "Replikationspakete".
Nur 41% der Issues in den untersuchten Repositorys werden vom Besitzer beantwortet, im Durchschnitt nach 23 Tagen.

Quotes

"Softwareentwicklungsforschende haben sich ebenfalls eingebracht, indem sie ihre Forschungsartefakte (Tools, Replikationspakete und Datensätze) in Repositorys beherbergen, eine Aktion, die oft als Teil des Beitrags der Veröffentlichung gekennzeichnet ist."
"Doch ein Jahrzehnt nach dem ersten solchen Papier-mit-GitHub-Link ist wenig über das Schicksal solcher Repositorys in der Praxis bekannt. Gewinnen Forschungsrepositorys jemals das Interesse der Entwicklercommunity oder anderer Forschender? Wenn ja, wie oft und warum (nicht)?"

Key Insights Distilled From

How do Software Engineering Researchers Use GitHub? An Empirical Study of Artifacts & Impact

by Kamel Alrash... at arxiv.org 04-08-2024

https://arxiv.org/pdf/2310.01566.pdf

Deeper Inquiries

Wie können Anreize und Belohnungsstrukturen in der Forschung so angepasst werden, dass Forschende stärker motiviert werden, ihre Artefakte langfristig zu warten und weiterzuentwickeln?

In Anbetracht der Erkenntnisse aus der Studie zur Nutzung von GitHub durch Software Engineering Forschende lassen sich verschiedene Ansätze zur Anpassung von Anreizen und Belohnungsstrukturen in der Forschung identifizieren, um Forschende dazu zu motivieren, ihre Artefakte langfristig zu warten und weiterzuentwickeln:

Anerkennung von Artefakten als eigenständige Leistung: Es ist wichtig, dass Forschungsartefakte als eigenständige Leistung anerkannt und entsprechend belohnt werden. Dies könnte durch die Integration von Artefaktbewertungen in die Bewertungskriterien für wissenschaftliche Leistungen geschehen.

Langfristige Unterstützung und Ressourcen: Forschende sollten Zugang zu langfristiger Unterstützung und Ressourcen erhalten, um die Wartung und Weiterentwicklung ihrer Artefakte zu erleichtern. Dies könnte die Bereitstellung von Forschungsgeldern für die Artefaktwartung oder die Schaffung von speziellen Positionen für Artefaktbetreuer umfassen.

Community-Engagement und Peer-Feedback: Die Schaffung einer aktiven Community um Forschungsartefakte herum kann Forschende motivieren, ihre Artefakte zu pflegen und weiterzuentwickeln. Peer-Feedback und Kollaborationen können dazu beitragen, die Qualität und Nützlichkeit der Artefakte zu verbessern.

Sichtbarkeit und Anerkennung: Die Sichtbarkeit und Anerkennung von Forschungsartefakten sollten erhöht werden, um die Motivation der Forschenden zu steigern. Dies könnte durch die Integration von Artefaktverweisen in wissenschaftliche Publikationen oder die Auszeichnung herausragender Artefakte geschehen.

Durch die Implementierung dieser Anpassungen in die Forschungsgemeinschaft können Forschende besser motiviert werden, ihre Artefakte langfristig zu warten und weiterzuentwickeln, was letztendlich zu einer verbesserten Reproduzierbarkeit und Nachvollziehbarkeit von Forschungsergebnissen führen kann.

Wie können Anreize und Belohnungsstrukturen in der Forschung so angepasst werden, dass Forschende stärker motiviert werden, ihre Artefakte langfristig zu warten und weiterzuentwickeln?

In Anbetracht der Erkenntnisse aus der Studie zur Nutzung von GitHub durch Software Engineering Forschende lassen sich verschiedene Ansätze zur Anpassung von Anreizen und Belohnungsstrukturen in der Forschung identifizieren, um Forschende dazu zu motivieren, ihre Artefakte langfristig zu warten und weiterzuentwickeln:

Anerkennung von Artefakten als eigenständige Leistung: Es ist wichtig, dass Forschungsartefakte als eigenständige Leistung anerkannt und entsprechend belohnt werden. Dies könnte durch die Integration von Artefaktbewertungen in die Bewertungskriterien für wissenschaftliche Leistungen geschehen.

Langfristige Unterstützung und Ressourcen: Forschende sollten Zugang zu langfristiger Unterstützung und Ressourcen erhalten, um die Wartung und Weiterentwicklung ihrer Artefakte zu erleichtern. Dies könnte die Bereitstellung von Forschungsgeldern für die Artefaktwartung oder die Schaffung von speziellen Positionen für Artefaktbetreuer umfassen.

Community-Engagement und Peer-Feedback: Die Schaffung einer aktiven Community um Forschungsartefakte herum kann Forschende motivieren, ihre Artefakte zu pflegen und weiterzuentwickeln. Peer-Feedback und Kollaborationen können dazu beitragen, die Qualität und Nützlichkeit der Artefakte zu verbessern.

Sichtbarkeit und Anerkennung: Die Sichtbarkeit und Anerkennung von Forschungsartefakten sollten erhöht werden, um die Motivation der Forschenden zu steigern. Dies könnte durch die Integration von Artefaktverweisen in wissenschaftliche Publikationen oder die Auszeichnung herausragender Artefakte geschehen.

Durch die Implementierung dieser Anpassungen in die Forschungsgemeinschaft können Forschende besser motiviert werden, ihre Artefakte langfristig zu warten und weiterzuentwickeln, was letztendlich zu einer verbesserten Reproduzierbarkeit und Nachvollziehbarkeit von Forschungsergebnissen führen kann.

Welche Rolle spielen Plattformen wie Zenodo, die eine dauerhafte Archivierung von Forschungsartefakten ermöglichen, und wie kann deren Nutzung in der Forschungsgemeinschaft gefördert werden?

Plattformen wie Zenodo spielen eine entscheidende Rolle bei der dauerhaften Archivierung von Forschungsartefakten und tragen zur Sicherung und Nachvollziehbarkeit wissenschaftlicher Erkenntnisse bei. Um die Nutzung solcher Plattformen in der Forschungsgemeinschaft zu fördern, können folgende Maßnahmen ergriffen werden:

Bewusstseinsbildung: Es ist wichtig, das Bewusstsein für die Bedeutung der dauerhaften Archivierung von Forschungsartefakten zu schärfen. Workshops, Schulungen und Informationskampagnen können Forschende über die Vorteile und Möglichkeiten von Plattformen wie Zenodo informieren.

Integration in Forschungsworkflows: Die Integration von Zenodo und ähnlichen Plattformen in die Forschungsworkflows kann deren Nutzung erleichtern. Dies könnte durch die Bereitstellung von Tools und Plugins erfolgen, die eine nahtlose Archivierung von Forschungsartefakten ermöglichen.

Anreize schaffen: Forschende könnten durch Anreize wie zusätzliche Anerkennung oder Belohnungen für die Archivierung ihrer Forschungsartefakte auf Plattformen wie Zenodo motiviert werden. Dies könnte durch die Integration von Archivierungsanforderungen in Förderprogramme und Bewertungskriterien erfolgen.

Qualitätskontrolle und Zertifizierung: Die Einführung von Qualitätskontrollmechanismen und Zertifizierungsverfahren für auf Plattformen wie Zenodo archivierte Forschungsartefakte kann die Vertrauenswürdigkeit und Nachvollziehbarkeit der Forschungsergebnisse erhöhen und die Nutzung dieser Plattformen fördern.

Durch die Förderung der Nutzung von Plattformen wie Zenodo in der Forschungsgemeinschaft kann die langfristige Archivierung und Verfügbarkeit von Forschungsartefakten sichergestellt werden, was zu einer verbesserten Transparenz und Reproduzierbarkeit von Forschungsergebnissen führt.

Inwiefern lassen sich die Erkenntnisse dieser Studie auf andere Formen von Forschungsartefakten (z.B. Datensätze, Modelle) übertragen, die über GitHub hinaus veröffentlicht werden?

Die Erkenntnisse aus der Studie zur Nutzung von GitHub durch Software Engineering Forschende lassen sich auf andere Formen von Forschungsartefakten wie Datensätze und Modelle übertragen, die über GitHub hinaus veröffentlicht werden. Einige Schlüsselerkenntnisse und Empfehlungen, die auf verschiedene Arten von Forschungsartefakten anwendbar sind, sind:

Wartung und Weiterentwicklung: Die Notwendigkeit der langfristigen Wartung und Weiterentwicklung von Forschungsartefakten gilt nicht nur für Code-Repositories, sondern auch für Datensätze und Modelle. Forschende sollten motiviert werden, ihre Artefakte regelmäßig zu pflegen und zu aktualisieren, um deren Nutzen und Qualität zu erhalten.

Dokumentation und Transparenz: Eine klare und umfassende Dokumentation von Datensätzen und Modellen ist entscheidend für ihre Verwendung und Reproduzierbarkeit. Forschende sollten bewusst sein, wie wichtig es ist, detaillierte Anleitungen und Metadaten bereitzustellen, um anderen die Nutzung ihrer Artefakte zu erleichtern.

Community-Engagement: Die Schaffung einer aktiven Community um Forschungsartefakte herum kann auch für Datensätze und Modelle von Vorteil sein. Peer-Feedback, Kollaborationen und Diskussionen können dazu beitragen, die Qualität und Nützlichkeit dieser Artefakte zu verbessern.

Archivierung und Langzeitverfügbarkeit: Die langfristige Archivierung von Datensätzen und Modellen ist entscheidend für ihre Nachvollziehbarkeit und Wiederverwendbarkeit. Plattformen wie Zenodo können eine wichtige Rolle bei der Sicherung dieser Artefakte spielen und sollten daher verstärkt genutzt und gefördert werden.

Durch die Anwendung der Erkenntnisse aus der Studie auf verschiedene Arten von Forschungsartefakten können Forschende dazu motiviert werden, eine bessere Pflege und Transparenz ihrer Artefakte sicherzustellen, was letztendlich zu einer verbesserten Qualität und Verwendbarkeit von Forschungsergebnissen führt.