ソフトウェアエンジニアリング論文における研究成果物の現状と傾向

Core Concepts

ソフトウェアエンジニアリング分野では、研究成果物の公開が増加傾向にあるが、その現状と課題が明らかになっていない。

Abstract

本研究は、ソフトウェアエンジニアリングの主要国際会議(ASE、FSE、ICSE、ISSTA)で2017年から2022年に発表された2,196本の論文を対象に、研究成果物の現状と傾向を包括的に分析した。
主な分析結果は以下の通り:

共有プラットフォームの利用:

GitHub(64.2%)が最も一般的だが、Zenodo(16.0%)の利用も増加傾向にある。
Zenodoは長期的な可用性が高く、会議推奨にも沿っているため、今後さらに利用が広がると考えられる。

成果物の維持管理:

全体の9.4%の成果物がリンク切れ(link rot)に陥っており、年々増加傾向にある。
一時的なドライブ(32.6%)やパーソナルウェブサイト(11.8%)のリンク切れが目立つ一方、GitHub(6.4%)やZenodo(7.1%)は相対的に低い。
成果物の90%以上が投稿期限後に更新されるが、会議開催後の更新率は年々低下している。

成果物の人気度:

成果物の65.0%がGitHubで10スター以下と低い人気度にとどまる。
人気の高い成果物(100スター超)は全体の3.7%のみだが、実用性が高く、十分なドキュメンテーションと継続的な更新がなされている。

成果物の品質:

ドキュメンテーションは概して良好だが、コードスメルの検出では主に表層的な問題が指摘される。成果物固有の品質評価指標が必要と考えられる。
本研究の結果から、ソフトウェアエンジニアリング分野の研究成果物の現状と課題が明らかになった。会議主催者、研究者、ツール開発者らが連携し、成果物の可用性、人気度、品質の向上に取り組むことが重要である。

Stats

全体の9.4%の成果物がリンク切れに陥っている。
GitHub上の成果物のリンク切れ率は6.4%、Zenodoは7.1%だが、一時的なドライブは32.6%、パーソナルウェブサイトは11.8%と高い。
成果物の90%以上が投稿期限後に更新されるが、会議開催後の更新率は年々低下している。
成果物の65.0%がGitHubで10スター以下と低い人気度にとどまる。

Quotes

"ソフトウェアエンジニアリング分野では、研究成果物の公開が増加傾向にあるが、その現状と課題が明らかになっていない。"
"全体の9.4%の成果物がリンク切れに陥っており、年々増加傾向にある。"
"成果物の90%以上が投稿期限後に更新されるが、会議開催後の更新率は年々低下している。"
"成果物の65.0%がGitHubで10スター以下と低い人気度にとどまる。"

Key Insights Distilled From

Research Artifacts in Software Engineering Publications

by Mugeng Liu,X... at arxiv.org 04-11-2024

https://arxiv.org/pdf/2404.06852.pdf

Deeper Inquiries

ソフトウェアエンジニアリング分野以外の研究分野における研究成果物の現状はどのようになっているか。

ソフトウェアエンジニアリング分野以外の研究分野においても、研究成果物の重要性は高まっています。研究成果物は、研究論文の主張を補強し、理解を深めるだけでなく、将来の拡張や比較のための証拠としても役立ちます。近年、多くの研究コミュニティがオープンサイエンスの方針を採用し、研究成果物の開示を奨励しています。これにより、研究成果物の提供が増加しており、再現性や透明性が重視されるようになっています。