GitHub Javaリポジトリのスナップショットとメトリクスの収集：CAMプロジェクト

Core Concepts

GitHubからJavaリポジトリをクローンし、メトリクスを計算するためのCAMプロジェクトの重要性。

Abstract

概要:

研究者が安定したデータセットと基本的なメトリックを必要とする際に、GitHubや他のコードホスティングプラットフォームが提供していない課題に対処するためにCAMプロジェクトが作成された。
CAMはJavaリポジトリをクローンし、不要なファイルをフィルターし、Javaクラスを解析し、さまざまなメトリック（サイクロマチック複雑度、Halstead努力とボリューム、C＆Kメトリック、保守性メトリックなど）を計算するオープンソースソフトウェアである。
CAMは研究者向けに新しいデータセットを生成し、Amazon S3で公開して利用可能にしている。
動機:

Javaコードの分析を行う研究プロジェクトは通常、GitHubなどのオープンソースプロジェクトがファイルを保存しているリポジトリから抽出する。
オープンソースコードは変動性が高く、研究結果の再現性を確保するためには抽出時点で使用されていたソースコードが利用可能かつ完全であることが重要。
方法論:

CAMアーカイブはDockerコンテナ内で定期的に実行され、結果は「不変」ZIPアーカイブとして次回のGitHubレポジストリの「アセット」として添付されるかAmazon S3のオブジェクトとして公開される。
制限事項:

GitHubには数百万ものJavaリポジトリがあり、すべてをダウンロードおよび解析することは技術的に不可能。
CAMプロジェクトではわずか1000個のリポジストからダウンロードおよびスキャンしており、「Javaドメイン全体」の代表性が目的ではない場合に使用すべきである。
結論:

CAMアーカイブはJavaソースコードを分析する研究チームやオープンソースコミュニティ向けに設計されており、研究結果の再現性やデータ前処理作業量削減を目指している。

Stats

2024年3月2日に公開された最新アーカイブでは532K Javaクラスごとに48個のメトリックが含まれています。
10日間かかりました。8 vCPUおよび32GB RAM搭載サーバー上でデータ生成。

Quotes

"Even though most of the metrics that we collect have formal definitions given in the papers where the metrics were originally introduced, there are certain modifications that we had to make to their original algorithms."
"We expect CAM archives to be used by research teams analyzing Java source, which want (a) to guarantee replicability of their results and (b) to reduce data preprocessing efforts."

Key Insights Distilled From

CAM

by Yegor Bugaye... at arxiv.org 03-14-2024

https://arxiv.org/pdf/2403.08488.pdf

Deeper Inquiries

このCAMプロジェクト以外でも同様の取り組みや手法が他に存在しますか

CAMプロジェクトに類似した取り組みとして、ソフトウェアリポジトリからデータを収集しメトリックを計算するプロジェクトがいくつか存在します。例えば、CodeMaatはGitHubやGitLabなどのリポジトリからデータを抽出し、コード変更パターンや開発者間の関係性などのメトリックを提供しています。また、Boaプロジェクトは大規模なソースコードデータセットを提供し、研究者が様々な分析や実験を行うことができるよう支援しています。

CAMプロジェクトが提供するデータセットやメトリック情報に対する批判的な意見や考え方は何ですか

CAMプロジェクトに対する批判的意見としては、ダウンロードされたJavaレポジトリ数が限られており全体像を反映しきれていない点が挙げられます。CAMではごく一部のレポジトリしか処理されておらず、その範囲内でしか結果が適用されない可能性があります。また、元々定義されたメトリックに対する改変もあるため、正確性や信頼性に疑問符が付けられる場合もあります。さらに最新バージョンのJava構文に対応できていない点も指摘されることがあります。

このCAMプロジェクトから得られる知見やデータから派生した未来予測や展望は何ですか

CAMプロジェクトから得られる知見やデータから未来予測と展望としては、「Classes and Metrics」（CAM）アーカイブは将来的にさまざまなソフトウェアエンジニアリング研究チームやオープンソースコミュニティ向けの貴重な資源として活用される可能性があります。このような豊富で整備されたデータセットは今後のソフトウェア品質管理や開発効率化手法等への洞察力強化に役立つだろう。さらにオープンソースコミュニティ自体もCAMスクリプ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​pts ​​pt 作成方法 の改善 や追加 コード メートル を 提案 するこ とう を期待 す る 。