透過手機遊戲群眾外包收集圖像偏好數據 - GameLabel-10K

核心概念

本研究探索以手機遊戲玩家作為標註員,以遊戲內虛擬貨幣作為獎勵,取代傳統的付費標註員方式收集圖像偏好數據。

摘要

本研究提出了一種新的數據收集方法,即在手機遊戲中以數據標註取代廣告。具體而言,研究團隊與手機策略遊戲《Armchair Commander》的開發者合作,將數據標註任務嵌入遊戲中,玩家可以通過完成標註任務獲得遊戲內虛擬貨幣獎勵。

研究團隊首先從一個包含10萬個擴散模型提示的數據集中篩選出3萬個合適的提示,並使用Flux-Schnell生成每個提示對應的兩張圖像。為了評估標註員的工作質量,研究團隊在數據集中加入了一些比較數據點,即一張圖像來自提示,另一張圖像來自完全不同的提示。

在遊戲中,玩家會被隨機分配到一個數據點,包含一個提示和兩張圖像,玩家需要選擇最符合提示的圖像。初始時,玩家會被分配大量的比較數據點,只有表現良好的玩家才會逐步獲得更多的普通數據點。每個玩家最多可以標註5個數據點,並根據正確率獲得遊戲內虛擬貨幣獎勵。

最終,研究團隊收集到了超過16,000個標註數據,其中約6,000個為比較數據點,剩餘的近10,000個標註組成了GameLabel-10K數據集。數據集包含7,000個唯一提示,並已在Hugging Face上公開發布。

研究團隊分析了數據集的局限性,並提出了未來改進的方向,如增加標註時間限制、設計互動式教程等,以提高數據質量。此外,研究團隊也建議探討不同類型遊戲玩家對數據質量的影響,以優化數據收集過程。

统计

總共收集到16,000個標註數據,其中6,000個為比較數據點
最終GameLabel-10K數據集包含7,000個唯一提示和近10,000個標註
平均每個標註員標註了87個數據點,標準差約194個
16名標註員貢獻了近一半的標註
單個最積極的標註員標註了超過2,000個數據點
每個標註員的平均正確率為74%,但由於低質量標註員被快速淘汰,每個數據點的平均正確率為83%
實驗的機會成本約為8美元

引用

"我們相信,在這個領域仍有很多工作要做。"
"我們假設,許多用戶並未仔細閱讀提示,導致他們選擇了錯誤的圖像。設置一個定時器可能會推動用戶優先考慮質量而非數量,從而大大提高數據質量。"
"另一個研究方向是分析用於收集數據的遊戲與收集到的數據質量之間的關係。不同遊戲的用戶人口統計特徵可能存在差異,這可能會影響他們的標註。"

从中提取的关键见解

GameLabel-10K: Collecting Image Preference Data Through Mobile Game Crowdsourcing

by Jonathan Zho... 在 arxiv.org 10-01-2024

https://arxiv.org/pdf/2409.19830.pdf

更深入的查询

除了遊戲內虛擬貨幣獎勵,是否還有其他可以吸引玩家參與數據標註的方式?

除了遊戲內虛擬貨幣獎勵，還可以考慮以下幾種方式來吸引玩家參與數據標註：

實體獎品：提供實體獎品，如遊戲周邊商品、禮品卡或其他實物獎勵，可以激勵玩家參與數據標註。這種方式能夠吸引更多玩家，尤其是對於那些對虛擬貨幣不感興趣的玩家。
成就系統：設計一個成就系統，讓玩家在完成數據標註任務後獲得成就徽章或稱號，這不僅能提升玩家的參與感，還能增強他們的遊戲體驗。
社群競賽：舉辦社群競賽，讓玩家在標註數據的過程中與其他玩家競爭，根據標註的數量或質量進行排名，並提供獎勵給表現優異的玩家。
故事情節融入：將數據標註任務融入遊戲的故事情節中，讓玩家在完成標註的同時推進遊戲劇情，這樣可以提高玩家的參與度和興趣。
社交互動：設計可以促進玩家之間互動的標註任務，例如讓玩家分享他們的標註結果或討論標註的選擇，這樣可以增強社群感和參與感。

如何設計遊戲機制,既能保證數據質量,又不會過度影響玩家的遊戲體驗?

設計遊戲機制以保證數據質量而不影響玩家的遊戲體驗，可以考慮以下幾個方面：

簡化標註流程：確保數據標註的流程簡單明瞭，避免過於複雜的操作，讓玩家能夠輕鬆上手。可以通過清晰的指示和範例來引導玩家。
引入比較數據點：使用比較數據點的方式，讓玩家在兩個明確的選項中進行選擇，這樣可以減少主觀性，提高標註的準確性。
設置時間限制：在標註過程中設置合理的時間限制，促使玩家專注於標註任務，從而提高數據質量。同時，這樣的設計不會過度影響他們的遊戲體驗。
即時反饋：提供即時反饋，讓玩家了解他們的標註準確性，這樣可以激勵他們提高標註質量。
平衡獎勵與挑戰：設計合理的獎勵機制，讓玩家在完成標註任務後獲得相應的獎勵，同時確保這些任務不會過於繁瑣或影響他們的遊戲進度。
社群參與：鼓勵玩家在標註過程中互相交流和分享，這樣不僅能提高數據質量，還能增強玩家的社群感和參與感。

除了圖像偏好數據,這種群眾外包方式是否也適用於其他類型的數據收集,如視頻分割或自然語言處理?

這種群眾外包方式確實可以適用於其他類型的數據收集，包括視頻分割和自然語言處理。具體來說：

視頻分割：可以設計遊戲任務，讓玩家在觀看視頻的同時進行標註，例如標記特定物體或行為的出現時間。這樣的設計可以使玩家在娛樂中完成數據標註，並且視頻的互動性可以提高標註的準確性。
自然語言處理：在自然語言處理方面，可以設計文字遊戲，讓玩家參與文本的標註或分類任務。例如，玩家可以在遊戲中選擇正確的詞語或短語來完成句子，這樣不僅能收集到高質量的標註數據，還能提高玩家的參與度。
情感分析：設計情感分析的標註任務，讓玩家對特定文本或對話進行情感標註，這樣可以收集到豐富的情感數據，並且玩家的主觀感受可以增強數據的多樣性。
語音數據收集：可以設計語音互動的遊戲，讓玩家在遊戲中進行語音輸入，這樣可以收集到自然語言處理所需的語音數據，並且提高數據的真實性和多樣性。

總之，通過創新設計和遊戲機制，群眾外包的數據收集方式可以靈活應用於多種數據類型，從而提高數據的質量和多樣性。