運用機器學習演算法分析 ELSA COVID-19 子研究的回應率

核心概念

機器學習演算法，特別是隨機森林和邏輯迴歸，可以用於預測調查中的無回應者，並找出影響無回應的關鍵因素，如訪談模式、地理區域和健康狀況。

摘要

文獻資訊

Qazvini, M. (2023). Analysis of ELSA COVID-19 Substudy response rate using machine learning algorithms. arXiv preprint arXiv:2411.00297.

研究目標

本研究旨在探討影響英國老齡化縱向研究 (ELSA) COVID-19 子研究第二波調查中無回應率的因素，並利用機器學習演算法預測無回應者。

研究方法

• 資料來源：ELSA COVID-19 子研究第一波和第二波調查數據，包含約 5,820 名受訪者的社會經濟、心理健康、身體健康、COVID-19 相關健康狀況、就業和人口統計等資訊。
• 機器學習模型：K 近鄰演算法 (KNN)、隨機森林 (RF)、AdaBoost、邏輯迴歸、神經網路 (NN) 和支持向量機 (SVC)。
• 模型評估指標：準確率、平衡準確率、精確率、召回率、ROC 曲線下面積 (AUC)。
• 特徵重要性分析：利用排列重要性方法識別影響回應率的關鍵因素。

主要發現

• 隨機森林模型在平衡準確率方面表現最佳，K 近鄰演算法在精確率和測試準確率方面表現最佳，邏輯迴歸在 AUC 方面表現最佳。
• 影響回應率的關鍵因素包括：訪談模式、年齡、居住地區、COVID-19 相關健康狀況、就業狀況等。

主要結論

機器學習演算法可以有效預測 ELSA COVID-19 子研究中的無回應者，並識別出影響回應率的關鍵因素。研究結果可為未來調查設計和實施提供參考，以提高回應率和數據品質。

研究意義

本研究為利用機器學習方法分析調查回應率提供了新的思路，並為理解 COVID-19 疫情對老年人群體的影響提供了數據支持。

研究限制與未來方向

• 本研究僅使用了 ELSA COVID-19 子研究的數據，未來可使用其他數據集進行驗證。
• 未來研究可探討其他機器學習演算法在預測回應率方面的應用。

統計資料

ELSA COVID-19 子研究分為兩波進行，第一波調查時間為 2020 年 6 月 3 日至 7 月 26 日，第二波調查時間為 2020 年 11 月 4 日至 12 月 20 日。
約有 5,820 名核心成員參與了第一波調查，而只有 5,594 名核心成員參與了第二波調查，回應率下降了約 4%。
線上訪談的無回應率約為 5%，而電話訪談的無回應率約為 20%。

引述

"It is argued that Statistical Organisations that carry out follow-up surveys can reduce the cost by identifying the groups who may not participate in the future study."
"Our purpose is to predict the non-responses in the 2nd wave using ML algorithms and identify the factors that affect the non-responses in the 2nd wave."

從以下內容提煉的關鍵洞見

Analysis of ELSA COVID-19 Substudy response rate using machine learning algorithms

by Marjan Qazvi... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00297.pdf

深入探究

除了訪談模式、地理區域和健康狀況外，還有哪些因素可能影響調查回應率？

除了訪談模式、地理區域和健康狀況外，還有許多其他因素可能影響調查回應率，以下列舉幾項：
人口統計學特徵:

年齡: 研究顯示，老年人和年輕人的回應率通常較低。
教育程度: 教育程度較高的人通常更願意參與調查。
收入水平: 收入較高的人可能因為時間成本高昂而較不願意參與調查。
種族和民族: 不同種族和民族的文化背景可能影響其對調查的態度和參與意願。
調查設計和執行:

調查主題: 人們對感興趣或與自身相關的主題更願意做出回應。
問卷長度和複雜性: 冗長或複雜的問卷可能會降低回應率。
調查時間和頻率: 在不適當的時間或過於頻繁地進行調查可能會導致回應率下降。
聯繫方式: 電話、郵件、網路等不同的聯繫方式會影響回應率。
是否有提供獎勵: 提供獎勵可以提高回應率，但獎勵的類型和金額也需要考慮。
其他因素:

調查疲勞: 頻繁參與調查可能會導致人們產生疲勞感，降低回應意願。
隱私和保密問題: 人們可能擔心個人資訊的隱私和保密性，從而拒絕參與調查。
對調查機構的信任度: 對調查機構缺乏信任可能會降低人們的回應意願。
社會和政治環境: 社會和政治環境的變化可能會影響人們對調查的態度和參與意願。

機器學習模型預測的無回應者是否真的會在後續調查中拒絕參與？

機器學習模型預測的無回應者 並不一定 會在後續調查中拒絕參與。機器學習模型是基於歷史數據和統計模型進行預測，預測結果存在一定的不確定性。
以下是一些可能導致預測結果與實際情況不符的原因：

數據偏差: 訓練模型所使用的歷史數據可能存在偏差，無法完全代表未來的情況。
模型誤差: 即使是訓練良好的模型也存在誤差，無法做到百分之百準確預測。
環境變化: 影響回應率的因素可能會隨著時間推移而發生變化，例如社會環境、政策變化等。
個人因素: 個人的生活狀況、態度和行為也可能發生變化，導致其在後續調查中的回應行為與預測結果不符。
因此，機器學習模型的預測結果應該被視為一種參考，而不是絕對的結果。

如何利用這些關於無回應者的資訊來設計更有效的調查策略，例如個性化邀請或後續追蹤？

了解潛在無回應者的特徵後，可以利用這些資訊設計更有效的調查策略，提高回應率：
個性化邀請:

針對不同特徵群體設計不同的邀請訊息: 例如，對於年輕人可以使用更簡潔活潑的語言，對於老年人可以使用更正式禮貌的語氣。
強調調查主題與目標群體的關聯性: 例如，如果調查對象是退休人士，可以強調調查與退休生活品質的關係。
提供多種語言版本的問卷: 方便不同語言背景的人參與調查。
後續追蹤:

針對預測的無回應者進行更積極的後續追蹤: 例如，增加電話或郵件聯繫的頻率，或提供額外獎勵鼓勵參與。
根據無回應者的特徵調整後續追蹤的方式: 例如，對於網路使用率較低的群體，可以採用電話或郵件的方式進行後續追蹤。
其他策略:

簡化問卷設計，縮短問卷長度: 降低參與調查的門檻。
提供多種問卷填答方式: 例如，線上填答、紙本問卷等，方便不同需求的受訪者參與。
加強對調查目的和資料保密性的說明: 提升受訪者對調查的信任度。
與相關機構合作，擴大調查的影響力: 例如，與社區組織、老人中心等合作，提升目標群體的參與意願。
總之，通過分析無回應者的特徵，並針對性地調整調查策略，可以有效提高調查回應率，獲取更準確、更有代表性的調查結果。