透過提問識別設計問題：探索與大型語言模型的角色扮演互動以培養設計提問技能

Centrala begrepp

透過與大型語言模型的角色扮演互動,設計學生可以培養獨立識別設計問題的能力,而不是被動地依賴教師的反饋。

Sammanfattning

本研究探索了利用大型語言模型(LLM)驅動的對話代理(CA)進行角色扮演互動,以培養初級設計學生的提問技能。研究團隊開發了一個LLM驅動的CA原型,並在真實的設計課堂上與16名初級設計學生進行了初步研究,觀察學生與LLM驅動的CA之間的互動。研究發現,雖然CA刺激了提問並減輕了提問的壓力,但也無意中導致了過度依賴LLM的回應。研究團隊提出了設計考慮因素和未來的工作,以培養提問技能。

研究發現:

1. 利用LLM打破了學生提出關鍵問題的障礙,因為LLM不是真人,學生可以更自由地提出批評性的問題。
2. 學生通過評估LLM的回應來發展更好的問題,並從之前的反饋經驗中學習如何提問。
3. 但是,一些學生只重複問同一類型的問題,無法反思自己的提問方式。
4. 學生過度依賴LLM的回應,放棄了通過提問來論證的努力。
5. 學生在將提問與設計問題的界定聯繫起來時遇到困難,因為設計問題需要留出創意解決的空間。

Statistik

"設計思維過程中,識別設計問題是得出可行解決方案的關鍵步驟,但對於設計新手來說這是一個挑戰,因為他們的知識和經驗有限。"
"提問是一項有前景的技能,可以使學生獨立識別設計問題,而不是被動地或依賴於教師。"
"LLM驅動的CA有潛力在高等教育活動中增強論證技能,如論證和個人輔導。"

Citat

"由於LLM不是真人,我試圖盡可能批評性地提問,而不會感到內疚,目的是讓它哭泣。"
"起初,我發現提問很困難,常常問廣泛的問題,這導致GPT提供冗長和可預測的回應。然後,我突然想起了我教授問的問題。我的教授會先讚美我想法的優點,然後批評較弱的部分。受此啟發,我試圖以類似的方式提問。"

Viktiga insikter från

Identify Design Problems Through Questioning: Exploring Role-playing Interactions with Large Language Models to Foster Design Questioning Skills

by Hyunseung Li... på arxiv.org 09-12-2024

https://arxiv.org/pdf/2409.07178.pdf

Djupare frågor

如何設計LLM驅動的CA,使其能夠更好地適應初級設計學生的角色,減少其過多的知識和能力?

為了設計一個更適合初級設計學生的LLM驅動的對話代理（CA），需要考慮以下幾個方面。首先，應該限制LLM的知識範圍，使其在角色扮演中能夠更好地模擬初級設計學生的思維方式。這可以通過精心設計的提示來實現，確保LLM的回答不會超出初級學生的理解能力。例如，可以設定LLM只回答基於基本設計原則的問題，而不涉及過於複雜或專業的知識。
其次，應該設計一個反饋機制，讓學生能夠在與LLM互動的過程中，逐步引導LLM的回答方向。這樣，學生可以在提問的過程中學習如何提出更具挑戰性的問題，而不僅僅依賴LLM提供的答案。最後，應該鼓勵學生在互動中進行自我反思，讓他們意識到LLM的回答是基於其設計的知識範圍，而不是一個全知的專家。這樣的設計不僅能減少學生對LLM的過度依賴，還能促進他們的批判性思維和問題解決能力。

如何幫助學生反思自己的提問,並引導他們提出適當的問題?

幫助學生反思自己的提問並引導他們提出適當問題的關鍵在於創造一個支持性和互動性的學習環境。首先，可以設計一個即時反饋系統，當學生提出問題後，LLM可以根據問題的質量（如問題的深度和廣度）給予評價和建議。這樣的反饋不僅能幫助學生識別他們的提問是否有效，還能引導他們思考如何改進問題。
其次，應該鼓勵學生在提問後進行自我評估，反思他們的問題是否能夠引導出有意義的討論或深入的思考。可以設計一些引導性問題，例如“這個問題能否引出更多的設計考量？”或“這個問題是否能夠幫助我更好地理解用戶需求？”這樣的問題能促使學生在提問過程中進行更深層次的思考。
最後，定期舉辦小組討論或工作坊，讓學生分享他們的提問經驗和反思，並從同伴的反饋中學習。這種社交學習的方式能夠增強學生的自信心，並促進他們在提問方面的成長。

如何設計LLM驅動的CA,使學生能夠將提問與設計問題的界定更好地聯繫起來?

設計LLM驅動的CA以幫助學生將提問與設計問題的界定更好地聯繫起來，可以從以下幾個方面著手。首先，CA應該具備一個清晰的設計問題框架，幫助學生理解設計問題的各個組成部分，例如用戶需求、功能要求和可行性等。這樣的框架可以作為學生提問的參考，讓他們在提問時能夠更具針對性。
其次，CA可以在學生提問的過程中，主動引導他們思考設計問題的不同方面。例如，當學生提出一個問題時，CA可以反問“這個問題是否考慮到了用戶的需求？”或“這個問題是否能夠幫助我們明確設計的目標？”這樣的引導能促使學生在提問時考慮到設計問題的全貌。
此外，設計一個迭代的提問過程也非常重要。學生可以在與CA的互動中，逐步修正和完善他們的問題，並在每次互動後重新評估他們的設計問題。這種迭代的過程不僅能幫助學生更好地理解設計問題，還能促進他們的批判性思維和創造力。
最後，應該鼓勵學生在提問的過程中，記錄他們的思考過程和所得到的答案，並在後續的設計階段中進行反思和應用。這樣的設計不僅能幫助學生將提問與設計問題的界定緊密聯繫起來，還能促進他們在設計過程中的持續學習和成長。