대규모 언어 모델을 활용한 지속 가능한 도시 구축을 위한 ISO 37101 표준 평가 매핑

핵심 개념

대규모 언어 모델(LLM)을 활용하여 ISO 37101 표준 프레임워크를 기반으로 도시 지속 가능성 이니셔티브를 평가하는 자동화된 프로세스를 통해 도시 계획의 효율성과 효과를 향상시킬 수 있다.

초록

대규모 언어 모델을 활용한 지속 가능한 도시 구축을 위한 ISO 37101 표준 평가 매핑 분석

본 연구 논문은 대규모 언어 모델(LLM)을 활용하여 ISO 37101 표준 프레임워크를 기반으로 도시 지속 가능성 이니셔티브를 평가하는 자동화된 프로세스를 제시합니다.

ISO 37101 프레임워크에 따라 도시 지속 가능성 이니셔티브를 자동으로 분류하고 평가하기 위해 LLM을 사용하는 접근 방식을 개발하고 테스트합니다.
도시 계획의 사일로 현상을 타파하고 보다 전체적이고 교차 부문적인 지속 가능성 전략을 가능하게 하는 이 접근 방식의 잠재력을 모색합니다.
다양한 도시 환경 및 데이터 소스에서 이 방법의 유용성, 확장성 및 적응성을 조사합니다.

본 연구에서는 6x12 매트릭스를 사용하여 지속 가능성을 평가하는 구조화된 접근 방식을 제공하는 ISO 37101 프레임워크를 기반으로 합니다. 6가지 지속 가능성 목적(매력성, 환경 보존 및 개선, 회복성, 책임 있는 자원 사용, 사회적 응집력, 웰빙)은 이 매트릭스의 한 축을 형성합니다. 12가지 지속 가능성 이슈(거버넌스, 교육, 혁신, 건강, 문화, 공동체 생활, 경제, 생활 및 근무 환경, 안전, 인프라, 이동성, 생물 다양성)는 다른 축을 형성합니다. 이 방법론을 통해 각 이니셔티브가 12가지 이슈 영역에서 6가지 목적에 어떻게 기여하는지 고려하여 커뮤니티 이니셔티브를 종합적으로 평가할 수 있습니다.
LLM 및 프롬프트 선택
gpt-3.5-turbo가 기본 LLM으로 선택되었으며, 추가 테스트에는 다른 로컬 모델(llama2, mistral 등)이 사용되었습니다. gpt-3.5-turbo를 선택한 이유는 복잡한 관계를 이해하고 미묘한 차이가 있는 응답을 생성하는 입증된 기능과 JSON 구조 데이터를 얻기 위해 "함수 호출"을 사용하는 기능 때문입니다. 이 접근 방식은 나중에 더 최근 모델(특히 최신 OpenAI 4o-mini 모델)로 이식할 수 있습니다. 다양한 데이터 세트로 학습된 방대한 지식 기반을 통해 일반적인 관점에서 다양한 도시 프로젝트 설명을 해석하는 데 적합합니다.
데이터 세트
실험을 위해 두 가지 출처의 데이터 세트가 사용되었습니다.

파리 시민 참여 예산 프로젝트: 2014년에서 2022년 사이에 시민들이 제안하고 투표한 이니셔티브를 포괄하는 파리시 공개 데이터 포털의 527개 프로젝트 하위 집합입니다.
PROBONO 프로젝트 활동: 유럽 6개 도시의 친환경 건축 지역 및 리빙랩에 중점을 둔 PROBONO Horizon 2020 프로젝트의 398개 활동 하위 집합과 6개 리빙랩에 대한 비전을 검토합니다.

데이터 처리 및 분석
Python으로 작성된 데이터 추출 스크립트를 사용하여 프로젝트 제목, 설명, 예산 할당 및 구현 상태를 수집했습니다. 수집된 데이터는 다음 단계를 거쳐 처리 및 분석되었습니다.

데이터 전처리: 프로젝트 설명을 정리하고 일관성을 위해 형식을 지정했습니다.
LLM 분석: 각 프로젝트 설명은 사용자 지정 프롬프트와 함께 LLM에 입력되어 6x12 프레임워크에 해당하는 일관되고 구조화된 데이터를 수신합니다.
집계: 패턴과 추세를 식별하기 위해 프로젝트 전반에 걸쳐 결과를 집계합니다.
시각화 및 보고서 생성: 분석 결과를 기반으로 시각화 및 Excel 형식의 보고서를 생성합니다.

핵심 통찰 요약

Using Large Language Models for a standard assessment mapping for sustainable communities

by Jonveaux Luc 게시일 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00208.pdf

더 깊은 질문

LLM 기반 평가 시스템의 투명성과 설명 가능성을 어떻게 개선하여 도시 계획 프로세스에 대한 대중의 신뢰를 높일 수 있을까요?

LLM 기반 평가 시스템은 도시 계획 프로세스의 효율성을 높일 수 있는 잠재력을 지니고 있지만, 시스템의 복잡성으로 인해 대중의 신뢰를 얻는 데 어려움을 겪을 수 있습니다. 따라서 시스템의 투명성과 설명 가능성을 개선하여 대중의 이해와 참여를 높이는 것이 중요합니다.
다음은 LLM 기반 평가 시스템의 투명성과 설명 가능성을 개선하기 위한 몇 가지 방법입니다.

평가 과정 및 기준 공개: LLM 모델이 도시 지속 가능성 이니셔티브를 평가하는 데 사용하는 데이터, 알고리즘, 평가 기준 등을 명확하게 공개해야 합니다. 이는 시스템의 의사 결정 과정을 이해 관계자들에게 투명하게 보여주고, 시스템의 공정성과 객관성에 대한 신뢰를 높일 수 있습니다. 예를 들어, ISO 37101 프레임워크의 각 항목에 대한 LLM의 평가 근거를 이해하기 쉬운 형태로 제공하고, 사용자가 특정 평가 결과에 영향을 미친 요인을 확인할 수 있도록 시각화 도구를 제공할 수 있습니다.
설명 가능한 AI (XAI) 기술 활용: LLM 모델의 의사 결정 과정을 설명 가능하도록 만드는 XAI 기술을 활용할 수 있습니다. 예를 들어, LLM이 특정 결론에 도달한 이유를 설명하는 시각화 자료나 요약 보고서를 생성하거나, 사용자가 LLM의 의사 결정 과정에 개입하여 특정 변수의 영향을 테스트할 수 있는 인터페이스를 제공할 수 있습니다.
시민 참여 및 피드백 장려: 도시 계획 프로세스 전반에 걸쳐 시민들의 참여를 장려하고, LLM 기반 평가 시스템에 대한 피드백을 적극적으로 수렴해야 합니다. 시민들의 의견을 수렴하고 이를 시스템 개선에 반영함으로써 시스템의 투명성과 설명 가능성을 높이고, 시민들의 신뢰를 얻을 수 있습니다. 예를 들어, 온라인 플랫폼이나 공개 포럼을 통해 LLM 기반 평가 시스템에 대한 의견을 수렴하고, 시민들이 직접 시스템을 사용해 볼 수 있는 기회를 제공할 수 있습니다.
지속적인 모니터링 및 검증: LLM 기반 평가 시스템을 지속적으로 모니터링하고 검증하여 시스템의 성능과 공정성을 유지해야 합니다. 정기적인 감사를 통해 시스템의 편향이나 오류를 식별하고 수정하고, 시스템의 투명성을 유지하기 위해 노력해야 합니다.

LLM이 도시 지속 가능성 이니셔티브를 평가하는 데 사용될 때 발생할 수 있는 잠재적인 편견이나 공정성 문제는 무엇이며 이를 어떻게 완화할 수 있을까요?

LLM은 방대한 데이터를 기반으로 학습되기 때문에, 학습 데이터에 존재하는 편견이 LLM의 평가 결과에 반영될 수 있습니다. 이는 특정 지역이나 사회 집단에 불리하게 작용하여 도시 계획의 공정성을 저해할 수 있습니다.
다음은 LLM 기반 평가 시스템에서 발생할 수 있는 잠재적인 편견이나 공정성 문제와 이를 완화하기 위한 방안입니다.

데이터 편향: LLM의 학습 데이터가 특정 지역, 인구 집단, 또는 유형의 프로젝트에 편중되어 있을 경우, 시스템이 특정 집단에게 유리하거나 불리한 평가 결과를 도출할 수 있습니다.

완화 방안: 다양한 출처의 데이터를 수집하고, 데이터 증강 기법을 활용하여 특정 집단에 대한 편향을 최소화해야 합니다. 또한, 평가 기준을 설정할 때 사회적 약자를 고려하고, 다양한 사회 집단의 의견을 반영해야 합니다.

평가 지표의 편향: 도시 지속 가능성을 측정하는 데 사용되는 지표 자체가 특정 가치관이나 이해관계를 반영하여 특정 집단에 불리하게 작용할 수 있습니다.

완화 방안: 사회적 형평성을 고려한 지표를 개발하고, 다양한 이해관계자들의 의견을 반영하여 지표의 객관성을 확보해야 합니다. 예를 들어, 경제적 효율성뿐만 아니라 사회적 형평성, 환경 정의 등을 고려한 지표를 개발하고, LLM이 특정 지표에 지나치게 의존하지 않도록 균형 잡힌 평가를 수행하도록 유도해야 합니다.

모델 해석의 편향: LLM 모델의 복잡성으로 인해 특정 평가 결과가 도출된 이유를 명확하게 설명하기 어려울 수 있으며, 이는 특정 집단에 대한 편견이나 차별을 은폐하는 데 악용될 수 있습니다.

완화 방안: 설명 가능한 AI (XAI) 기술을 활용하여 LLM 모델의 의사 결정 과정을 투명하게 공개하고, 평가 결과에 대한 책임 소재를 명확히 해야 합니다. 또한, 시민들이 LLM 기반 평가 시스템의 결과를 이해하고 검증할 수 있도록 교육 및 참여 프로그램을 제공해야 합니다.

LLM 기반 평가 시스템을 도시 계획 교육 및 커리큘럼에 통합하여 미래 세대의 도시 계획자가 지속 가능한 도시 개발 원칙을 이해하고 적용하도록 어떻게 장려할 수 있을까요?

LLM 기반 평가 시스템은 도시 계획 교육에 새로운 가능성을 제시하며, 미래 세대의 도시 계획자가 지속 가능한 도시 개발 원칙을 이해하고 실제 계획에 적용할 수 있도록 교육하는 데 활용될 수 있습니다.

LLM 기반 시뮬레이션 및 게임: 도시 계획 교육 과정에 LLM 기반 시뮬레이션이나 게임을 도입하여 학생들이 다양한 도시 계획 시나리오를 경험하고, LLM을 활용하여 계획의 지속 가능성을 평가해 볼 수 있도록 합니다. 예를 들어, 가상 도시 환경에서 학생들에게 특정 개발 목표를 제시하고, LLM 기반 평가 시스템을 활용하여 계획의 지속 가능성을 평가하고 개선하는 과정을 경험하도록 할 수 있습니다.
LLM 기반 사례 연구 및 분석: 실제 도시 계획 사례를 LLM 기반 평가 시스템으로 분석하고, 그 결과를 교육 자료로 활용하여 학생들이 지속 가능한 도시 개발 원칙을 실제 사례에 적용하는 방법을 배울 수 있도록 합니다. 또한, LLM을 활용하여 과거 도시 계획 사례의 장단점을 분석하고, 이를 바탕으로 미래 도시 계획의 방향을 모색하는 연구를 수행하도록 장려할 수 있습니다.
LLM 기반 협업 도구 개발: 학생들이 LLM 기반 평가 시스템을 활용하여 협업적으로 도시 계획 프로젝트를 수행할 수 있는 온라인 플랫폼을 개발합니다. 이러한 플랫폼을 통해 학생들은 서로의 아이디어를 공유하고, LLM의 피드백을 받아 계획을 개선하며, 지속 가능한 도시 개발에 대한 이해를 높일 수 있습니다.
LLM 윤리 교육: LLM 기반 평가 시스템의 잠재적인 편견이나 공정성 문제를 다루는 교육을 통해 학생들이 책임감을 가지고 LLM을 활용할 수 있도록 지도해야 합니다. LLM 기술의 한계와 윤리적 쟁점에 대한 교육을 통해 학생들이 LLM을 비판적으로 이해하고, 도시 계획 분야에서 LLM을 책임감 있게 활용할 수 있도록 해야 합니다.

결론적으로 LLM 기반 평가 시스템은 도시 계획 분야의 지속 가능성을 평가하고 개선하는 데 유용한 도구가 될 수 있습니다. 하지만 시스템의 투명성, 공정성, 그리고 윤리적인 측면을 신중하게 고려하여 개발하고 활용해야 합니다.