이 논문은 AI 시스템을 효과적으로 규제하기 위한 기술적 혁신 방향을 탐구한다. 공공 부문 조달 체크리스트를 통해 현재 가능한 기술적 접근법, 향후 기술 혁신이 필요한 부분, 그리고 다학제적 접근이 필요한 부분을 살펴본다.
데이터 품질 검사: 데이터 문서화, 편향 및 일반화 가능성 측정 등의 기술적 접근법이 존재하지만, 데이터 품질과 모델 성능 간 연관성 정량화, 사전 학습 모델의 데이터 품질 검사, 비정형 데이터에 대한 품질 검사 등의 추가 혁신이 필요하다.
시스템 모니터링: 다양한 지표 모니터링, 사용 사례 인증, 배포 후 모델 수정 등의 기술이 존재하지만, 많은 지표 모니터링의 효율성, 관련 없는 분포 변화 식별, 온라인 학습 에이전트 모니터링 등의 과제가 남아있다.
전역 설명: 해석 가능한 모델 구축, 대규모 모델의 부분 공개 등의 기술이 있지만, 비정형 데이터에 대한 해석 가능성, 대화형 모델 설명, 가치 정렬 측정 등의 혁신이 필요하다.
국소 설명: 근접 데이터 정의, 비해석적 데이터에 대한 설명, 데이터 출처 추적 등의 기술이 있지만, 데이터 분포 외 입력에 대한 설명, 프라이버시-설명 간 균형 등의 과제가 남아있다.
목표 설계: 다양한 목표 함수 강건성, 목표와 학습 모델 행동 간 연관성 이해 등의 기술이 있지만, 목표 함수와 실제 목표 간 연관성 측정, 다중 목표 최적화 등의 혁신이 필요하다.
프라이버시: 차등 프라이버시 등의 기술이 있지만, 프라이버시와 성능 간 균형, 프라이버시 보장 하 다양한 질의 처리 등의 과제가 남아있다.
이러한 기술적 혁신과 더불어 다학제적 접근이 필요한 부분도 있다. 데이터 품질, 공정성, 프라이버시 등의 정의와 측정은 법, 정책, 사회과학 등의 영역과 협력이 필요하다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Xudong Shen,... um arxiv.org 03-28-2024
https://arxiv.org/pdf/2306.12609.pdfTiefere Fragen