제약된 강화 학습에서 피드백을 통한 안전성 확보: 효율적인 비용 함수 학습 및 전이 학습 접근 방식

핵심 개념

본 논문에서는 제약된 강화 학습에서 안전하지 않은 행동을 나타내는 비용 함수를 명시적으로 설계하는 것이 어려운 문제를 해결하기 위해, 외부 평가자의 피드백을 통해 비용 함수를 학습하는 효율적인 알고리즘인 RLSF를 제안합니다. RLSF는 궤적 단위 피드백을 사용하여 상태-행동 쌍의 안전성을 학습하고, novelty-based sampling 방법을 통해 평가자의 부담을 줄이며, 학습된 비용 함수를 다른 형태의 에이전트에게 전이하여 새로운 작업에 적용할 수 있도록 합니다.

초록

제약된 강화 학습에서 피드백을 통한 안전성 확보

본 논문에서는 제약된 강화 학습 (Constrained Reinforcement Learning) 환경에서 에이전트의 안전성을 보장하기 위해 외부 평가자의 피드백을 사용하여 숨겨진 비용 함수를 학습하는 새로운 알고리즘인 RLSF (Reinforcement Learning from Safety Feedback)를 제안합니다.

안전이 중요한 강화 학습 문제에서는 에이전트가 안전하지 않은 행동을 하지 않도록 제약 조건을 추가하는 것이 중요합니다. 이러한 제약 조건은 일반적으로 비용 함수로 표현되며, 에이전트는 보상을 최대화하는 동시에 비용을 최소화하도록 학습됩니다. 그러나 자율 주행과 같이 복잡한 환경에서는 모든 안전하지 않은 행동을 포괄하는 비용 함수를 설계하는 것이 매우 어렵습니다.

RLSF는 외부 평가자의 피드백을 사용하여 숨겨진 비용 함수를 학습하는 알고리즘입니다.
1. 데이터/피드백 수집 단계

에이전트는 현재 정책을 사용하여 환경에서 행동을 수행하고, 이를 통해 궤적을 생성합니다.
생성된 궤적 중 일부를 선택하여 평가자에게 제공하고, 평가자는 각 궤적에 대한 안전성 여부를 피드백으로 제공합니다.
수집된 궤적과 피드백은 별도의 버퍼에 저장됩니다.
2. 제약 조건 추론/정책 개선 단계

수집된 피드백 데이터를 사용하여 비용 함수를 추정합니다.
추정된 비용 함수와 수집된 궤적을 사용하여 정책을 개선합니다.
피드백 수집 방식

평가자는 먼저 전체 궤적을 관찰한 후, 궤적을 일정 길이 (k)의 세그먼트로 나누어 각 세그먼트에 대한 피드백을 제공합니다.
세그먼트의 길이는 환경의 복잡도에 따라 조정될 수 있습니다.
평가자는 세그먼트 내에서 에이전트가 단 한 번이라도 안전하지 않은 상태에 도달하면 해당 세그먼트를 안전하지 않다고 분류합니다.
비용 함수 추론

RLSF는 수집된 피드백 데이터를 사용하여 각 상태-행동 쌍에 대한 안전 확률을 추정합니다.
이를 위해 궤적 수준에서의 안전 확률 추론 문제를 상태 수준에서의 이진 분류 문제로 변환하는 surrogate loss 함수를 사용합니다.
surrogate loss 함수는 noisy label을 갖는 이진 분류 문제로 볼 수 있으며, 충분한 데이터가 주어지면 안전한 상태와 안전하지 않은 상태를 구분할 수 있습니다.
효율적인 궤적 샘플링

RLSF는 novelty-based sampling 방법을 사용하여 평가자에게 피드백을 요청할 궤적을 선택합니다.
Novelty-based sampling은 이전에 관찰되지 않은 새로운 궤적을 우선적으로 선택하여 피드백을 수집합니다.
이를 통해 평가자의 부담을 줄이고, 효율적으로 비용 함수를 학습할 수 있습니다.
정책 최적화

데이터 수집 단계에서 수집된 궤적과 해당 보상, 그리고 추론된 비용 함수를 사용하여 정책을 업데이트합니다.
본 논문에서는 PPO-Lagrangian 알고리즘을 사용하여 정책을 업데이트합니다.

핵심 통찰 요약

Safety through feedback in Constrained RL

by Shashank Red... 게시일 arxiv.org 11-06-2024

https://arxiv.org/pdf/2406.19626.pdf

더 깊은 질문

RLSF 알고리즘을 실제 로봇에 적용하여 실험을 진행한다면 어떤 문제점이 발생할 수 있으며, 이를 해결하기 위한 방안은 무엇일까요?

RLSF 알고리즘을 실제 로봇에 적용할 경우 발생할 수 있는 문제점과 해결 방안은 다음과 같습니다.
1. 현실 세계의 복잡성 및 불확실성:

문제점: RLSF는 시뮬레이션 환경에서 학습됩니다. 실제 로봇 적용 시 센서 노이즈, 예측 불가능한 환경 변화, 시뮬레이션과 실제 환경 간의 차이 등으로 인해 성능이 저하될 수 있습니다.
해결 방안:

Robust Policy Optimization: 센서 노이즈 및 환경 변화에 강건한 정책 학습 기법(예: domain randomization, adversarial training) 도입.
Sim-to-Real Transfer: 시뮬레이션과 실제 환경 간의 차이를 줄이기 위한 기법(예: domain adaptation, progressive transfer learning) 적용.
Real-World Data Augmentation: 실제 로봇 데이터를 활용하여 시뮬레이션 환경을 보강하고 다양한 상황을 학습.
2. 안전성 보장의 어려움:

문제점: 실제 로봇은 예측 불가능한 상황에 직면할 수 있으며, 학습되지 않은 상황에서 안전하지 않은 행동을 할 가능성이 존재합니다.
해결 방안:

Safety Layer Design: RLSF 정책 위에 안전을 보장하는 별도의 안전 레이어(예: rule-based system, safety controller)를 설계하여 위험 상황 감지 및 예방.
Human-in-the-Loop Learning: 초기 학습 단계 또는 예측 불가능한 상황에서 사람의 개입(예: teleoperation, corrective feedback)을 통해 안전성 확보 및 학습 효율 향상.
Formal Verification: RLSF 정책에 대한 formal verification 기법을 활용하여 안전성을 수학적으로 검증하고 안전하지 않은 행동을 유발하는 조건 분석 및 개선.
3. 효율적인 데이터 수집 및 학습:

문제점: 실제 로봇을 이용한 데이터 수집은 시간과 비용이 많이 소요됩니다. 제한된 데이터로 효율적인 학습 방법 필요.
해결 방안:

Active Learning: RLSF 알고리즘이 불확실성이 높거나 중요하다고 판단되는 상황에서 선택적으로 사람의 피드백을 요청하여 데이터 효율성 향상.
Imitation Learning: 초기 정책 학습에 모방 학습(demonstration data 활용)을 활용하여 학습 속도를 높이고 안전한 행동을 유도.
Transfer Learning: 기존에 학습된 유사 작업의 정책이나 지식을 전이하여 새로운 작업 학습에 필요한 데이터 양 감소.
4. 하드웨어 제약:

문제점: 실제 로봇은 제한된 배터리 용량, 연산 능력 등 하드웨어적 제약을 가지고 있습니다.
해결 방안:

Lightweight RL Algorithm: 경량화된 RL 알고리즘(예: model compression, knowledge distillation)을 사용하여 로봇의 제한된 자원 내에서 효율적으로 동작하도록 설계.
Edge Computing: 로봇의 일부 계산을 엣지 서버로 분산하여 실시간 처리 및 배터리 소모 문제 완화.
5. 윤리적 고려:

문제점: RLSF 학습 과정에서 발생할 수 있는 예상치 못한 상황, 특히 사람이나 재산에 피해를 줄 수 있는 상황에 대한 윤리적 책임 문제 발생 가능.
해결 방안:

Ethical Guidelines: 로봇의 행동 및 의사 결정 과정에 대한 명확한 윤리 지침 마련.
Responsibility Ascription: 문제 발생 시 책임 소재를 명확히 하기 위한 법적 및 사회적 합의 필요.

사람의 주관적인 판단이 개입될 수 있는 상황에서 평가자의 피드백 데이터의 신뢰성을 어떻게 확보할 수 있을까요?

사람의 주관적인 판단이 개입되는 상황에서 평가자의 피드백 데이터의 신뢰성을 확보하는 것은 매우 중요한 문제입니다. 다음과 같은 방법들을 통해 신뢰성을 향상시킬 수 있습니다.
1. 명확하고 일관된 평가 지침 제공:

평가 기준 명확화: 평가자가 무엇을 기준으로 안전하다고 판단해야 하는지 명확하고 구체적인 지침을 제공해야 합니다. 예를 들어, "차선 변경 시 다른 차량과의 안전 거리를 유지하는가?" 와 같이 객관적인 기준 제시가 필요합니다.
평가 척도의 일관성 유지: 단순히 "안전하다/안전하지 않다" 와 같은 이분법적 평가보다는, "매우 안전", "안전", "보통", "위험", "매우 위험" 과 같이 등급을 세분화하여 평가의 일관성을 높일 수 있습니다.
평가 지침 교육: 평가 지침에 대한 충분한 교육 및 예시를 통해 평가자 간의 이해도 및 판단 기준을 일치시키는 과정이 필요합니다.
2. 다수의 평가자 활용 및 교차 검증:

다수 평가자 의견 종합: 여러 명의 평가자로부터 피드백을 수집하고, 다수결 또는 평균값 등을 활용하여 주관적인 편향을 줄일 수 있습니다.
평가자 간 신뢰도 분석: Fleming-Pierson kappa coefficient와 같은 통계적 방법을 사용하여 평가자 간의 일치도를 측정하고, 일관성이 낮은 평가자를 식별하여 재교육하거나 평가에서 제외할 수 있습니다.
평가자-에이전트 페어링: 특정 평가자가 특정 에이전트에 대해 편향된 평가를 내리는 것을 방지하기 위해, 평가자와 에이전트를 무작위로 연결하여 데이터를 수집하는 것이 좋습니다.
3. 객관적인 지표 활용 및 결합:

보조 지표 활용: 사람의 주관적인 평가 외에도, 안전 거리, 충돌 횟수, 속도 제한 준수율 등 객관적으로 측정 가능한 지표들을 함께 활용하여 평가의 신뢰성을 높일 수 있습니다.
주관적 평가와 객관적 지표의 결합: 사람의 주관적인 평가와 객관적인 지표를 함께 사용하여 모델을 학습시키는 방법을 고려할 수 있습니다. 예를 들어, 객관적인 지표를 기반으로 안전 점수를 예측하는 모델을 학습시키고, 사람의 주관적인 평가를 통해 모델을 보정하는 방식으로 사용 가능합니다.
4. 피드백 과정의 투명성 확보:

평가 근거 기록: 평가자가 특정 상황을 왜 안전/불안전하다고 판단했는지에 대한 구체적인 이유를 함께 기록하도록 하여, 개발자가 평가 결과를 더 잘 이해하고 모델 개선에 활용할 수 있도록 합니다.
피드백 시각화: 에이전트의 행동 및 평가 결과를 시각화하여 평가자에게 피드백을 제공하고, 스스로 평가 기준을 교정하고 일관성을 유지하도록 유도합니다.
5. 지속적인 평가 시스템 구축:

피드백 메커니즘 구현: RLSF 모델 학습 과정뿐만 아니라, 실제 환경 적용 후에도 사용자로부터 지속적으로 피드백을 수집하고 분석하는 시스템을 구축하여 모델을 개선하고 평가 기준을 보완합니다.
평가 지표 및 기준 업데이트: 새로운 상황 및 데이터에 기반하여 평가 지표 및 기준을 주기적으로 업데이트하고, 평가자에게 최신 정보를 제공하여 평가의 정확성을 유지합니다.

RLSF 알고리즘을 활용하여 학습된 안전한 인공지능 에이전트가 윤리적인 딜레마에 직면했을 때, 이를 해결하기 위한 프레임워크는 무엇이 있을까요?

RLSF 알고리즘으로 학습된 에이전트가 윤리적 딜레마에 직면했을 때 해결 프레임워크는 다음과 같습니다.
1. 윤리적 규칙 명시적 학습 (Explicit Ethical Rule Learning):

윤리 규칙 정의 및 데이터셋 구축: RLSF 학습 과정에서 안전뿐만 아니라 윤리적 측면을 고려한 규칙들을 정의하고, 이를 학습할 수 있는 데이터셋을 구축합니다. 예를 들어, 자율주행 시 보행자 보호, 신호 준수, 개인 정보 보호 등과 관련된 규칙 및 상황 데이터를 포함합니다.
RLSF 프레임워크 확장: 기존의 보상 함수와 제약 조건에 더하여 윤리적 규칙 준수를 위한 새로운 보상 함수 또는 제약 조건을 추가하여 RLSF 알고리즘을 확장합니다.
다중 목표 학습: 안전, 효율, 윤리 등 여러 목표를 동시에 최적화하는 다중 목표 강화 학습(Multi-objective Reinforcement Learning) 기법을 활용하여 딜레마 상황에서 최적의 행동을 선택하도록 유도합니다.
2. 가치 정렬 기법 활용 (Value Alignment Techniques):

인간 가치관 학습: 인간의 행동 데이터, 설문 조사, 전문가 피드백 등을 활용하여 인간의 가치관을 학습하고 이를 에이전트의 목표 함수에 반영합니다. Inverse Reinforcement Learning (IRL), Preference Learning 등을 활용 가능합니다.
가치 정렬 보상 함수 설계: 학습된 인간 가치관을 바탕으로 에이전트의 행동을 평가하고 보상하는 새로운 보상 함수를 설계합니다. 예를 들어, 인간에게 도움이 되는 행동에 대해서는 높은 보상을, 해를 끼치는 행동에 대해서는 낮은 보상을 부여합니다.
Cooperative Inverse Reinforcement Learning (CIRL): 인간과 에이전트가 협력적으로 상호 작용하면서 인간의 가치관을 학습하고, 이를 에이전트의 행동에 반영하는 CIRL 기법을 활용할 수 있습니다.
3. 설명 가능한 인공지능 활용 (Explainable AI):

행동 이유 설명: 에이전트가 특정 행동을 선택한 이유를 사람이 이해할 수 있는 방식으로 설명하도록 하여, 윤리적 딜레마 상황에서 에이전트의 의사 결정 과정에 대한 신뢰도를 높입니다.
Attention Mechanism, Saliency Map: 어떤 입력 정보가 에이전트의 의사 결정에 가장 큰 영향을 미쳤는지 시각적으로 보여주는 Attention Mechanism이나 Saliency Map 등을 활용하여 설명 가능성을 향상시킬 수 있습니다.
Decision Tree, Rule-based Explanation: 에이전트의 의사 결정 과정을 사람이 이해하기 쉬운 Decision Tree나 Rule-based model로 변환하여 설명하는 방법도 고려할 수 있습니다.
4. 책임 소재 및 사회적 합의 (Accountability and Social Consensus):

윤리적 책임 주체 명확화: 에이전트 개발자, 사용자, 정책 결정자 등 누가 에이전트의 윤리적 행동에 대한 책임을 져야 하는지 명확히 규정해야 합니다.
사회적 합의 및 규제 마련: 자율 시스템의 윤리적 딜레마 상황에 대한 사회적 합의를 도출하고, 이를 바탕으로 관련 법률 및 규제를 마련해야 합니다.
지속적인 모니터링 및 평가: 에이전트의 행동을 지속적으로 모니터링하고 평가하여 윤리적 문제 발생 여부를 점검하고, 필요에 따라 시스템을 개선하거나 규제를 강화해야 합니다.
5. 인간-AI 협업 모델 구축 (Human-AI Collaboration):

인간의 감독 및 판단 강화: 윤리적 딜레마 상황에서 에이전트가 독단적으로 결정을 내리지 않고, 인간의 감독 하에 최종 결정을 내리도록 시스템을 설계합니다.
인간-AI 공동 책임 모델: 인간과 AI가 협력하여 의사 결정을 내리고, 그 결과에 대한 책임을 공동으로 부담하는 모델을 구축합니다.
상호 학습 및 발전: 인간과 AI가 상호 작용을 통해 서로의 강점을 배우고 약점을 보완하면서 윤리적 딜레마 상황에 대한 더 나은 해결 방안을 찾도록 유도합니다.