인간은 타인을 관찰함으로써 새로운 기술을 습득하곤 하는데, 관찰된 행동이 환경(environment) 내에서 합리적으로 행동하는 방법을 암묵적으로 드러내기 때문입니다. 그러나 이종 집단에서 수집된 관찰 결과는 상충하는 행동 신호를 유입시켜 어떤 행동을 모방할 가치가 있는지 판단하기 어렵게 만듭니다. 우리는 서로 다른 목표를 추구하는 실증자(demonstrator)들의 이종 집단으로부터 보편적으로 유용한 행동을 추출하는 사회적 학습 방식인 GRID(General Reward Inference and Disentanglement)를 통해 이러한 과제를 해결합니다. GRID는 정보 병목(information bottleneck)을 활용하여 에이전트(agent)별 보상(reward) 함수를 모든 에이전트 간에 공유되는 행동을 포착하는 일반 보상과, 개별 선호 및 목표를 포착하는 특정 보상으로 분해합니다. 일반 보상만으로 학습(training)하는 방식은 제너럴리스트 사전학습의 새로운 패러다임을 제공합니다. 이는 기존의 실증 기반 학습(learning from demonstration) 기법들을 저해하는 모드 평균화 바이어스(mode-averaging bias) 없이, 안전성 및 기본 과업 숙련도와 같은 보편적인 환경 역량을 내재화한 제너럴리스트 에이전트를 산출합니다. 이 제너럴리스트는 학습 과정에서 보지 못한 선호를 포함한 다운스트림 과업으로의 미세조정(fine-tuning)을 위한 강력한 사전 분포(prior) 역할을 합니다. 합성 기저 함수 분해, 멀티 에이전트 Craftax, 연속 제어 과업(MuJoCo Gym) 및 자율주행 시뮬레이터(Highway-Env) 전반에 걸친 실험을 통해 GRID가 의미론적으로 유의미한 방식으로 보상 구조를 성공적으로 얽힘 해제(disentangle)하고, 표준 실증 기반 학습 베이스라인들을 능가하며, 더욱 효율적이고 안정적인 특화(specialization)를 가능하게 함을 확인했습니다.
기계 고장 탐지(MFD)는 여전히 지도학습에 크게 의존하며, 실제 환경에서는 고장 레이블이 부족해 어려움을 겪는다. 강화학습(RL)은 열화의 순차적 특성을 모델링할 수 있는 프레임워크를 제공하지만, 현재의 ``RL 기반'' MFD 방법들은 문제를 정적 문맥적 밴딧(CB) 공식화로 축소한다. 상태 전이를 무시하고 시간적 할인 인자를 버림으로써, 이들은 표준 지도 분류로 퇴화한다. 우리는 MFD를 오프라인 역강화학습(IRL) 문제로 다루는 적대적 역강화학습(AIRL) 프레임워크를 제안한다. 정적 오차 여백에 의존하는 재구성 기반 접근법이나 역학을 무시하는 CB와 달리, 우리 방법은 관측 상태 전이로부터 본질적인 "건강" 보상을 직접 복원하며, 수동 보상 설계나 고장 레이블이 모두 필요하지 않다. 세 가지 고장까지 운전(run-to-failure) 벤치마크(HUMS2023, IMS, XJTU-SY)에서 AIRL은 모든 데이터셋에서 포화되지 않은 탐지 후 일관성을 달성한 유일한 방법이며, CB 베이스라인은 점진적 열화를 탐지하지 못하고 재구성 모델은 항상 이상 상태로 붕괴한다. 코드 및 데이터: https://github.com/dhirajneupane/AIRL-MFD-DN.
우리는 왜곡 리스크메트릭(distortion riskmetrics)으로 특징지어지는 광범위한 리스크 목적 함수 하에서 에이전트의 리스크 선호를 유도하고 정책을 최적화하기 위해 역강화학습(IRL)과 강화학습(RL)을 통합하는 노이즈 강건 유도-최적화 프레임워크를 제안한다. 유도 측면에서, 우리는 에이전트가 확률적(stochastic)이고 차선(suboptimal)인 행동을 취하는 것을 명시적으로 허용하면서, 노이즈가 있는 관측된 의사결정으로부터 에이전트의 잠재적(latent) 리스크 목적을 추론하는 적응형 베이지안 IRL 방법을 제안한다. 우리는 후보 클래스 내에서 선호되는 왜곡 리스크메트릭을 식별하는 유한한 구별 질문(distinguishing questions) 집합의 존재를 확립하고, 일반적인 설정 하에서 알고리즘의 수렴 속도가 $O(\exp(-cm+O(\sqrt{m\log m})))$ 차수임을 증명한다. 여기서 $c>0$은 상수이고 $m$은 알고리즘 반복 횟수를 나타낸다. 최적화 측면에서, 우리는 조건부 왜곡 리스크메트릭 하에서 정책을 최적화하기 위한 모델-자유(model-free) RL 알고리즘을 개발한다. 목적 함수를 왜곡 함수에 대한 조건부 비용 분위(quantile) 함수의 적분으로 표현함으로써, 이 방법은 왜곡-리스크메트릭 목적 함수들을 통합한다. 우리는 정책, 가치(value), 및 분위 신경망을 갖춘 Proximal Policy Optimization (PPO) 알고리즘을 확장하여 다양한 리스크 목적 함수를 최적화하며, 여기서 분위 네트워크는 전체 조건부 비용 분위 함수를 추정하고 일반적인 리스크 목적 함수의 수치적 평가를 가능하게 한다. 포괄적인 실증 연구는 복잡한 금융 환경에서 이 프레임워크의 유도 정확도와 효과를 입증한다.
역강화학습(Inverse Reinforcement Learning)은 전문가 시연으로부터 보상 함수를 복원하지만, 표준적인 정식화는 모든 시연이 단일 전문가로부터 나온다고 가정한다. 서로 다른 선호를 가진 다수의 전문가로부터 시연이 취합될 경우, 모수적(parametric) 방법은 어떤 개별 전문가에도 잘 맞지 않는 평균화된 보상을 복원한다. 우리는 보상 함수에 대한 디리클레 프로세스(Dirichlet Process) 사전 분포를 사용하는 비모수 베이지안 역강화학습을 구현하여, 잠재적 보상 유형의 수를 보상 자체와 함께 공동으로 추론할 수 있게 한다. 추론은 클러스터 할당을 위한 중국식 식당 프로세스(Chinese Restaurant Process) 업데이트와 보상 가중치를 위한 메트로폴리스-헤이스팅스(Metropolis-Hastings) 업데이트를 결합한 축약 깁스 샘플러(collapsed Gibbs sampler)를 사용하며, 내부 계획 루틴으로 소프트 가치 반복(soft value iteration)을 활용한다. 우리는 두 가지 및 세 가지 실제 보상 유형을 갖는 10×10 ObjectWorld 그리드에서 평가를 수행한다. 직렬 샘플러는 K=2에서 조정 랜드 지수(Adjusted Rand Index) 1.000으로 보상을 복원하며, 최대 엔트로피 역강화학습 기준선(ARI=0.000)을 크게 능가한다. K=3으로의 확장 실험에서는 샘플러가 모든 실험에서 클러스터 수를 정확히 식별하는 것을 보여주지만, 할당 ARI 0.48~0.58은 그리드 인스턴스 전반에 걸쳐 지속되는 전문가 유형 간의 행동적 중첩을 반영하며, ObjectWorld에서 신뢰할 수 있는 K=3 평가를 위해서는 무작위 시딩(random seeding)이 아닌 통제된 객체 배치가 필요함을 드러낸다. 또한 HPC 하드웨어에서 Ray를 활용하여 샘플러를 CPU 코어 전반에 병렬화하고, 8개의 워커에서 최대 4.79배의 속도 향상을 달성하며, 상태 집계 시 사용되는 합의 병합 휴리스틱(consensus merge heuristic)으로 인해 발생하는 처리량 대비 정확도 트레이드오프를 분석한다. 코드와 컨테이너화된 환경은 https://github.com/dasashreeya/np_bayes_irl 에서 이용 가능하다.
역강화학습(IRL) 기반 보상 학습의 단일 환경·단일 피드백 양식 한계를 극복하기 위해, 무제한 데이터 체제에서 비교(comparison) 피드백이 가장 강한 전역 제약을 부과함을 이론적으로 분석하고 다중 MDP에 걸쳐 상호 보완적 보상 제약을 노출하는 환경과 피드백을 계층적으로 선택하는 HSCOT(Hierarchical Set Cover Optimal Teaching) 알고리즘을 제안한다. 동일한 피드백 예산 하에서 균일한 티칭 기준선 대비 보류 환경에 대한 리그렛을 실질적으로 낮추고 일반화 성능을 높임을 실험적으로 검증하였다.
이탈리아 가정의 스마트 미터 데이터를 활용하여 소비자를 복잡한 환경과 상호작용하는 에이전트로 모델링하고, 적대적 역강화학습(Adversarial Inverse Reinforcement Learning, AIRL)으로 도출한 보상 함수를 통해 냉방 소비 행동을 분석했다. 2021~2023년 유럽 에너지 위기와 폭염을 거치며 소비자 집단별로 일시적·지속적·미미한 행동 변화가 이질적으로 나타났으며, 사회경제적 맥락이 유사해도 일일 소비 시점이 다른 집단이 상이하게 반응하여 사용 시간대가 행동 이질성의 독립적 차원임을 확인했다.
파킨슨병 키스트로크 바이오마커를 분류기 대신 역강화학습(IRL)으로 모델링하여, 각 대상자의 타이핑 속도 선택을 설명하는 해석 가능한 보상 함수를 추정한다. 공개 neuroQWERTY MIT-CSXPD 데이터(85명)에서 복원된 속도 선호 가중치는 UPDRS-III 중증도와 r=-0.607로 상관하고 생타이핑 속도만으로는 설명되지 않는 추가 설명력(R² 0.194→0.338)을 보였으며, 일관성·손 교대 가중치는 교란 검증에서 유의하지 않았다.
생체 시스템은 잡음이 많고 불완전한 감각 신호를 사용하여 환경을 탐색한다. 단세포 조류에서 주광성(phototaxis)은 흔히 자극-반응 규칙에 의해 구동되는 메커니즘적 런-텀블(run–tumble) 과정으로 모델링된다. 그러나 이러한 설명은 유기체가 감각 모호성을 줄이기 위해 환경을 능동적으로 샘플링하는 방식을 간과한다. 최소 인지(minimal cognition) 관점에서, 우리는 이 탐색을 주관적이고 정보 기반의 감각운동(sensorimotor) 과정으로 재정의한다. 이를 위해 우리는 부분 관측 마르코프 결정 과정(POMDP)과 생화학적 반응 동역학을 연결하는 프레임워크를 제안한다. 환경 변수는 은닉되어 있으며, 세포는 메모리 없는 베이지안(Bayesian) 단계를 통해 각 관측으로부터 최소한의 내부 상태를 업데이트한다. 이러한 내부 동역학은 빛을 향한 방향 설정과 탐험적 재방향 설정 사이의 균형을 맞추며, 화학 반응 네트워크 상미분방정식(CRN-ODE)을 통해 구현될 수 있다. 우리의 모델은 광수용(photoreception)을 위한 생물물리학적 관측 과정과 화학적으로 계산 가능한 정보 이득의 다항식 상한을 포함한다. 실험적으로 기록된 30개의 클라미도모나스(Chlamydomonas) 궤적에 역강화학습(IRL)을 적용하여, 관측된 주광성 운동과 일치하는 행동 목표를 추론하고, 표준 확률적 시뮬레이션 알고리즘(SSA) 기준선으로 결과 동역학을 벤치마크한다. 우리의 모델은 경험적 빛 정렬 분포를 재현하며, 이 데이터셋에서 목표 기반 SSA 기준선과 유사한 성능을 보인다. 이 프레임워크 내에서 런-텀블 교차는 정보 획득 전략으로 나타난다: 텀블링은 세포를 재방향 설정하여 새로운 감각 구성을 샘플링하고 센서 모호성을 해소하며, 세포 내 생화학적 네트워크가 세포 탐색에서 적응적 정보 탐색 행동을 지원할 수 있음을 보여준다.