오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.
베이지안 최적화(Bayesian optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하기 위한 강력한 패러다임입니다. 전통적인 BO 방법은 일반적으로 기저 함수에 대해 수작업으로 설계된 별도의 획득 함수(acquisition function)와 대리 모델(surrogate model)에 의존하며, 흔히 근시안적인(myopic) 방식으로 작동합니다. 본 논문에서는 후보 모델과 획득 함수 집합으로부터 지식을 증류(distilling)하여 최적의 모델과 비근시안적 획득 방식을 공동으로 학습하고, 다단계 후회(multi-step regret) 최소화를 명시적인 목표로 하는 새로운 직접 후회 최적화(direct regret optimization) 접근법을 제안합니다. 제안하는 프레임워크는 서로 다른 하이퍼파라미터를 가진 가우시안 프로세스(Gaussian Processes, GP) 앙상블을 활용하여 시뮬레이션된 BO 궤적을 생성하며, 각 궤적은 기존 선택지 풀에서 추출된 획득 함수를 따르고 베이지안 조기 종료 기준에 의해 종료됩니다. 이러한 궤적들은 궁극적인 목적 함수를 개선하도록 다음 쿼리를 선택하는 엔드투엔드 의사결정 트랜스포머(Decision Transformer)를 학습시키며, 이는 조밀한 학습 희소성 학습(dense training sparse learning) 패러다임을 따릅니다. 즉, 트랜스포머는 풍부한 시뮬레이션 데이터로 학습되는 반면, 제한된 수의 실제 평가를 통해 온라인으로 GP를 개선합니다. 합성 데이터 및 실제 벤치마크에서 본 연구의 방법은 표준, 룩어헤드(lookahead), 신뢰 영역(trust-region), 분할 상환(amortized) BO 베이스라인 대비 최고 또는 최고에 가까운 최종 단순 후회(simple regret) 성능을 달성하며, 특히 고차원 환경에서 가장 큰 성능 향상을 보입니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 관심 영역 필터링과 학습된 정책의 결합에 기인하며, 동일 예산 조건에서 명시적인 2단계 룩어헤드 획득 방식과 비교했을 때 이러한 이점이 룩어헤드만으로는 얻어지지 않음을 보여줍니다.
장기 의존성(long-term dependencies)은 AI 분야의 순차적 의사결정에서 여전히 주요한 과제입니다. RNN은 그래디언트 소실(vanishing gradients) 및 벡터 기반 은닉 상태의 제한된 표현력으로 인해 어려움을 겪는 반면, 트랜스포머(Transformer) 기반 모델은 어텐션(attention)의 2차(quadratic) 스케일링으로 인해 한계를 갖습니다. 최근 연구에서는 학습(train) 및 테스트 시점 모두에서 경사하강법(gradient descent)을 통해 신경망(neural network)의 파라미터에 에피소드 기억을 저장하는 테스트 시점 학습(Test-Time Training, TTT) 프레임워크로 이 문제를 해결할 것을 제안했습니다. 이 접근법은 자연어 처리(NLP) 분야에서 성공을 거두었으나, 우리가 아는 한 강화학습(RL) 분야에는 아직 적용되지 않았으며 이러한 기억이 실제로 어떻게 기능하는지 분석한 연구도 없었습니다. 본 논문에서는 Decision Transformer에 TTT 레이어를 보강한 'Decision Titan'을 통해 오프라인 강화학습을 위한 TTT 프레임워크의 잠재력을 연구합니다. 순차적 기억을 테스트하도록 설계된 T-Maze의 확장 환경(environment)인 X-Maze에서 모델의 성능과 특성을 분석하고, 시간에 따른 게이트 값을 시각화하여 메모리 메커니즘이 어떻게 학습하는지 조사합니다. 본 연구의 주요 발견은 Decision Titan이 컨텍스트 윈도우(context window)보다 20배 더 긴 범위의 장기 의존성을 학습할 수 있고, 학습 데이터 길이의 1.7배까지 일반화할 수 있다는 점입니다. 그러나 결정적으로 시간적 일반화는 사용된 시간 임베딩에 따라 달라지며, 장기 의존성을 학습하는 능력은 관련 정보가 어떻게 인코딩되는지에 따라 달라집니다.
이미지로부터 컴퓨터 지원 설계(CAD) 모델링 시퀀스를 재구성하는 것은 설계 의도를 보존하고 파라메트릭 편집을 지원하는 데 매우 중요합니다. 그러나 기존 방법들은 대개 전체 CAD 시퀀스를 일괄적으로 생성하며, 인간 설계 워크플로우의 반복적이고 피드백 기반의 특성을 간과합니다. 우리는 풍부한 단계적 시각적 감독을 도입하여 이 한계를 해결합니다: 각 모델링 단계에서 시스템은 목표물의 정사영(orthographic projection), 점진적으로 구성된 모델의 정사영, 그리고 활성 스케치를 관찰하여 정보에 기반한 행동 선택을 가능하게 합니다. 이러한 실시간 피드백을 효과적으로 활용하기 위해, 우리는 CAD 재구성을 순차적 의사결정 태스크로 정식화하고 Decision 트랜스포머 아키텍처를 활용한 오프라인 강화학습을 적용하는 프레임워크인 SOV-CAD를 제안합니다. 이 설계는 기하학적 정렬 보상에 의해 안내되는 지속적인 시각적 피드백을 통합하여 보다 정확하고 인간과 유사한 모델링 과정을 구현합니다. 광범위한 실험을 통해 SOV-CAD가 CAD 시퀀스 재구성에서 최신 방법들을 능가하면서 강력한 데이터 효율성을 보임을 확인했습니다. SOV-CAD 코드는 https://github.com/LukePhong/SOV-CAD 에서 확인할 수 있습니다.
제로샷 대규모 언어 모델(LLM) 기반 교육 상담 에이전트가 개입 불필요 상황에서도 과도하게 개입을 권고하는 '개입 바이어스'를 정량화하고, OULAD 데이터셋 6-arm 절제 실험에서 GPT-4o가 43 퍼센트포인트의 위양성 개입률을 보임을 실증하였다. 이 바이어스는 오라클 레이블 궤적으로 학습한 궤적 조건부 ONNX Decision Transformer(DT)와 XGBoost 분류기를 통한 지도 정책 학습으로 제거되며, DT는 매크로 F1 0.79, 0% 행동 전환율, 5ms 미만의 CPU 추론 지연 시간을 달성한다.
현실의 강화학습 적용 환경에서 통신 지연이나 센서 오류는 종종 프레임 드롭(frame dropping)을 유발하며, 이 경우 에이전트는 손실된 상태(state)와 그에 연관된 보상(reward)을 수신할 수 없게 됩니다. 프레임 드롭으로 인한 성능 저하를 해결하기 위해, 의사결정 트랜스포머(decision transformer)에 프레임 드롭 처리를 위한 추가 메커니즘을 통합하여 DeFog(Decision Transformer under Random Frame Dropping)가 개발되었습니다. DeFog는 프레임 드롭 환경에서의 성능 저하를 완화할 수 있지만, 오프라인 학습(offline learning) 방식이기 때문에 학습 데이터셋(dataset)에 충분히 표현되지 않은 새로운 상태(state)로 효과적으로 일반화하는 데 어려움을 겪습니다. 본 연구에서는 환경과 직접 상호작용하며 정책(policy)을 학습하는 온라인 강화학습(online reinforcement learning) 방법인 온라인 의사결정 트랜스포머(ODT)에 DeFog의 메커니즘을 통합한 OnDeFog를 제안합니다. 포괄적인 실험 평가를 통해 제안한 OnDeFog는 높은 프레임 드롭률을 특징으로 하는 환경에서 ODT 대비 우수한 성능을 달성하며, 낮은 보상(reward) 데이터를 다량 포함하는 데이터셋(dataset)에서는 DeFog를 능가함을 입증했습니다.