arXiv:2311.13326

Curriculum Learning and Imitation Learning for Model-free Control on Financial Time-series

Woosung Koh, Insu Choi, Yuntae Jang, Gimin Kang, Woo Chang Kim

제출 2023-11-22

원문 초록

Curriculum learning and imitation learning have been leveraged extensively in the robotics domain. However, minimal research has been done on leveraging these ideas on control tasks over highly stochastic time-series data. Here, we theoretically and empirically explore these approaches in a representative control task over complex time-series data. We implement the fundamental ideas of curriculum learning via data augmentation, while imitation learning is implemented via policy distillation from an oracle. Our findings reveal that curriculum learning should be considered a novel direction in improving control-task performance over complex time-series. Our ample random-seed out-sample empirics and ablation studies are highly encouraging for curriculum learning for time-series control. These findings are especially encouraging as we tune all overlapping hyperparameters on the baseline -- giving an advantage to the baseline. On the other hand, we find that imitation learning should be used with caution.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02292v1cs.LG공통 태그 Data Augmentation, Time Series

행동 인식을 향상시키기 위한 확산 기반 합성 데이터 사전학습

Diffusion-Based Synthetic Data Pretraining for Enhancing Activity Recognition

인간 행동 인식(HAR)은 헬스케어, 웰빙 및 일상 모니터링 응용 분야에서 중요성이 점점 더 커지고 있으며, 이 중 식사 및 음용과 같은 섭취 행동을 감지하는 것은 식습관과 만성 질환 관리에 대한 실행 가능한 통찰을 제공할 수 있습니다. 그러나 HAR 시스템은 미세하거나 데이터가 부족한 소수 클래스에서 성능이 저하되는 경우가 많아 실제 식단 모니터링에서의 활용성이 제한됩니다. 본 연구는 스마트워치의 가속도계, 자이로스코프, 지자기 센서 데이터로부터 변별력 있는 시간적 패턴을 포착하도록 설계된 양방향 GRU 레이어, 멀티헤드 어텐션, 잔차 연결을 포함하는 합성곱 아키텍처인 CABiGRU를 기반으로 합니다. CABiGRU의 일반화 성능을 향상시키고 소수 클래스의 과소적합을 줄이기 위해, 확산 모델을 사용하여 합성 센서 데이터 윈도우를 활용하고 2단계 학습 전략을 채택합니다. 즉, 합성 데이터로 CABiGRU를 사전학습한 후 실제 데이터로 미세조정을 수행합니다. DEO(음용/식사/기타) 데이터셋에서 제안된 파이프라인은 90.6%의 균형 정확도(balanced accuracy)를 달성하여 강력한 지도학습 기준선 대비 성능을 향상시켰으며, 섭취 행동 인식에 대한 확산 기반 합성 사전학습의 이점을 보여주고 불균형 클래스를 다루는 데 있어 진전을 나타냅니다. 이러한 결과는 확산 모델로 생성된 데이터와 표적화된 미세조정을 결합하는 것이 식습관 행동의 강건한 인식을 향상시켜, 헬스케어 및 영양 모니터링 환경에서 보다 신뢰성 있는 배포를 지원함을 시사합니다.

arXiv:2610.02339v1cs.RO공통 태그 Data Augmentation, Imitation Learning

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2609.27825v1cs.LG공통 태그 Data Augmentation, Time Series

CAST: 문맥 및 이상 구조 조건부 시계열 이상치 생성

CAST: Context- and Anomaly Structure-Conditioned Time Series Anomaly Generation

이상 시계열은 안전이 중요한 영역에서 핵심적인 역할을 하지만 본질적으로 희소하고 이질적이며 획득 비용이 높습니다. 기존 시계열 생성 방법은 주로 정상 데이터 합성에 집중되어 있어 이상 샘플이 필요할 때 제한적인 가치만을 제공합니다. 본 논문에서는 이상 생성에서 두 가지 근본적인 과제를 규명합니다. 바로 (i) 이상 데이터의 희소성과 (ii) 이상의 이질적인 형태학적 특성입니다. 이러한 과제를 해결하기 위해, 원칙적인 2단계 사전학습(pre-training) 및 파인튜닝(fine-tuning) 전략을 갖춘 문맥 및 이상 구조 조건부 시계열 이상 생성 프레임워크인 CAST를 제안합니다. 사전학습 단계에서는 풍부한 정상 시계열 데이터를 활용하여 기저의 시스템 역학을 학습함으로써 이상 데이터의 제한된 가용성을 대폭 완화합니다. 파인튜닝 단계에서는 CAST가 학습된 이상 구조 표현을 기반으로 생성기를 명시적으로 조건화하여, 유사한 문맥 조건 하에서도 이질적인 이상 형태를 포착할 수 있도록 합니다. 다양한 실제 단변량 및 다변량 데이터셋에 대한 광범위한 실험을 통해, CAST가 생성 충실도(fidelity)와 다운스트림 태스크 유용성 측면 모두에서 최신 이상 생성 방법들을 일관되게 능가함을 입증하여 제안된 접근법의 유효성을 강조합니다.

arXiv:2609.28273v1eess.SY공통 태그 Imitation Learning, Time Series

Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적

Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3

순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.

arXiv:2609.27734v1cs.RO공통 태그 Data Augmentation, Imitation Learning

InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.

arXiv:2609.23565v1cs.CV공통 태그 Data Augmentation, Imitation Learning

MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹

MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model

Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.