arXiv:2403.00420

Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey

Lucas Schott, Josephine Delas, Hatem Hajri, Elies Gherbi, Reda Yaich, Nora Boulahia-Cuppens, Frederic Cuppens, Sylvain Lamprier

제출 2024-03-01

원문 초록

Deep Reinforcement Learning (DRL) is a subfield of machine learning for training autonomous agents that take sequential actions across complex environments. Despite its significant performance in well-known environments, it remains susceptible to minor condition variations, raising concerns about its reliability in real-world applications. To improve usability, DRL must demonstrate trustworthiness and robustness. A way to improve the robustness of DRL to unknown changes in the environmental conditions and possible perturbations is through Adversarial Training, by training the agent against well-suited adversarial attacks on the observations and the dynamics of the environment. Addressing this critical issue, our work presents an in-depth analysis of contemporary adversarial attack and training methodologies, systematically categorizing them and comparing their objectives and operational mechanisms.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14393v3cs.RO공통 태그 reinforcement-learning, Deep Reinforcement Learning

로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법

An offline approach to fNIRS-guided reinforcement learning for robot behavior

인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.

arXiv:2609.27741v1cs.LG공통 태그 reinforcement-learning, Deep Reinforcement Learning

극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons

가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.

arXiv:2609.27321v1cs.AI공통 태그 reinforcement-learning, Deep Reinforcement Learning

검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성

Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.

arXiv:2609.27745v1cs.AI공통 태그 reinforcement-learning, Deep Reinforcement Learning

일반화 가능한 POMDP 해결을 위한 환경적 그루포이드의 범주론적 내재화

Categorical Internalisation of Environmental Groupoids for Generalisable POMDP Solving

본 논문은 고차원의 부분 관측 가능한 환경에서 강화학습을 구조화하고 개선하기 위한 실용적인 프레임워크로서 범주론(category theory)을 제안합니다. 저자들은 대칭 궤도(symmetry orbit)에 의해 유도된 동치류로 상태 공간을 분할하여 환경 상태 간의 대칭성을 모델링하고, 지정된 표준 대표원(canonical representative)을 갖는 그루포이드(groupoid)로 각 동치류를 구성합니다. 이를 통해 에이전트는 모든 방향이나 위치를 완전히 새로운 문제로 취급하는 대신, 유사한 여러 환경 상태에 걸쳐 학습한 내용을 동시에 공유할 수 있습니다. 따라서 학습은 각 궤도가 한 번씩만 표현되는 대칭 축소 상태 공간에서 수행되며, 구조를 보존하는 동시에 중복성을 제거하고 표본 효율성(sample efficiency)을 향상시킵니다. 저자들은 이 프레임워크를 표준 강화학습 파이프라인 내에 구현하고 부분 관측 가능한 벤치마크에서 두 가지 서로 다른 접근 방식을 평가하여, 궤도 기반 분할이 잠재적 대칭성을 나타내는 환경에서 일관된 성능 향상을 가져옴을 입증합니다. 이러한 실증적 결과를 넘어, 본 접근 방식은 범주론적 구조가 추상적 강화학습 정식화와 계산적 응용 사이의 원리적인 가교를 어떻게 제공하는지 보여주며, 이를 통해 더 구조화되고 확장 가능한 학습 시스템으로 나아가는 경로를 확립합니다.

arXiv:2607.21619v1cs.CL공통 태그 reinforcement-learning, Adversarial Attack

적대적 스타일 최적화: GRPO 기반 스타일 트리거 최적화를 통한 VLM 탈옥 강화

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Deep Reinforcement Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.