중간값 시간 앙상블: 액션 청크 시각-운동 정춌을 위한 무학습 강건 집계
Median Temporal Ensembling: Training-Free Robust Aggregation for Action-Chunked Visuomotor Policies
한국어 초록
액션 청크(action-chunked) 시각-운동(visuomotor) 정책은 서로 겹치는 궤적을 예측하므로, 실행되는 모든 액션은 여러 예측에 의해 커버된다. 시간 앙상블(temporal ensembling)은 지수 가중 평균으로 이들 예측을 결합해 실행을 평활화한다. 하나의 오염된 예측이 집계값을 무한히 이동시킬 수 있으며, 그 붕괴점(breakdown point)은 0이다. 우리는 배포된 이 집계기를 스트레스 테스트하기 위해 적대적 오염을 사용하고, 두 종류의 보장을 비교한다. 메트릭 보장(metric guarantee)은 주어진 크기의 perturbation에 대한 응답을 한정한다. 조합론적 보장(combinatorial guarantee)은 대신 한 timestep을 커버하는 M개 후보 중 최대 q개가 오염되었을 때(크기와 무관하게) 피해를 한정한다. 인코더 적대적 미세조정(fine-tuning)은 공개된 patch attack 하에서 손실(loss)의 44%를 회복하지만, 공격자의 step size를 키우면 7.3%에 불과하다. 반면 동일 후보 집합의 좌표별 중간값(coordinate-wise median)은 공격 최적화가 증가해도 회복 비율을 일정하게 유지한다. 중간값 시간 앙상블(Median temporal ensembling)은 한 줄이면 되며 재학습이 필요 없다. 25개의 (구성, 오염 수준) 조합 전반에서 평균보다 나쁜 경우는 없었고 15개에서 유의하게 더 좋았다. 또한 두 번째 정책 클래스에도 전이되며, 공격자가 전혀 없는 실패—빈(blank) 상태로 도착하는 카메라 프레임—에서도 성능을 회복한다. 깨끗한(clean) 데이터에 대한 영향은 구성에 따라 -0.04에서 +0.07까지 다양하다. 우리는 또한 경계를 제시한다: 커버하는 모든 예측을 동일한 양만큼 이동시키는 오염은 이 통계군 전체에 보이지 않으며, 어떤 equivariant 집계기도 이를 제거할 수 없다.
원문 초록
Action-chunked visuomotor policies predict overlapping trajectories, so every executed action is covered by several predictions. Temporal ensembling smooths execution by combining these predictions with an exponentially weighted mean. One corrupted prediction can move the aggregate without bound: its breakdown point is 0. We use adversarial corruption to stress this deployed aggregator and to compare two kinds of guarantee. A metric guarantee bounds the response to a perturbation of a given size. A combinatorial guarantee instead bounds the damage when at most q of the M candidates covering a timestep are corrupted, whatever their size. Encoder adversarial fine-tuning recovers 44% of the loss under the published patch attack, but only 7.3% after the attacker's step size is increased. By contrast, the coordinate-wise median of the same candidate set keeps its recovered fraction flat as attack optimisation increases. Median temporal ensembling costs one line and requires no retraining. Across 25 (configuration, corruption-level) combinations it is never worse than the mean and is significantly better in 15. It also transfers to a second policy class, and it recovers performance under a failure with no attacker in the loop at all: camera frames that arrive blank. Its effect on clean data is configuration-dependent, from -0.04 to +0.07. We also give the boundary: corruption that shifts every covering prediction by the same amount is invisible to this whole family of statistics, and no equivariant aggregator can remove it.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27167v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
액션 청킹 이면의 안정성 가정 측정
Measuring the Stability Assumption Behind Action Chunking
액션 청킹(Action chunking)은 행동 복제(behavioral cloning)로 학습된 정책의 성능을 향상시키며, 이를 설명하기 위해 시간적 일관성, 수평선 축소(horizon reduction), 표현 학습, 오차 누적 감소 등 여러 메커니즘이 제안되어 왔습니다. 본 연구에서는 그 대신 시스템에 액션 오차가 유입되었을 때 어떤 일이 발생하는지를 조사합니다. 연구진은 각 상태에서 작은 액션 오차를 주입하고, 두 가지 실행 체제 하에서 오차가 얼마나 빠르게 커지거나 줄어드는지 측정합니다. 두 실행 체제는 재계획 없이 청크의 나머지 부분을 재생하는 개루프(open-loop) 체제와 섭동(perturbation) 이후 정책이 재계획을 수행하는 폐루프(closed-loop) 체제입니다. 피팅된 변화율을 바탕으로 각 상태를 수축(contracting), 팽창(expanding), 또는 미해결(unresolved) 상태로 분류합니다. 3개의 벤치마크 스위트에 걸친 12개의 조작(manipulation) 태스크 전반에서, 전파율을 판별할 수 있는 상태 중 확실하게 안정적인 상태는 드문 반면 오차 증폭은 흔하게 발생함을 발견했습니다. 나아가 측정된 전파율이 피팅 수평선에 크게 의존한다는 점을 확인했습니다. 증폭은 일반적으로 초기에 집중되므로, 짧은 윈도우는 더 긴 수평선의 전파를 과대평가할 수 있습니다. 마지막으로 이러한 레이블을 바탕으로 예측기를 학습시킨 결과, 카메라 프레임과 고유감각(proprioception) 정보만으로도 상태의 개루프 체제를 복원할 수 있는 반면, 폐루프 전파는 섭동 후 정책이 어떻게 행동하는지에도 의존하기 때문에 부분적으로만 복원 가능하다는 점을 확인했습니다. 이러한 결과는 오차 누적에 관한 주장만으로는 액션 청킹을 완전히 설명할 수 없음을 시사합니다. 즉, 수동적인 개루프 동역학도 정책의 재계획도 주입된 오차를 일관되게 수축시키지 못하며, 재계획이 개루프 증폭을 확실한 수축으로 전환하는 경우는 매우 드뭅니다. 이는 폐루프 반응성을 표준 모방 학습(imitation learning)을 통해 안정적으로 창발되기를 기대하기보다는, 정책이 회복해야 하는 편차에 노출되도록 섭동 및 트리 커버리지 지향 학습(tree-coverage-oriented training)을 사용하여 명시적으로 학습시켜야 함을 시사합니다.
움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증
Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.