CVaR 앵커 회귀는 희귀 변화에 대비한다
CVaR anchor regression protects against rare shifts
한국어 초록
학습 데이터에 드물고 큰 분포 변화가 포함된 경우 새로운 환경에서의 예측을 연구한다. 앵커 회귀(anchor regression)는 환경별 제곱 평균 잔차의 평균에 페널티를 부과하며, 학습 변화의 2차 모멘트로 정해지는 타원체 내 변화에 대비한다. 희귀 변화까지 포괄하려면 큰 페널티가 필요할 수 있어 타원체가 모든 방향으로 커지고, 흔한 환경에서의 정확도가 떨어질 수 있다. 우리는 제곱 평균 잔차의 평균을 꼬리 평균(tail average)으로 바꾼 CVaR 앵커 회귀를 제안한다. 예측 위험에 CVaR이나 GroupDRO를 직접 적용하는 경우와 달리, 노이즈 수준이 높다는 이유만으로 특정 환경에 더 큰 가중치를 주지 않는다. 이질분산(heteroscedastic) 노이즈를 허용하는 선형 구조 모델에서 정확한 최악 경우 위험 보장을 증명한다. 이산 환경에서는 CVaR 꼬리 비율(tail fraction)을 줄일수록 견고성 집합이 타원체에서 학습 변화와 그 음의 스케일된 볼록 껍질(convex hull)로 넓어지며, 별도 매개변수가 그 스케일을 조절한다. 예시를 통해 흔한 환경의 정확도는 유지하면서 희귀 변화에 대한 보호를 개선할 수 있음을 보인다. 뉴욕시 택시 데이터로 방법을 시연한다.
원문 초록
We study prediction in new environments when training data contain rare, large shifts. Anchor regression penalizes the average of the squared mean residual across environments. It protects against shifts in an ellipsoid determined by the second moment of the training shifts. Covering rare shifts may therefore require a large penalty, expanding the ellipsoid in every direction and reducing accuracy on common environments. We propose CVaR anchor regression, which replaces the average of the squared mean residuals with a tail average. Unlike CVaR or GroupDRO applied directly to prediction risks, it does not give environments more weight solely because their noise levels are high. We prove an exact worst-case risk guarantee under a linear structural model that allows for heteroscedastic noise. For discrete environments, decreasing the CVaR tail fraction expands the robustness set from an ellipsoid to a scaled convex hull of the training shifts and their negatives. A separate parameter controls its scale. Examples show how the method can improve protection against rare shifts while retaining accuracy on common environments. We illustrate the method on New York City taxi data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27034v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhaseAT: 의료 영상 도메인 일반화를 위한 푸리에 위상 적대적 학습
PhaseAT: Fourier Phase Adversarial Training for Medical Image Domain Generalization
스캐너, 촬영 기관 및 획득 프로토콜 간의 분포 변화(distribution shift)는 딥러닝 기반 의료 영상 모델의 신뢰성 있는 임상 적용을 저해합니다. 기존의 도메인 일반화(DG, Domain Generalization) 방법들은 주로 스타일이나 강도 다양화에 초점을 맞추지만, 여전히 네트워크가 도메인 특화된 텍스처 상관관계에 의존하게 만들 수 있습니다. 푸리에 위상(Fourier phase)이 의미론적 구조를 인코딩한다는 점에 착안하여, 본 연구에서는 의료 영상 DG를 위한 위상 인식 적대적 학습(adversarial training) 프레임워크인 PhaseAT를 제안합니다. PhaseAT는 진폭 스펙트럼(amplitude spectrum)을 변경하지 않은 채 경계가 지정된 위상 섭동(phase perturbation)을 반복적으로 업데이트하여 푸리에 도메인에서 위상이 섭동된 학습 뷰를 형성하며, 이를 통해 일치된 외형 통계 하에서 공간적 구성을 강조합니다. 색상 왜곡(chromatic artifacts)을 방지하기 위해 섭동은 YCbCr 색 공간의 휘도 채널에만 적용됩니다. 또한 간단한 위상-돌출성(phase-saliency) 마스크를 통해 가장 영향력 있는 주파수에 업데이트를 집중시킵니다. 이 모델은 원본 샘플과 위상 섭동 샘플에 대한 손실의 가중 결합으로 학습되며, 단일 소스(single-source) 및 다중 소스(multi-source) DG를 모두 지원합니다. 두 가지 까다로운 의료 데이터셋에 대해 본 방법을 검증한 결과, PhaseAT는 단일 소스 도메인 일반화에서 20% 이상의 성능 향상을 달성하여 여러 최신(SOTA) DG 방법들을 능가함을 입증했습니다. 코드 구현체는 https://github.com/ahmed-sharshar/PhaseAT 에서 확인할 수 있습니다.
Visual Tripwires: 심층 비전 시스템에서의 실패 예측
Visual Tripwires: Anticipating Failure in Deep Vision Systems
강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.
비전 기초 모델을 통한 견고한 멀티모달 3D 객체 검출
Towards robust multimodal 3D object detection via visual foundation models
멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.
내부 활성화의 스펙트럴 분석을 통한 신경망 실패 탐지
Detecting Neural Network Failures through Spectral Analysis of Internal Activations
신경망의 오분류는 출력 층에서는 보이지 않는, 내부 활성화에서 특징적인 스펙트럴 불안정성을 보인다. 이 현상은 Spectral Drift로 식별되고 형식화되는데, 이는 연속된 층 활성화 간 주파수 영역 거리이며, 실증적 검증에서 실패가 올바른 예측보다 유의미하게 더 높은 drift를 보였다(1.9% 증가, p<0.001). 이 스펙트럴 시그니처는 내부 처리 과정에서 나타나지만 최종 출력에서는 가려져, 신뢰도 기반 탐지 방법이 어려움을 겪는 이유를 설명한다. 본 연구는 Self-Detecting Neural Networks(SDNN)를 제안하는데, 이는 Short-Time Fourier Transform, 웨이블릿 분해, 통계적 모멘트를 사용하여 신경망 깊이에 걸친 스펙트럴 역학을 모니터링하고 다중 스케일 스펙트럴 특징을 포착하는 프레임워크이다. 경량 탐지기 신경망(매개변수 오버헤드 5%)은 점진적으로 어려워지는 분포에 대한 커리큘럼 학습(curriculum learning)을 통해 실패를 시사하는 패턴을 학습한다: 자연적 오분류, 분포 이동(distribution shift), 적대적 교란(adversarial perturbation). CIFAR-10 실험에서 SDNN은 3개 시드에 걸쳐 79.0 +/- 25.3% AUROC를 달성하여, MaxSoftmax(50.5%) 및 Energy Score(52.9%)를 포함한 신뢰도 기반 베이스라인보다 약 25-30 percentage points 높은 성능을 보였다. 절제 연구(ablation study)에서는 웨이블릿 분해와 통계적 특징이 일관된 기여를 하는 반면, STFT의 역할은 불분명하게 남아 있다. 본 연구는 내부 활성화의 스펙트럴 분석이 신경망 신뢰성 분야에서 유망한 방향임을 확립하며, 출력 기반 접근법으로는 접근할 수 없는 진단 정보를 드러낸다.
교차 노이즈 주입이 클린·손상·OOD 성능을 향상시킨다
Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance
노이즈 주입은 확률적 최적화(stochastic optimization)에서 잘 알려진 기법이다. 우리는 일반적인 단조 감쇠(monotonic decay) 스케줄 대신 교차(on-off-on-off...) 스케줄을 사용할 때 놀라울 정도의 효과가 있음을 보고한다. 노이즈 주입에 대한 이론적 분석을 제시하며, 임펄스 노이즈(impulse noise)에 의한 손상은 야코비안 정규화를 근사하고, 가우시안 노이즈(Gaussian noise)는 곡률 페널티(curvature penalty)로 작용함을 확인한다. 이러한 정규화 거동은 노이즈 주입이 모델 견고성(robustness)을 높이는 이유를 설명하는 데 사용되어 왔다. 그러나 우리가 제안한 스케줄의 교차적 특성은 최적화 목적 함수에서조차 더 나은 결과를 낸다. 노이즈가 있는 데이터 단계를 섞으면 옵티마이저가 국소 최솟값(local minima)에서 벗어나 탐험을 늘릴 수 있으며, 클린 데이터의 중요한 특징을 치명적으로 망각(catastrophically forgetting)할 위험 없이 학습할 수 있다. 클린 데이터와 노이즈 데이터 사이를 전환할 때 손실의 급격한 변화에 대해 이 학습 방식을 안정화하기 위해, 클린 그래디언트 크기에 따라 노이즈 업데이트를 스케일링하는 그래디언트 노름(gradient-norm) 안정화 기법을 도입한다. 이 방법을 다른 일반적인 증강(augmentation) 방법들과 비교한 결과, ResNet 및 ViT 아키텍처에서 CIFAR-100-C, ImageNet-C, ImageNet-R에 대한 손상 내성(corruption tolerance)과 실세계 분포 이동(distribution shift)에 대한 견고성에서 상당한 개선을 확인했으며, 다른 증강 위에 우리 방법을 쌓았을 때 최고의 결과를 얻었다. 시각적 중요도(saliency) 및 어텐션 맵을 통해, 교차 노이즈 주입의 효과가 모델의 귀납적 바이어스(inductive bias)가 장려하는 실패 모드(failure mode)에 페널티를 부과하는 데서 기인함을 보인다. 임펄스 노이즈는 합성곱(ResNet) 아키텍처의 지역성 바이어스(locality bias)에 대항하고, 가우시안 노이즈는 어텐션 기반 모델이 대규모 가짜(spurious) 특징을 포착하려는 경향을 줄인다. 따라서 교차 노이즈 주입은 사실상 추가 계산 비용 없이 클린, 노이즈, 분포 외(out-of-distribution) 데이터에 대한 테스트 성능을 향상시키는 효과적인 도구이다.
기계론적 해석가능성과 최적 제어를 통한 World Action Model 견고성 조향
Steering Robustness into World Action Models via Mechanistic Interpretability and Optimal Control
World Action Models(WAM)은 의미적·물리적 정보가 반영된 제어를 가능하게 하지만, 분포 이동(distribution shift) 하에서 취약하다. 본 연구에서는 기계론적 해석가능성(mechanistic interpretability)을 사용하여 견고성과 관련된 교란(perturbation)이 WAM 활성화 공간에서 어떻게 표현되는지 분석한다. 성공적인 롤아웃(rollout)과 실패한 롤아웃 간의 활성화를 비교한 결과, 일부 WAM 아키텍처는 견고성에 중요한 특징에 대해 저차원 선형 분리 가능성(linear separability)을 보이지만, 다른 아키텍처는 그렇지 않다. 이는 학습 없는(training-free) WAM 조향(steering)을 위해 대조적(contrastive) 활성화 방향을 사용할 동기를 제공한다. 또한 WAM 활성화 역학의 국소 선형성(local linearity)이 모델 기반 최적 제어(model-based optimal control)를 통한 효율적 피드백 조향을 가능하게 하며, 이는 최소 침습적(minimally-invasive) 저차(reduced-order) LQR 제어기인 World-Action Linear Quadratic Regulator(WA-LQR)를 산출한다. 기계론적 평가를 통해 Cosmos-Policy와 DiT4DiT 모델에서는 강한 조향 가능성(steerability)을, LingBot-VA에서는 약한 조향 가능성을 예측했으며, 이는 조향 개입 결과와 일치한다. Cosmos-Policy와 DiT4DiT에서 WA-LQR은 대조적 방향을 새로운 태스크로 일반화하고, 조향하지 않은(unsteered) 모델과 프롬프트 조향 기준선보다 카메라, 그리퍼(gripper), 시각 노이즈 교란에 대한 견고성을 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.