Entrywise Inference for Missing Panel Data: A Simple and Instance-Optimal Approach
원문 초록
Longitudinal or panel data can be represented as a matrix with rows indexed by units and columns indexed by time. We consider inferential questions associated with the missing data version of panel data induced by staggered adoption. We propose a computationally efficient procedure for estimation, involving only simple matrix algebra and singular value decomposition, and prove non-asymptotic and high-probability bounds on its error in estimating each missing entry. By controlling proximity to a suitably scaled Gaussian variable, we develop and analyze a data-driven procedure for constructing entrywise confidence intervals with pre-specified coverage. Despite its simplicity, our procedure turns out to be instance-optimal: we prove that the width of our confidence intervals match a non-asymptotic instance-wise lower bound derived via a Bayesian Cram\'{e}r-Rao argument. We illustrate the sharpness of our theoretical characterization on a variety of numerical examples. Our analysis is based on a general inferential toolbox for SVD-based algorithm applied to the matrix denoising model, which might be of independent interest.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현
CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
조건부 텐서 확산: 분포적 반사실 학습 및 추론
Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.