arXiv:2611.23886v1 cs.AI

모달리티 결손 상황에서 고정된 멀티모달 모델을 위한 위험 통제 보정

Risk-Controlled Correction for Frozen Multimodal Models under Missing Modalities

Hoang Pham Cong, Long D. Nguyen, Ho Viet Duc Luong, Nguyen Tran Minh Nhat, Binh P. Nguyen, Huynh Thi Thanh Binh

제출 2026-11-19

한국어 초록

배포된 멀티모달 예측기는 가중치를 더 이상 변경할 수 없게 된 이후 모달리티 결손에 직면할 수 있다. 이는 학습 시점의 복구로는 답할 수 없는 질문을 제기한다. 그 결과로 생기는 오차 중 남아 있는 정보로부터 교정 가능한 부분은 무엇인가? 본 논문은 이 부분이 베이즈 격차, 즉 모델의 예측과 관측된 모달리티가 주어졌을 때의 베이즈 예측 사이의 차이로 특징지어짐을 보인다. 교차 엔트로피와 제곱 오차에서는 초과 위험이 손실의 기하 구조에서 이 격차를 측정하며, 관측된 모달리티의 모호성은 제거할 수 없다. 따라서 심하게 저하된 예측이 반드시 교정 가능한 것은 아니다. 베이즈 예측을 추정하려면 일반적으로 라벨이 필요하다. 그러나 더 많은 모달리티를 관측하는 모델이 조건부로 올바른 경우, 나머지 모달리티를 조건으로 그 출력을 평균하면 검색 라벨 없이도 이 목표를 복원할 수 있으며, 동일한 고정 혼합과 이웃을 사용할 때 기대 교차 엔트로피 또는 브라이어 위험 측면에서 하드 라벨을 평균하는 것보다 나쁘지 않다. 이러한 가정은 불가피하다. 그렇지 않으면 라벨 없는 데이터만으로는 목표를 식별할 수 없다. GUARD(Gated Utility-Aware Recalibration for Deployment)는 배포된 예측기를 변경하지 않는다. 검색으로 후보 교정을 추정하고, 교정이 도움이 될 가능성이 클 때를 배포 환경과 일치하는 라벨 데이터로부터 학습하며, 보류된 분할에서 공형 위험 제어로 임계값을 보정한다. 교환 가능성 하에서, 손실 증가가 지정된 허용치를 초과하는 교정을 GUARD가 적용할 주변 확률은 학습된 점수와 무관하게 사전 설정된 수준으로 상한이 정해진다. 통제된 실험에서 교정 이득은 원시 오차가 아니라 개선 여지를 따르며, 여섯 개 도메인에 걸친 아홉 개의 고정 모델-데이터셋 쌍에서 GUARD는 전면 교정이 자주 초과하는 피해 예산 내에서 전면 교정 이득의 대부분을 유지한다.

원문 초록

A deployed multimodal predictor may face missing modalities after its weights can no longer be changed. This raises a question that training-time repair does not answer: what part of the resulting error is still correctable from the information that remains? We show that this part is characterized by the Bayes gap, the difference between the model's prediction and the Bayes prediction given the observed modalities. For cross-entropy and squared error, excess risk measures this gap in the geometry of the loss; ambiguity in the observed modalities cannot be removed. Thus, a badly degraded prediction is not necessarily a correctable one. Estimating the Bayes prediction normally requires labels. However, when a model observing more modalities is conditionally correct, averaging its outputs conditional on the remaining modalities recovers this target without retrieval labels; with the same fixed blend and neighbors, it is no worse in expected cross-entropy or Brier risk than averaging hard labels. Some such assumption is unavoidable: otherwise the target is not identifiable from unlabeled data alone. GUARD (Gated Utility-Aware Recalibration for Deployment) leaves the deployed predictor unchanged. It estimates a candidate correction by retrieval, learns from deployment-matched labeled data when correction is likely to help, and calibrates a threshold on a held-out split by conformal risk control. Under exchangeability, the marginal probability that GUARD applies a correction whose loss increase exceeds a prescribed tolerance is bounded by a preset level, regardless of the learned score. In controlled experiments, correction gain follows headroom rather than raw error; across nine frozen model-dataset pairs spanning six domains, GUARD retains most of blanket correction's gain within harm budgets that blanket correction often exceeds.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23886v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.