arXiv:2608.04190v1 cs.AI

사전학습된 트랜스포머 기반 인식 모델의 적대적 강건 귀추적 융합

Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models

Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

제출 2026-08-04

한국어 초록

새로운 환경에 사전학습된 인식 모델(perception model)을 배포하면 분포 변화(distributional shift)로 인해 정확도가 저하되며, 단순히 이들을 앙상블하는 것만으로는 이를 회복할 수 없습니다. 다수결 투표(majority voting)와 같은 결합 방식은 정밀도(precision)와 재현율(recall) 사이의 트레이드오프를 수반하며 조직적인 오류(coordinated failure)에 취약합니다. 기존의 초인지적(metacognitive) 방법들은 모델의 오류를 표시하는 논리 규칙을 학습하지만, 완전히 새로운 장면에 전이되지 않는 수작업 도메인 지식 단서(객체 크기 사전확률, 세그멘테이션 마스크)에 의존합니다. 본 연구에서는 벡터 공간 기하학을 활용하여 도메인 지식 없이도 이러한 초인지적 층(layer)을 학습할 수 있음을 보입니다. 각 모델 자체의 학습(training) 임베딩으로 구축된 모델별 라벨 벡터 풀(Label Vector Pool, LVP)은 학습을 통해 결정된 프로토타입 대비 검출 결과의 기하학적 구조로부터 오류 탐지 규칙을 도출하며, 테스트 세트에서 F1 점수 $0.002$ 이내로 도메인 지식 규칙과 동등한 수준에 도달합니다. 본 접근법은 뉴로심볼릭(neurosymbolic) 방식을 유지하므로 이러한 기하학적 규칙들이 단일 논리 프레임워크를 공유하며, 활용 가능한 경우 도메인 지식으로 여전히 보완될 수 있습니다. 본 연구는 여러 불완전한 ViT 기반 검출기의 융합을 일관성 기반 귀추(consistency-based abduction) 문제로 정식화하고, 테스트 시점에 정확한 정수 계획법(Integer Program, IP) 및 다항 시간 휴리스틱을 통해 이를 해결합니다. 15개의 기상 변화 테스트 세트와 6개의 ViT 검출기로 구성된 항공 영상 벤치마크에서, 도메인 지식이 필요 없는 본 논문의 층은 깨끗한 데이터에서 가장 강력한 다수결 투표 변형과 대등한 성능(F1 점수 $0.005$ 이내)을 달성하며, 모든 다수결 투표 기준선(baseline)과 달리 조직적인 라벨 뒤집기 공격(label-flipping attack) 상황에서도 성능을 유지합니다. 즉, $90\%$ 뒤집기 비율에서 MV-Plurality의 F1 점수 $0.35$ 대비 평균 $0.42$(상대적으로 $22\%$ 향상)를 기록하며, 뒤집기 비율이 $0.4$를 초과하면 모든(\emph{every}) 테스트 세트에서 최고 F1 점수를 달성합니다.

원문 초록

Deploying pre-trained perception models in novel environments degrades their accuracy under distributional shift, and assembling them alone does not recover it: combiners such as majority voting trade recall for precision and are brittle to coordinated failures. Prior metacognitive methods learn logical rules that flag a model's errors, but rely on hand-authored domain-knowledge cues (object-size priors, segmentation masks) that do not transfer to genuinely novel scenes. We show that this metacognitive layer can be learned without any domain knowledge by exploiting vector-space geometry: per-model Label Vector Pools (LVP), built from each model's own training embeddings, yield error-detection rules from the geometry of detections relative to training-determined prototypes, reaching parity with domain-knowledge rules to within $0.002$ every F1 on test set. Because the approach remains neurosymbolic, these geometric rules share a single logical framework and can still be complemented by domain knowledge when available. We frame the fusion of multiple imperfect ViT-based detectors as a consistency-based abduction problem solved at test time by an exact Integer Program (IP) and a polynomial-time heuristic. On an aerial-imagery benchmark of 15 weather-shifted test sets and six ViT detectors, our domain-knowledge-free layer matches the strongest majority-vote variant on clean data (within $0.005$ F1) and, unlike every majority-vote baseline, retains its performance under a coordinated label-flipping attack: at a $90\%$ flip rate it averages $0.42$ F1 versus $0.35$ for MV-Plurality (a $22\%$ relative gain) and attains the highest F1 on \emph{every} test set once the flip rate exceeds $0.4$

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04190v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.