PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15742v1cs.CV

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.13610v1cs.CV

CUBE: 오픈셋 곤충 종 인식을 위한 클래스 조건부 미지 경계 증거

CUBE: Class-conditioned Unknown Boundary Evidence for Open-Set Insect Species Recognition

오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.

arXiv:2610.13535v1cs.CV

위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류

Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding

원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.

arXiv:2607.04188v1cs.LG

고장 진단에서 오픈셋 도메인 일반화를 위한 불확실성 인식 물리 정보 기반 그래프 학습

Physics-Informed Graph Learning with Uncertainty Awareness for Open-Set Domain Generalization in Fault Diagnosis

회전 기계의 오픈셋 도메인 일반화(OSDG) 고장 진단 문제를 해결하기 위해, 물리 정보 기반 스펙트럴 어텐션 네트워크(PISA-Net)와 가우시안 분포 기반 불확실성 인식 적응형 그래프 학습을 결합한 PGU-OD 프레임워크를 제안한다. 특징 추출부터 의사결정까지 단계별 불확실성 전파를 체계적으로 억제하는 이중 기준 오픈셋 추론 전략을 통해, 두 공개 회전 기계 데이터셋에서 기지 고장 분류와 미지 고장 기각 모두 최신 기법을 능가하는 성능을 달성했다.

arXiv:2607.02567v1eess.SP

CRODA-ST: 단일 타겟 교차 수신기 오픈셋 무선 지문 인식

CRODA-ST: Single-Target Cross-Receiver Open-Set Radio Fingerprint Recognition

무선 주파수 지문 식별(RFFI)은 사물인터넷(IoT) 기기에 물리 계층 자격 증명을 제공하지만, 소스 수신기에서 보정된 임계값이 타겟 수신기로 전이될 때 오픈셋 판별이 불안정해진다. 수신기 변화(receiver shift)는 기지 송신기의 신뢰도를 낮춰 오거부(false rejection)를 유발할 수 있으며, 클로즈드셋 정렬(closed-set alignment)은 반대로 미지의 타겟 송신기를 기지 영역으로 끌어들여 오수락(false acceptance)을 증가시키는 역효과를 낼 수 있다. 본 연구는 단일 소스-단일 타겟 교차 수신기 오픈셋 RFFI를 위한 구조 우선 적응 프레임워크인 CRODA-ST를 제안한다. 소스 보정 거부의 신뢰성 저하를 유발하는 병목 지점에 각각 대응하는 두 가지 구성 요소로 이루어진다. 판별 구조 앵커링(DSA, Discriminative Structure Anchoring)은 소수의 레이블된 타겟 등록 샘플로부터 타겟 수신기의 기지 클래스 참조를 복원하며, 거부 지향 정렬(ROA, Rejection-Oriented Alignment)은 앵커링된 구조 주변에서 수신기 민감 신뢰도 변동을 완화한다. WiSig ManyTx 데이터셋에서 CRODA-ST는 기지 클래스 정확도 0.9092, AUROC 0.9692, OSCR 0.9580을 달성하였다. 점수 스윕(score-sweep) 분석을 통해 FPR90을 0.0469까지 추가로 감소시켰다.

arXiv:2607.01297v1eess.AS

Few-Shot Open-Set Audio Classification Using Attention Information-Fused Prototypes

Most existing audio classification methods suppose that each query (testing) sample belongs to a class of support (training) samples, and misrecognize samples of unseen classes as seen classes (cannot reject samples of unseen classes). In this study, we propose a method for Few-shot Open-set Audio Classification (FOAC), which can recognize query samples of seen classes after updating the model using a few support samples, and meanwhile reject query samples from unseen classes. We design a model consisting of an encoder and a classifier. The encoder is the backbone of a ResNet used for extracting embeddings. The classifier consists of prototype generators of few-shot classes and open-set classes. Prototypes of few-shot classes are obtained by fusing the class-discriminative information of support and query embeddings and by assigning larger weighting coefficient to representative part of the support embeddings. One prototype is generated for open-set classes using the proposed prototype generator. The encoder is trained with abundant samples of base classes in supervised manner, and then the prototypes of base classes are generated under the supervision of a joint loss. The classifier is trained using a few samples of few-shot classes in a meta-training way. Three public datasets (LS-100, NSynth-100, and FSC-89) are used to assess the performance of our method. Experiments show that our method has advantage over prior methods in AUROC and accuracy. This advantage has statistical significance for most prior methods. Our method has lower computational complexity than most prior methods. The code is at https://github.com/Jessytan/FOAC-AIFP.

arXiv:2303.18031v2cs.CV공식 코드 · Papers with Code

단순한 도메인 일반화 방법은 오픈 도메인 일반화를 위한 강력한 베이스라인

Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization

실제 애플리케이션에서 머신러닝 모델은 추론 단계에서 알 수 없는 클래스가 등장하는 오픈셋 인식(OSR)과 학습 및 추론 단계 간 데이터 분포가 달라지는 도메인 이동(domain shift)을 모두 처리해야 합니다. 도메인 일반화(DG)는 모델 학습 시 추론 단계의 타겟 도메인에 접근할 수 없는 도메인 이동 상황을 처리하는 것을 목표로 합니다. 오픈 도메인 일반화(ODG)는 DG와 OSR을 모두 고려합니다. 도메인 증강 메타러닝(DAML)은 ODG를 목표로 하는 방법이지만, 학습 과정이 복잡합니다. 이에 반해 다양한 DG 방법이 제안되었으나, ODG 상황에서는 평가되지 않았습니다. 본 연구에서는 기존 DG 방법을 ODG 환경에서 포괄적으로 평가하였으며, 두 가지 단순한 DG 방법인 상관관계 정렬(CORAL)과 최대 평균 차이(MMD)가 여러 경우에서 DAML과 경쟁력이 있음을 보여줍니다. 또한, DAML에서 사용된 앙상블 학습(ensemble learning) 및 디리클레 믹스업(Dirichlet mixup) 데이터 증강(data augmentation)과 같은 기법을 도입하여 CORAL과 MMD의 단순한 확장 버전을 제안합니다. 실험 평가 결과, 확장된 CORAL과 MMD는 더 낮은 계산 비용으로 DAML과 대등한 성능을 발휘할 수 있음을 확인했습니다. 이는 단순한 DG 방법과 그 단순한 확장들이 ODG를 위한 강력한 베이스라인이 될 수 있음을 시사합니다

arXiv:2606.12718v1cs.LG

개방형 RF 지문 인식을 위한 분포 외(OOD) 탐지기

Out-of-Distribution (OOD) Detectors for Open-Set RF Fingerprinting

RF 지문 인식(RFF)의 개방형 환경 문제를 해결하기 위해 정보 이론 기반의 통합된 프레임워크를 통해 분포 외(OOD) 탐지 방법을 도입하고, OOD 튜닝 데이터 없이도 최적화가 가능한 방법을 제안합니다. POWDER 데이터셋에서의 평가 결과, 제안된 방법이 OOD 데이터 없이도 실제 OOD 데이터를 사용한 기준선과 유사한 성능을 보임을 확인했습니다.