PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06043v2cs.CV

CRISP: 도메인 일반화를 위한 불변 구조적 사전 확률로서의 구성적 관계

CRISP: Compositional Relations as Invariant Structural Priors for Domain Generalization

도메인 일반화(Domain generalization)는 여러 도메인에 걸쳐 신뢰할 수 있는 분류를 지원하는 안정적인 표현을 식별해야 합니다. 도메인들은 기저 컴포넌트 간의 동일한 구조적 관계를 유지하면서도 색상, 질감 또는 시각적 스타일과 같은 저수준 속성에서는 차이가 날 수 있습니다. 기존 방법들은 주로 학습 과정을 개선하거나 도메인 간 특징을 정렬함으로써 이러한 차이를 해결합니다. 그러나 공유되는 구성적 구조를 암시적인 상태로 남겨두기 때문에, 더 신뢰할 수 있는 불변성의 원천을 간과할 수 있으며 결과적으로 보지 못한 도메인으로의 일반화 효과가 떨어질 수 있습니다. 본 논문에서는 시각적 인식을 시각적 프리미티브와 이들의 관계적 구성으로 분해하는 이미지 분류 프레임워크인 CRISP(Compositional Relational Invariance from Spatial Primitives)를 제안합니다. 우리는 이러한 구성을 프리미티브 위치 및 외형에 대한 소프트 단항, 이항, 삼항 술어로 표현하여, 엔드투엔드로 학습 가능한 공간적 및 시각적 정렬에 대한 미분 가능한 측정값을 산출합니다. 프리미티브와 관계적 구조를 공동으로 학습하기 위해, (1) 일반화된 특징을 추출하는 시각적 백본, (2) 이러한 특징을 미분 가능한 공간 좌표를 갖는 프리미티브 히트맵에 매핑하는 개념 병목 층(concept bottleneck layer), (3) 감지된 프리미티브 간의 후보 공간 관계를 평가하는 구조적 스코어링 층의 세 가지 구성 요소로 이루어진 엔드투엔드 아키텍처를 설계합니다. 마지막으로, 클래스별 관계 구성과 국소화된 프리미티브 외형의 결합 증거로부터 클래스 확률을 계산합니다. 널리 사용되는 DomainBed 스위트의 5가지 실제 이미지 분류 데이터셋에서 CRISP를 평가하며, 이는 묘사 스타일, 데이터셋 출처, 카메라 트랩 위치의 변화를 포괄하고 두 벤치마크 모두에서 새로운 최고 성능(state-of-the-art)을 달성합니다.

arXiv:2609.27749v1cs.AI

신규 AI 지원 교육 문항의 교육학적 평가를 위한 사전학습 모델 평가

Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

AI 지원 교육 자료 생성의 급증은 교육학적 품질을 검증할 역량을 앞질러 왔다. Bloom Classifier 모델을 이용한 자동 평가는 교육 자료를 대규모로 평가하는 유망한 접근이다. 이러한 모델은 분포 내(in-distribution) 데이터셋(IID 데이터셋)에서 높은 정확도를 보인다. 그러나 동일한 모델을 AI 지원 생성 문항과 같은 새로운 분포 외(out-of-distribution, OOD) 데이터셋에 적용하면 성능 저하가 나타날 수 있다. 데이터셋 이동(dataset shift) 하에서 견고한 분류기를 찾기 위해 Bloom 수준 분류 과제에 대해 전통적 머신러닝(ML), 트랜스포머, 대규모 언어 모델(LLM)을 평가했다. 또한 NLP 지표를 포함한 특징 공학(feature-engineering) 전략, 입력의 일부로 학습 목표를 덧붙이는 방법, OOD 성능을 안정화하기 위한 텍스트 스플라이싱(text splicing)을 탐구했다. 기준선 테스트는 TFPOS-IDF ML 모델이 OOD에서 BERT(0.55) 및 LLM(0.79)에 비해 낮은 성능(Macro F1-score 0.48)을 보임을 나타낸다. 텍스트 스플라이싱은 ML 및 BERT 모델의 macro F1-score 성능을 각각 0.59와 0.62로 향상시켰다. 입력에 학습 목표를 덧붙이는 것은 특정 데이터셋에서 모델 성능을 높였다. 모델 재학습은 모델과 데이터셋 전반에서 가장 큰 개선을 제공했다. 전반적으로 이러한 결과는 신규 AI 지원 교육 문항에 사전학습 모델을 사용할 때의 트레이드오프와, 전략적 특징 강화가 성능 저하를 완화하는 데 어떻게 기여하는지를 부각한다.

arXiv:2609.27745v1cs.AI

일반화 가능한 POMDP 해결을 위한 환경적 그루포이드의 범주론적 내재화

Categorical Internalisation of Environmental Groupoids for Generalisable POMDP Solving

본 논문은 고차원의 부분 관측 가능한 환경에서 강화학습을 구조화하고 개선하기 위한 실용적인 프레임워크로서 범주론(category theory)을 제안합니다. 저자들은 대칭 궤도(symmetry orbit)에 의해 유도된 동치류로 상태 공간을 분할하여 환경 상태 간의 대칭성을 모델링하고, 지정된 표준 대표원(canonical representative)을 갖는 그루포이드(groupoid)로 각 동치류를 구성합니다. 이를 통해 에이전트는 모든 방향이나 위치를 완전히 새로운 문제로 취급하는 대신, 유사한 여러 환경 상태에 걸쳐 학습한 내용을 동시에 공유할 수 있습니다. 따라서 학습은 각 궤도가 한 번씩만 표현되는 대칭 축소 상태 공간에서 수행되며, 구조를 보존하는 동시에 중복성을 제거하고 표본 효율성(sample efficiency)을 향상시킵니다. 저자들은 이 프레임워크를 표준 강화학습 파이프라인 내에 구현하고 부분 관측 가능한 벤치마크에서 두 가지 서로 다른 접근 방식을 평가하여, 궤도 기반 분할이 잠재적 대칭성을 나타내는 환경에서 일관된 성능 향상을 가져옴을 입증합니다. 이러한 실증적 결과를 넘어, 본 접근 방식은 범주론적 구조가 추상적 강화학습 정식화와 계산적 응용 사이의 원리적인 가교를 어떻게 제공하는지 보여주며, 이를 통해 더 구조화되고 확장 가능한 학습 시스템으로 나아가는 경로를 확립합니다.

arXiv:2609.25006v1cs.CL

99% 정확도는 무엇을 측정하는가? 널리 쓰이는 가짜 뉴스 코퍼스의 숏컷 학습에 대한 재현 가능한 감사

What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus

ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.

arXiv:2609.26603v1cs.LG

다중 그리드 전력 조류를 위한 계층형 GNN: 운영 시나리오 간 일반화

Towards Hierarchical GNNs for multi-grid power flow: generalization across operating scenarios

계층적 잠재 통신(hierarchical latent communication)은 다중 그리드 전력 조류 모델이 새로운 운영 시나리오로 일반화하는 능력을 향상시킨다. 이 모듈은 GENCO 기반 corrective network 내에서 두 개의 축소 그래프를 통해 정보를 교환한다. 세 가지 그리드 토폴로지에서 모델당 세 가지 초기화 시드를 사용한 200 에포크 예비 학습 동안 Kron 유도 수송(Kron-derived transports), 동일 앵커 Quotient 구성(same-anchor Quotient construction), 평(flat) backbone을 비교한다. 평가는 그리드당 새로 생성·사전 선정된 200개 시나리오를 사용한다. 학습 토폴로지에서 Kron은 macro family-balanced 전압 오차를 5.660 ± 0.899에서 0.851 ± 0.110으로 줄였으며, 이는 Flat GENCO 대비 85.0% 감소이고 Quotient(1.235 ± 0.225) 대비 31.0% 감소이다. 두 계층형 모델은 세 시드 모두에서 모든 학습 토폴로지에서 학습 해에 맞춘 버스별 평균(per-bus mean) fitted 기준보다 우수하다. 이 결과는 공유된 한 세트의 학습 파라미터로 그리드 전반에 걸쳐, 연구된 토폴로지 내에서 운영 시나리오 간 일반화를 보여 준다. 두 가지 추가 토폴로지에 대한 평가는 이 성과를 교차 토폴로지 일반화와 구분한다: 현재 모델은 calibrated-transfer 설정에서 fitted 기준을 아직 능가하지 못한다. 본 preprint는 다중 그리드 전력 조류 학습의 구성 요소로서 계층적 통신에 대한 아키텍처와 예비 근거를 제시하며, 보지 못한 토폴로지로의 일반화를 다음 개발 목표로 둔다.

arXiv:2310.00436v2cs.CL

도메인 변화 하에서의 저자 식별: 문체 측정치 및 학습된 저자 표현 서베이

Authorship identification under domain shift: a survey of stylistic measures and learned author representations

저자 식별(authorship identification)은 글쓰기 패턴을 활용하여 텍스트의 작성자가 누구인지 추론하지만, 이러한 패턴은 주제, 장르, 사용역(register) 또한 반영합니다. 본 서베이에서는 주제 독립성이 문체적 특징(stylistic feature) 자체의 속성이 아니라, 해당 특징과 그 인코딩 방식, 스코어링 규칙, 그리고 평가 분할(evaluation split)이 결합된 속성이라고 주장하며, 따라서 핵심 질문은 도메인이 변화할 때 어떤 조합이 저자 간의 차이를 보존하는가 하는 점입니다. 본 논문은 근거들을 도메인 및 평가 조건, 언어학적 측정치, 표현, 그리고 스코어링 및 결정 규칙이라는 네 가지 계층으로 체계화하고, 고전적인 빈도 기반 측정치부터 학습된 저자 표현 및 언어 모델 기반 글쓰기에 이르는 연구 내 비교(within-study comparisons)를 검토합니다. 이러한 비교는 왜 특징 목록만으로는 성능을 설명할 수 없는지를 보여줍니다. 즉, 정규화(normalization)와 인코딩에 따라 결과가 달라지며, 저자 지도 학습(author-supervised learning)이 콘텐츠 정보를 유지할 수 있고, 평가 프로토콜에 따라 모델(model) 순위가 뒤바뀔 수도 있습니다. 따라서 성공적인 식별, 문체적 유사도, 그리고 일반화에는 각각 별개의 근거가 필요합니다. 문헌에서는 저자 정체성을 글쓰기의 특정 상황과 분리하는 설계를 통해 이를 확보하는 실질적인 방법을 제공합니다. 즉, 동일한 저자가 여러 장르에 걸쳐 작성한 글, 동일한 대화 내에서 서로 다른 저자들이 작성한 글, 그리고 콘텐츠가 통제된 병렬 텍스트 등이 이에 해당합니다. 이러한 설계는 콘텐츠 마스킹과 언어 모델 기반 재작성(rewriting)의 평가에도 도움이 되며, 이들의 효과는 어떤 식별 정보가 남아 있는지에 따라 달라집니다. 우리는 이러한 근거를 활용하여 문체적 표현의 선택과, 이들 표현이 어디에서 일반화되는지 규명하는 데 필요한 비교 작업을 안내합니다.

arXiv:2609.24124v1cs.RO

ActiveArena: 로봇 조작에서 능동 지각의 벤치마킹 및 이해

ActiveArena: Benchmarking and Understanding Active Perception in Robotic Manipulation

능동 지각(active perception)과 조작(manipulation)은 로봇이 복잡한 장면과 상호작용하는 데 필수적이다. 기존 벤치마크는 로봇이 능동적으로 정보를 효과적으로 획득하고 기억에 유지하는 방식을 평가하는 데 한계가 있다. 이를 위해 제어 가능한 시점(viewpoint)과 대규모 작업 공간을 갖춘 능동 지각 시뮬레이터인 ActiveArena-Sim을 기반으로 소개한다. 이를 바탕으로 5개의 세분화 범주에 걸친 35개 과제로 구성되며, 시각적 탐험과 상호작용적 정보 획득을 포괄하는 ActiveArena-Bench를 제안한다. 각 과제는 수동적 관측만으로는 해결하기 어려워 다회 증거 획득과 메모리 기반 추론을 요구한다. 이 벤치마크는 풍부한 메모리 주석, 표준화된 학습 데이터, 분리된 장면·보지 못한 distractor 구성·새로운 배경을 특징으로 하는 ID/OOD 프로토콜을 제공한다. 더 나아가 메모리 쓰기, 메모리 용량, 고유수용감각(proprioceptive) 상태, 하위 과제 지도, 능동 지각에서의 고수준 계획에 대한 통제 연구를 위해 13가지 비전-언어-행동(VLA) 구성을 갖춘 모듈형 스위트 ActiveArena-VLA를 제시한다. 벤치마크 결과는 상당한 ID-OOD 격차를 보여 준다. 균일 메모리 샘플링, 신뢰할 수 있는 쓰기 정책 하에서의 메모리 용량 증가, 고유수용감각 입력, 하위 과제 지도는 OOD 일반화를 개선하는 반면, 플래너(planner)가 안내하는 메모리 관리와 의사결정은 희소(sparse) 메모리만 사용하는 최고 성능 구성에 근접한 성능을 달성한다. ActiveArena는 thus 능동 지각과 조작을 위한 모델을 개발하고 진단할 수 있는 통합 시험 환경을 제공한다.

arXiv:2609.24839v1cs.CV

더 넓은 시점이 실패할 때: 피드포워드 3D 재구성 스트레스 테스트

When Wider Views Fail: Stress-Testing Feed-Forward 3D Reconstruction

피드포워드(feed-forward) 3D 재구성 모델은 희소한 이미지로부터 효율적인 기하학적 형상 추정을 가능하게 하지만, 사전학습(pre-training)된 특성으로 인해 학습(training) 데이터의 범위를 벗어난 분포 변화(distribution shift)에 취약해질 수 있습니다. 이러한 실패 모드를 식별하는 것은 제약이 없는 촬영 환경에서 해당 모델들을 언제 안정적으로 배포할 수 있는지 이해하는 데 중요합니다. 본 연구에서는 입력 예산을 고정한 채 희소 이미지 입력의 각도 범위(angular span)를 변화시킴으로써, 통제된 분포 변화로서의 시점 변동을 조사합니다. 여러 피드포워드 재구성 모델에 걸쳐 시점 범위가 증가함에 따라 상당한 성능 저하가 관찰되었으며, 넓은 범위에서는 불완전한 표면 커버리지와 관측된 이미지에 의해 뒷받침되지 않는 기하학적 형상이 모두 생성되었습니다. 이러한 결과는 시점 변동이 기존의 재구성 불완전성을 넘어서는 실패 모드를 유발할 수 있음을 보여주며, 학습된 기하학적 사전 확률(prior)에 도전하는 분포 변화 하에서 사전학습된 피드포워드 모델을 평가할 필요성을 강조합니다.

arXiv:2609.24668v1cs.CV

Ev-YOLO: 통합 증거 공식화를 통한 불확실성 인식 객체 검출

Ev-YOLO: Uncertainty-Aware Object Detection via a Unified Evidential Formulation

불확실한 환경에서 동작하는 자율 시스템에 객체 검출기를 배포하려면 신뢰할 수 있는 불확실성 추정이 필수적이다. 증거 심층 학습(Evidential Deep Learning, EDL)은 네트워크 출력을 증거(evidence)로 표현하고 주관 논리(subjective logic)를 통해 예측을 해석함으로써 불확실성 인식 분류를 위한 원칙적인 프레임워크를 제공한다. 그러나 기존 증거 기반 객체 검출기는 일반적으로 동일한 이론적 기반을 공유하지 않는 회귀(regression) 불확실성 모델과 증거적 분류를 결합한다. 본 연구에서는 분류와 바운딩 박스(bounding-box) 회귀를 모두 공통의 증거 프레임워크 안에서 공식화한 YOLOv8의 증거적 버전을 제안한다. 우리 접근법은 YOLOv8의 분포 기반 바운딩 박스 표현을 활용하여 증거 공식화를 분류뿐 아니라 위치 추정(localisation)에도 적용할 수 있게 한다. 그 결과 두 과제 모두 Dempster–Shafer 프레임워크 내에서 해석할 수 있는 믿음(belief), 불확실ity, 확률 추정치를 생성한다. KITTI, MUSES, nuScenes에서의 실험은 결과 검출기가 검출 정확도 측면에서 표준 YOLOv8과 대체로 경쟁력을 유지하면서, 올바른 검출과 잘못된 검출을 효과적으로 구별하는 위치 추정 불확실성을 제공함을 보여준다. 또한 이 불확실성은 도메인 이동(domain shift) 하에서 점점 더 변별력을 갖게 된다.

arXiv:2609.24494v1cs.CV

CMAMBADEPTH: 채널 맘바와 하이브리드 어텐션을 활용한 자기지도 단안 깊이 추정

CMAMBADEPTH: Self-supervised Monocular Depth Estimation with Channel Mamba and Hybrid Attention

정확한 단안 깊이 추정(monocular depth estimation)은 단일 카메라 장면 이해를 위한 핵심적인 조력자 역할을 합니다. 그러나 기존의 자기지도 단안 깊이 추정 방법들은 일반적으로 비효율적인 교차 스케일 정보 상호작용과 국소(local) 및 전역(global) 공간 모델링의 균형을 맞추기 어렵다는 병목 현상을 겪고 있습니다. 본 논문에서는 채널별 선택적 상태 전파를 통해 효율적인 다중 스케일 특징(feature) 융합과 세밀한 문맥 모델링을 달성하는 자기지도 프레임워크인 CMambaDepth를 제안합니다. 구체적으로, 양방향 채널 맘바(Bidirectional Channel Mamba, Bi-CMamba)는 스케일에 걸쳐 인코더 특징을 정렬하고 순서화된 스케일 그룹 간의 양방향 정보 교환을 가능하게 합니다. 단방향 채널 맘바(Unidirectional Channel Mamba, Uni-CMamba)는 디코더 특징을 점진적으로 집약하고 후속 융합을 위한 그룹 선택 메커니즘을 통해 세밀한 스케일 그룹을 유지합니다. 나아가, 상호보완적인 공간 모델링을 위해 대형 커널(kernel) 국소 문맥과 맨해튼 자기 어텐션(Manhattan self-attention)을 결합하는 하이브리드 어텐션 모듈(Hybrid Attention Module, HAM)을 도입합니다. 실험 결과는 본 제안 방법이 매우 경쟁력 있는 성능을 달성함을 입증합니다. 구체적으로, 본 모델(model)은 KITTI에서 0.094의 AbsRel과 4.156의 RMSE를 기록하고, DDAD에서 0.140의 AbsRel을 달성합니다. NYUv2에서의 제로샷(zero-shot) 교차 데이터셋(dataset) 일반화 테스트에서는 0.232의 AbsRel을 달성하여 기준선(baseline)인 RA-Depth보다 7.2% 향상된 성능을 보입니다.

arXiv:2609.24350v1cs.RO

LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models

로봇 파운데이션 모델은 표준 조작(manipulation) 벤치마크에서 인상적인 성능을 보이지만, 이러한 평가는 일반적으로 실행 전 과정에 걸쳐 깨끗하고 시의적절하며 일관된 시각 관측을 가정한다. 본 논문은 실행 중 이용 가능한 시각적 증거를 교란함으로써 로봇 파운데이션 모델의 폐루프(closed-loop) 시각적 견고성을 체계적으로 평가하기 위한 벤치마크 LIBERO-VPro를 제안한다. LIBERO-VPro는 시각적 증거 열화(Visual Evidence Degradation), 카메라 관측 지연(Camera Staleness), 시각 소스 일관성(Visual Source Consistency), 작업 관련 장면 변화(Task-Relevant Scene Variation)를 포함한 네 가지 상보적 차원을 다루며, 12개의 도전 카테고리, 96개의 실험 설정, 3,296개의 과제-조건 사례를 아우른다. 약 196,000개의 시뮬레이션 에피소드에 걸쳐 세 가지 비전-언어-행동(vision-language-action, VLA) 모델과 세 가지 월드-행동(world-action, WAM) 모델을 평가했으며, Franka Research 3에서 200회의 실제 롤아웃으로 이를 보완했다. 결과는 강한 명목상(nominal) 성능이 시각적 그라운딩(grounding)과 적응(adaptation)에서 상당한 약점을 가릴 수 있음을 보여준다. 모델은 종종 심각한 객체 수준 가림(occlusion)에도 불구하고 성공을 유지하지만, 국소 상호작용 단서가 방해되거나 친숙한 공간적 사전(prior)이 위반되면 급격히 성능이 저하된다. 또한 지연되거나 누락된 관측에 매우 민감하며, 변경된 과제 전제조건이 행동 적응을 요구할 때 어려움을 겪는다. 마지막으로 VLA와 WAM은 서로 다른 견고성 프로파일을 보이며, 시각적 견고성이 다차원적이며 아키텍처에 의존적임을 보여준다. LIBERO-VPro는 어려운 시각 조건 하에서 보다 신뢰성 있게 행동을 그라운딩하고 적응할 수 있는 로봇 파운데이션 모델 개발을 위한 체계적인 진단 프레임워크를 제공한다.

arXiv:2609.24276v1cs.CV

쌍곡 비전-언어 모델을 위한 계층적 프롬프트 학습

Hierarchical Prompt Learning for Hyperbolic Vision-Language Models

쌍곡 비전-언어(vision-language) 모델(VLM)은 계층 구조에 자연스럽게 적합한 기하학적 공간에서 이미지와 텍스트 특징을 표현하지만, 다운스트림 작업으로의 적응은 주로 고정된 프롬프트(prompt)에 의존해 왔습니다. 반면 기존의 프롬프트 학습 방법들은 클래스 레이블을 평면적인 집합으로 다루며 활용 가능한 분류 체계(taxonomic) 구조를 활용하지 못합니다. 본 논문에서는 고정된(frozen) 쌍곡 VLM을 위한 계층적 프롬프트 학습 플러그인을 통해 이러한 간극을 해결합니다. 고정된 오프라인 부모-클래스 계층 구조가 주어지면, 클래스 프롬프트 학습기에 별도의 부모 프롬프트 학습기, 부모 수준의 지도(supervision), 쌍곡 함의 정규화(regularization), 그리고 부모 피드백 로짓(logit) 융합을 추가하여 확장합니다. 본 연구는 이 방식을 CoOp, CoCoOp, MaPLe에 적용하여 각각 HyPLO, CoHyPLO, MaHyPLO를 구현했습니다. 표준 11개 데이터셋(dataset) 벤치마크 전반에서 모든 변형 모델은 베이스-신규(base-to-new) 일반화 및 데이터셋 간 전이 성능을 향상시키며, 도메인 시프트(domain shift) 상황에서도 기존 프롬프트 학습 베이스라인과 대등한 성능을 유지합니다. 6가지 계층적 지표와 임베딩(embedding) 분석 결과, 본 방법이 분류 체계 측면에서 더 일관된 예측을 생성하며 쌍곡 공간에서 부모, 클래스, 이미지 임베딩 간의 계층 일관적인 구조화를 유도함을 보여줍니다. 성능 향상은 새로운 클래스를 고정된 분류 체계 내에 배치해야 할 때 가장 컸으며, 형제 클래스 간의 미세한 혼동이나 이미지 분포에만 영향을 미치는 시프트의 경우에는 가장 작았습니다.

arXiv:2609.24075v1cs.CV

악조건 속 견고한 컴퓨터 비전을 위한 쌍으로 구성된 합성 건설 현장 이미지 데이터셋

A paired synthetic construction-site image dataset for robust computer vision under adverse conditions

건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.

arXiv:2609.23983v1cs.CV

아프리카 뇌 MRI에서 신경영상 파운데이션 모델의 일반화 성능 평가

Evaluating the Generalization of Neuroimaging Foundation Models on African Brain MRI

주로 서구권 코호트로 구성된 대규모 데이터로 사전학습(pre-training)된 신경영상 파운데이션 모델(foundation model)이 뇌 MRI 분석을 위한 범용 백본(backbone)으로 점점 더 많이 제안되고 있다. 그러나 이러한 모델이 대표성이 낮은 임상 집단에 대해 일반화될 수 있는지는 아직 대부분 검증(validation)되지 않았다. 본 연구에서는 최근 발표된 4개의 파운데이션 모델(BrainIAC, Neuro-JEPA, NeuroVFM, Primus)을 나이지리아 임상 뇌 MRI 데이터셋(dataset)에서 얻은 88명 피험자 코호트를 대상으로, 네 가지 모달리티 구성(T1w, T2w, T1w+T2w, FLAIR)에 걸쳐 대조군(Control), 치매(Dementia), 파킨슨병(Parkinson's disease)을 구분하는 3가지 분류(classification) 진단 과제에서 평가하고, 엔드투엔드(end-to-end)로 학습된 ViT3D 기준선(baseline)과 비교한다. 동결(frozen)된 백본들은 다수 클래스 예측으로 붕괴하는 반면, FLAIR에서의 Neuro-JEPA는 다소 완화되었으나 여전히 제한적인 판별력을 보인다. 반면 엔드투엔드로 학습된 ViT3D는 모든 과제에서 더 높은 정확도와 MCC를 달성하며(최대 정확도 53.4%, MCC=0.27), 유의미한 재현율(recall)을 보이는 유일한 모델이다. 이러한 결과는 동결된 신경영상 파운데이션 모델들이 규모가 작은 비서구권 임상 코호트에서의 세밀한 진단 분류에는 충분하지 않음을 시사하며, 글로벌 헬스(global health) 환경에서의 공평한 배포를 위해 매개변수(parameter) 효율적인 적응(adaptation)과 더 폭넓은 다기관 외부 검증의 필요성을 제기한다.

arXiv:2609.23830v1cs.CV

DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인

DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline

오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.

arXiv:2609.23758v1cs.CV

교차 도메인 퓨샷 분류를 위한 학습이 필요 없는 스펙트럴 트랜스덕티브 정제

Training-Free Spectral Transductive Refinement for Cross-Domain Few-Shot Classification

고정된(frozen) 시각적 특징을 사용하는 퓨샷 인식(few-shot recognition)은 도메인 시프트(domain shift)와 원샷(one-shot) 지도 학습 상황에서 특히 취약한데, 이 경우 레이블이 지정된 단일 이미지만으로는 해당 클래스에 대한 신뢰할 수 있는 추정을 하기 어렵다. 우리는 인코더를 재학습하거나 소스 도메인을 증강하지 않고, 순전히 테스트 시점에서만 이러한 취약성을 얼마나 줄일 수 있는지를 탐구한다. 우리는 전체 서포트-쿼리 에피소드(support-query episode)의 기하학적 구조를 활용하는, 학습이 필요 없는 트랜스덕티브 추론 규칙인 스펙트럴 트랜스덕티브 정제(Spectral Transductive Refinement, STR)를 제안한다. 고정된 임베딩(embedding)이 주어지면, STR은 결합된 k-최근접 이웃(k-nearest-neighbour) 그래프를 구성하고, 에피소드를 정규화된 라플라시안(normalized-Laplacian) 스펙트럴 좌표계로 매핑한 뒤, 레이블이 지정된 서포트로부터 클래스 대표값을 초기화하고, 의사 레이블(pseudo-label)이 부여된 쿼리를 이용해 이를 반복적으로 정제한다. 우리는 두 가지 프로토콜 하에서 STR을 평가한다. 고정된 ResNet-18 특징을 사용한 통제된 구성 요소 연구(component study)에서, 스펙트럴 정제는 다섯 개의 시프트된 도메인 전반에 걸쳐 단일 프로토타입 스펙트럴 초기화 대비 일관되게 성능을 향상시키며, 서포트 추정치가 가장 취약한 원샷 환경에서 가장 큰 성능 향상을 보인다. 이어서 우리는 표준 miniImageNet 사전학습(pre-training) ResNet-10 백본을 사용하여 8개의 확립된 타깃 도메인에 걸쳐 STR을 최근의 교차 도메인 퓨샷 학습(Cross-Domain Few-Shot Learning, CD-FSL) 기법들과 비교 벤치마킹한다. 전적으로 추론 시점에서만 동작함에도 불구하고, STR은 비교 대상 기법들 중 가장 높은 1샷 평균 성능을 달성하며, 5샷에서도 소스 도메인에 대한 대규모 메타 학습 증강(meta-training augmentation)에 의존하는 접근법들과 견줄 만한 경쟁력 있는 성능을 유지한다. STR이 트랜스덕티브 방식이라는 점을 고려하여, 우리는 해당 설정을 명시적으로 보고한다. 진단 분석(diagnostics) 결과, STR의 성능 향상은 추가된 프로토타입 용량(prototype capacity)이 아니라 스펙트럴 좌표에서의 반복적 정제에 기인하며, 프로토타입 용량은 우리의 설정에서 비활성 상태로 유지된다.

arXiv:2609.23541v1cs.CV

비전 기초 모델을 통한 견고한 멀티모달 3D 객체 검출

Towards robust multimodal 3D object detection via visual foundation models

멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.

arXiv:2609.23409v1cs.CV

검색 기하 구조가 캐시 기반 CLIP 적응을 좌우한다

Retrieval Geometry Shapes Cache-Based Clip Adaptation

캐시 기반 테스트 시점 적응(test-time adaptation)은 모델을 고정(frozen)한 채 타깃 스트림에서 예시를 저장하고 검색함으로써 CLIP의 예측을 향상시킨다. 그러나 기존 방법들은 이미지-이미지 검색에 사용되는 특징 공간을 대부분 고정된 것으로 취급하여, 적응이 검색 공간 자체에 얼마나 의존하는지는 밝혀지지 않은 채로 남아 있었다. 본 연구는 메모리를 고정하고 검색 인코더만 변경함으로써 이 질문을 탐구하며, 동일한 메모리라도 매우 다른 성능 향상을 가져올 수 있음을 발견하였다: 16개의 검색 공간에 걸쳐 ImageNet-A 캐시 성능 향상은 CLIP과 MAE의 경우 최대 +0.44점에 그치는 반면, DINOv2-L의 경우 +19.7 ± 0.4점에 달했으며, 레이블 없이(label-free) 검색 공간을 선택하는 방식은 ImageNet-V2에서 오라클(oracle) 성능 향상의 98%를 유지하였다. 이러한 결과는 메모리의 품질이 어떤 예시가 저장되는지뿐만 아니라 그것들이 어떻게 검색되는지에도 좌우됨을 보여준다. 이 발견에 착안하여, 우리는 예측에는 고정된(frozen) CLIP을, 검색에는 DINOv2-B를 사용하고 단일 융합 가중치(weight)를 적용하는 학습이 필요 없는(training-free) 시스템인 MARC(Memory Augmented Retrieval for CLIP)를 제안한다. 단일 뷰(single-view) 캐시는 약 7분의 1의 비용으로 1074 ± 21개의 기준선(baseline) 오류를 수정하는 반면, 64개 뷰 앙상블(ensemble)은 878 ± 4개를 수정하는 데 그친다. 네 가지 ImageNet 분포 이동(distribution shift)에 걸쳐 MARC는 67.91%의 분포 외(OOD) 평균 성능을 달성하였으며, 동일한 DINOv2-B 규모와 8개 뷰 조건에서 그래프 기반 캐시 시스템의 62.75 ± 0.15% 대비 64.17 ± 0.31%를 달성하면서도 2.6배 더 빠르게 동작하였다. 전반적으로, 본 연구의 결과는 원격 탐사(remote sensing), 과학 이미징(scientific imaging), 그리고 변화하는 시각 환경에서 강건한(robust) 캐시 기반 적응을 위해 검색 공간이 1차적인(first-order) 설계 선택 요소임을 확립한다.

arXiv:2609.23369v1cs.CV

행동을 위한 올바른 미래: 세계 행동 모델에서 행동 관련 예측 상태 학습

The Right Future for Action: Learning Action-Relevant Predictive States in World Action Models

생성 과정이 필요 없는 세계 행동 모델(World Action Model, WAM)은 학습(training) 중에는 미래 비디오 예측을 유지하지만, 추론(inference) 시에는 내부 비디오 특징(feature)을 바탕으로 행동합니다. 그러나 제어를 위해 이러한 특징이 무엇을 보존해야 하는지는 여전히 불분명합니다. 본 연구의 표현 진단 결과에 따르면, 미래 변화를 더 잘 예측할 수 있는 표현이라 하더라도 선형 행동 디코딩을 반드시 더 쉽게 만드는 것은 아니었습니다. 관측된 미래 변화는 현재를 넘어서는 추가적인 행동 정보를 제공하며, 선형적으로 읽을 수 있는 행동 정보는 공간적으로 집중되어 있습니다. 이러한 발견을 바탕으로 비디오 전문가와 행동 전문가 사이의 컴팩트한 예측 인터페이스인 ARPS(Action-Relevant Predictive States)를 제안합니다. ARPS는 시계(horizon) 조건부 상태 예측기를 사용하여 중간 비디오 특징들을 컴팩트한 상태로 집약하며, 이 상태는 행동 전문가에게 모든 시각적 컨텍스트를 제공합니다. 미래 표현 지도(supervision)는 이 상태의 서로 다른 부분이 현재 대비 변화와 함께 서로 다른 미래 시점의 시각적 표현을 예측하도록 학습시킵니다. 추론 시에는 지도 브랜치가 제거되며, 행동 전문가는 현재 관측으로부터 계산된 학습된 예측 상태만을 사용합니다. 통제된 절제 연구(ablation)는 미래 지도가 분포 변화(distribution shift) 하에서의 일반화 성능을 크게 향상시킴을 보여줍니다. ARPS는 LIBERO에서 99.2%의 성공률을 달성했으며, 추가 적응(adaptation) 없이 LIBERO-Plus로 전이되어 87.3%에 도달하며 Fast-WAM을 39.2%포인트 앞섰습니다.

arXiv:2609.23026v1cs.CV

BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할

BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation

뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.