PyTorchKR Papers

최신 논문

총 56편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27710v3cs.CV

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2606.18634v2cs.RO

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지 환경에서 대상 객체를 효율적으로 찾기 위해 EffiNav는 깊이(depth) 기반 후보 영역 생성과 오픈소스 VLM의 ego-centric·top-down 이중 검증, 탐험 이력 기반 중복 탐색 억제를 결합한 비학습 ObjNav 프레임워크를 제안한다. HM3D·OVON·GOAT-BENCH 및 실제 로봇 평가에서 성공률(SR)과 경로 길이 가중 성공(SPL) 기준으로 최근 베이스라인과 대등하거나 이를 능가해 효율성과 일반화 가능성을 입증했다.

arXiv:2609.27252v1cs.LG

플라톤적 표현 가설에서 무엇이 수렴하는가? 기하학보다 구조

What Converges in the Platonic Representation Hypothesis? Structure over Geometry

플라톤적 표현 가설(Platonic Representation Hypothesis)은 모델의 능력이 향상될수록 공유된 표현으로 수렴(convergence)한다고 제안합니다. 최근 연구에서는 이 주장을 공유된 국소적 이웃 관계로 좁히며, 보정(calibration)을 거치고 나면 여러 전역적 유사도 측정치에서 나타나는 용량 의존적 경향이 대체로 사라진다는 점을 발견했습니다. 본 연구에서는 기존의 국소-전역 비교가 구조적 스케일(국소적 대 전역적)과 비교 대상 자체를 혼동하고 있음을 보여줌으로써 이러한 해석에 의문을 제기합니다. 즉, 어떤 샘플들이 연관되어 있는지를 정의하는 '관계적 구조(relational structure)'와 거리, 유사도, 상관관계와 같은 정량적 관계로 특징지어지는 '계량적 기하학(metric geometry)'을 혼동했다는 것입니다. 이러한 요인들을 분리하기 위해, 국소 및 전역 스케일 모두에서 관계적 구조와 계량적 기하학을 평가하는 통제된 $2\times2$ 프레임워크를 구축합니다. 상호 $k$-최근접 이웃(mutual $k$-nearest neighbors)의 전역적 대응물로서 $H_0$ 스켈레톤 중첩(skeleton overlap)을 도입하고, 이에 대응하는 거리 인식(distance-aware) 변형들도 함께 제시합니다. 비전-언어 모델 전반에 걸쳐, 관계적 구조는 보정 후 두 스케일 모두에서 강력한 표현 수렴을 보이는 반면, 거리에 대한 일치 기준이 엄격해질수록 정렬(alignment)이 크게 약화되며 용량 의존적 경향도 점차 평탄화됩니다. 나아가 리만 계량 근사(Riemannian metric approximation) 하에서 거리 일치도를 평가함으로써 주변 유클리드 기하학을 넘어서는 분석으로 확장하였으며, 동일한 구조-기하학 패턴을 재현해 냈습니다. 이 패턴은 비디오-텍스트 표현에서도 동일하게 재현됩니다. 종합적으로, 이러한 결과는 관계적 수렴이 국소적 이웃을 넘어 전역적 스패닝 구조(global spanning structure)로까지 확장되는 반면, 계량적 기하학은 현저히 약한 수렴을 보임을 명백히 드러냅니다.

arXiv:2609.28222v1cs.CV

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.16597v3cs.CV

수술 전 다중 모달 데이터를 이용한 정밀·포괄적 뇌종양 진단을 위한 비전-언어 파운데이션 모델

A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data

BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.

arXiv:2609.26210v1cs.CL

같은 차트, 다른 이야기: 비전-언어 차트 해석의 바이어스

Same Chart, Different Story: Bias in Vision-Language Chart Interpretation

비전-언어 모델(VLM)은 차트를 해석하고 사회적으로 중요한 데이터에 대한 자연어 설명을 생성하는 데 점점 더 많이 사용되고 있다. 그러나 참조되는 사회 집단만 바뀌었을 때 동일한 차트에 대해 서로 다른 서사를 생성할 수 있어 고정관념을 강화하고 잘못된 의사결정을 유도할 수 있다. 이러한 위험에도 불구하고, 사회적 차원에 걸친 차트 해석 바이어스를 체계적으로 평가할 벤치마크는 존재하지 않는다. 우리는 VLM 기반 차트 해석에서 바이어스를 감사하기 위한 최초의 벤치마크인 ChartBias를 제안한다. ChartBias는 인종, 소득, 연령, 종교, 이민 신분, 성별의 여섯 속성을 아우르는 820개의 수동으로 큐레이션한 실세계 차트를 포함하며, 4,319개의 유효한 차트-속성 인스턴스와 차트는 고정하고 집단 용어만 교체한 8,638개의 쌍(pair) 생성물을 산출한다. 독점 및 오픈소스 VLM 12개에 걸쳐 총 155,484개의 모델 응답을 분석한 결과, 세 가지 광범위한 실패 양상을 발견한다: 서사 전환(narrative shift, 동일 차트·상이한 서사), 집단 환각(group hallucination, 근거 없이 차트를 특정 집단에 귀속), 선호 극성(preference polarity, 유리한 추세가 한 집단에 더 자주 연결됨). 또한 차트에 근거한 증거 추출과 집단 조건 생성을 분리하고, 반사실적(counterfactual) 판정자가 집단에 따른 차이가 차트로 뒷받침되는지 검증하는 다중 에이전트 완화 프레임워크를 제안하며, 이는 강한 기준선 역할을 한다. 이 프레임워크는 차트에 근거한 추론을 유지하면서 서사 전환을 실질적으로 줄인다. 우리의 결과는 차트 이해 평가가 정확도뿐 아니라 사회 집단 간 공정성과 일관성도 측정해야 함을 보여준다. ChartBias는 https://github.com/vis-nlp/ChartBiasBench 에서 공개한다.

arXiv:2609.24539v1cs.CV

다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입

Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification

다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.

arXiv:2609.24510v1cs.CV

0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습

0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation

최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.

arXiv:2609.24276v1cs.CV

쌍곡 비전-언어 모델을 위한 계층적 프롬프트 학습

Hierarchical Prompt Learning for Hyperbolic Vision-Language Models

쌍곡 비전-언어(vision-language) 모델(VLM)은 계층 구조에 자연스럽게 적합한 기하학적 공간에서 이미지와 텍스트 특징을 표현하지만, 다운스트림 작업으로의 적응은 주로 고정된 프롬프트(prompt)에 의존해 왔습니다. 반면 기존의 프롬프트 학습 방법들은 클래스 레이블을 평면적인 집합으로 다루며 활용 가능한 분류 체계(taxonomic) 구조를 활용하지 못합니다. 본 논문에서는 고정된(frozen) 쌍곡 VLM을 위한 계층적 프롬프트 학습 플러그인을 통해 이러한 간극을 해결합니다. 고정된 오프라인 부모-클래스 계층 구조가 주어지면, 클래스 프롬프트 학습기에 별도의 부모 프롬프트 학습기, 부모 수준의 지도(supervision), 쌍곡 함의 정규화(regularization), 그리고 부모 피드백 로짓(logit) 융합을 추가하여 확장합니다. 본 연구는 이 방식을 CoOp, CoCoOp, MaPLe에 적용하여 각각 HyPLO, CoHyPLO, MaHyPLO를 구현했습니다. 표준 11개 데이터셋(dataset) 벤치마크 전반에서 모든 변형 모델은 베이스-신규(base-to-new) 일반화 및 데이터셋 간 전이 성능을 향상시키며, 도메인 시프트(domain shift) 상황에서도 기존 프롬프트 학습 베이스라인과 대등한 성능을 유지합니다. 6가지 계층적 지표와 임베딩(embedding) 분석 결과, 본 방법이 분류 체계 측면에서 더 일관된 예측을 생성하며 쌍곡 공간에서 부모, 클래스, 이미지 임베딩 간의 계층 일관적인 구조화를 유도함을 보여줍니다. 성능 향상은 새로운 클래스를 고정된 분류 체계 내에 배치해야 할 때 가장 컸으며, 형제 클래스 간의 미세한 혼동이나 이미지 분포에만 영향을 미치는 시프트의 경우에는 가장 작았습니다.

arXiv:2609.24210v1cs.CV

ChartJudgeBench: 차트-투-코드 생성을 위한 LMM 판정자(Judge) 평가

ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation

강력한 차트-투-코드(chart-to-code) 시스템을 구축하는 것은 점점 더 강화학습(reinforcement learning)에 의존하고 있으며, 그 효과는 보상(reward) 신호의 품질에 결정적으로 좌우된다. 대규모 멀티모달 모델(Large Multimodal Models, LMM)은 차트의 시각적 외관과 작업 요구사항을 함께 평가하는 데 있어 본질적으로 핵심적인 역할을 한다. 이 때문에 LMM은 시각적 비평자(critic) 및 보상 모델로 점점 더 많이 사용되고 있지만, 판정자(judge)로서의 신뢰성은 아직 거의 탐구되지 않았다. 이를 위해 우리는 차트-투-코드 워크플로우에서 LMM 판정자를 평가하기 위한 진단용 비전-언어 벤치마크인 ChartJudgeBench를 소개한다. 여기에는 쌍별(pairwise) 차트 비교를 위한 1,003개의 Chart Perception Alignment(CPA) 인스턴스와, Chart Reproduction 및 Chart Editing에서의 이진 Accept/Reject 검증을 위한 650개의 Chart Reasoning Judgment(CRJ) 인스턴스가 포함되어 있다. 이 두 과제는 함께 에이전틱(agentic) 정제 및 강화학습 기반 차트 최적화에 요구되는 핵심적인 판정 결정을 모사한다. 강력한 LMM들에 대한 평가 결과, 네 가지 체계적인 한계가 드러났다: (i) 쌍별 비교에서의 위치 바이어스(positional bias), (ii) Accept를 과도하게 예측하는 강한 경향, (iii) 시각적 스타일과 미적 요소를 일치시키는 데 있어서의 어려움, (iv) 강화학습으로 학습된 모델에서 나타나는 예상치 못한 관대함 바이어스(leniency bias)이다. 이러한 결과는 현재의 LMM 판정자가 차트-투-코드 최적화에서 비평자나 보상 모델로 사용되기 전에 명시적인 신뢰성 검증(validation)이 필요함을 보여준다. 코드와 데이터는 ChartJudgeBench에서 확인할 수 있다.

arXiv:2609.23600v1cs.CV

PETR: 비전-언어 모델을 위한 학습 불필요 라우팅 기반 프롬프트 앙상블

PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models

프롬프트 학습(prompt learning)은 비전-언어(vision-language) 모델(VLM)을 다운스트림 태스크에 효율적으로 적응시키지만, 기존에 본 클래스(seen classes)에서의 성능 향상은 종종 보지 못한 클래스(unseen classes)에 대한 일반화 성능 저하를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 학습 불필요 라우팅 기반 프롬프트 앙상블(PETR)을 제안합니다. 이 방법의 핵심 혁신은 정교하게 설계된 듀얼 프롬프트 아키텍처로, 서로 다른 데이터와 목적함수로부터 두 개의 상호 보완적인 프롬프트를 학습하여 각각 본 클래스 구별과 보지 못한 클래스 일반화를 강조합니다. 학습(training) 중에는 공유된 동결 CLIP 백본을 사용하여 두 프롬프트를 모두 파인튜닝(fine-tuning)하며, 학습 세트 로짓(logit)으로부터 통계 정보를 수집합니다. 추론(inference) 시점에는 각 테스트 샘플과 본 데이터 간의 유사도를 판별하고, 해당 샘플을 가장 적절한 프롬프트 브랜치로 라우팅합니다. 우리가 아는 한, 이는 통계적 유사성을 기반으로 학습 불필요 적응형 라우팅을 수행하는 최초의 프롬프트 튜닝 프레임워크입니다. 이러한 설계는 해석 가능한 라우팅 신호를 제공하며 라우터 학습 불안정성 및 부하 불균형과 같은 일반적인 전문가 혼합(MoE) 방식 라우팅의 병리적 현상을 방지합니다. 11개 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험은 제안하는 프레임워크가 본 클래스와 보지 못한 클래스 모두에서 기존 방법들을 일관되게 능가하며 새로운 최고 성능(state-of-the-art)을 달성함을 입증합니다.

arXiv:2609.23248v1cs.CV

SPACE: 도메인 적응을 위한 CLIP 임베딩의 의미적 투영 및 정렬

SPACE: Semantic Projection and Alignment of CLIP Embeddings for Domain Adaptation

비전 모델을 배포할 때 근본적인 난제는 도메인 시프트(domain shift)이며, 학습 데이터와 테스트 데이터의 분포가 달라 성능이 저하될 때 이를 야기한다. 동일한 의미 개념이 사진과 스케치처럼 서로 다른 시각적 형태로 나타날 때, 의미적으로는 대응하지만 시각적 유사성은 약해져 이 난제는 더욱 커진다. 기존 비지도 도메인 적응(domain adaptation) 방법은 도메인 간 분포를 맞추는 것을 목표로 하지만, 같은 클래스에 속한 샘플들 간의 의미적 관계를 종종 무시한다. 이 문제를 해결하기 위해 본 논문은 CLIP의 비전-언어(vision-language) 공간의 의미 구조를 도메인 적응에 활용하는 방법인 SPACE를 제안한다. 핵심 아이디어는 클래스 설명에 대한 CLIP 임베딩에 특이값 분해(Singular Value Decomposition)를 적용해 범주 간 의미적 관계를 포착하는 직교 기저(orthogonal basis)를 얻고, 텍스트 설명을 의미 앵커(semantic anchor)로 사용하는 것이다. 양 도메인의 시각 특징을 이 의미 부분공간(semantic subspace)에 투영하여, 외관이 아니라 의미에 기반해 이미지를 정렬한다.

arXiv:2609.23012v1cs.CV

CrowdCue: 비전-언어 군중 계수를 위한 전문가-단서 조건화

CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting

생성형 비전-언어 모델(VLM)은 하나의 모델이 군중 수와 장면에 대한 자연어 설명을 모두 생성하는 계수 패러다임을 제공하지만, 이들의 순수 계수 정확도는 100만 개 미만의 매개변수를 가진 전문가 회귀 모델 수준에 머물러 있습니다. 여기서 핵심적인 미해결 과제는 사전학습된 전문가의 보조 가이드가 VLM을 유의미한 수준으로 끌어올릴 수 있는지, 그리고 그 가이드를 어떤 채널을 통해 전달하는 것이 최적인지 여부입니다. 본 연구에서는 네 가지 널리 사용되는 군중 계수 벤치마크(ShanghaiTech A 및 B, UCF-QNRF, NWPU-Crowd)에서 Qwen2.5-VL-7B를 평가합니다. 제로샷 프롬프팅은 파싱 가능한 계수 값을 거의 생성하지 못하므로, LoRA 지도 미세조정을 통해 전체 MAE 81.64의 기준선을 확립했습니다. P2PNet에서 파생된 밀도 히트맵을 보조 시각적 신호로 조건화하는 방식은 테스트한 모든 인코딩에서 실패했으며, 적대적 교체 프로토콜을 통해 모델이 히트맵을 읽기는 하지만 이를 역효과가 나도록 적용함을 확인했습니다. 이에 따라 본 연구는 동일한 전문가의 이미 통합된 정수 계수 값을 이산 기호로서 VLM에 제공하는 접근 방식인 CrowdCue를 제안합니다. 텍스트 채널 변형은 MAE 72.04에 도달했습니다. 정수를 인쇄된 숫자로 렌더링하여 두 번째 이미지로 제공하는 시각적 채널 변형은 본 논문에서 가장 우수한 결과인 MAE 62.65에 도달하며, 단서를 제공한 전문가 단독 성능(동일 분할 기준 84.45)을 크게 앞질렀습니다. 본 연구에서 다룬 후기 융합 VLM에서 구속 제약이 되는 것은 채널 자체가 아니라 전문가 신호가 전달되는 추상화 수준입니다.

arXiv:2609.07780v2cs.CV

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.22712v2cs.CV

scMIR: 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델

scMIR: a vision-language foundation model for single-cell light microscopy image representation

단일 세포 광학 현미경 이미지는 세포 표현형(phenotype)을 특성화하는 데 중요한 데이터 원천이 되었지만, 그 복잡성과 이질성(heterogeneity)은 고속 자동 분석에 어려움을 제기한다. 기존 표현 학습(representation learning) 방법은 대부분 과제 지향(task-oriented) 모델링에 의존하며, 이는 특정 데이터셋과 사전 정의된 과제에 제한되어 서로 다른 세포 유형, 현미경 방식(modality), 실험 조건에 걸쳐 일반화하기 어렵다. 최근 범용(general-purpose) 방법이 이미지 표현의 일반화 능력을 향상시켰지만, 실험 배경과 생물학적 문맥 정보의 제한적 활용은 여전히 복잡한 표현형 분석에서 과제를 남긴다. 본 연구에서는 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델인 scMIR을 제안한다. 자기지도(self-supervised) 이미지 재구성과 텍스트 유도 교차 모달 정렬(cross-modal alignment)을 시너지적으로 결합함으로써, scMIR은 형태학적 정보와 생물학적 의미 정보를 통합 표현 공간에서 동시에 인코딩할 수 있다. scMIR은 다양한 세포 유형, 현미경 방식, 교란(perturbation) 조건을 아우르는 207,957개의 이미지-텍스트 쌍으로 사전학습(pre-training)되었다. scMIR은 16개 벤치마크 데이터셋을 사용한 다양한 복잡 과제에 대한 체계적 평가에서 세포 분류, 클러스터링, 표현형 추론, 배치 효과 보정 과제를 포함하여 기존 범용 모델과 과제 지향 방법을 능가한다. 또한 scMIR은 과제별 미세조정 없이도 다양한 과제에 걸쳐 강한 일반화 능력을 보인다. 고유한 장점을 바탕으로, scMIR은 다양한 하류(downstream) 분석 과제를 지원함으로써 고속 표현형 분석(phenotyping) 워크플로의 표준화와 자동화를 촉진할 수 있을 것으로 기대한다.

arXiv:2607.23575v1cs.CV

D3O: 서열 회귀를 위한 동적 분포 증류

D3O: Dynamic Distribution Distillation for Ordinal Regression

서열 회귀는 레이블이 이산적이면서도 본질적으로 순서를 갖는 시나리오에서 널리 사용된다. 그러나 실제로 서열 레이블은 주관적인 인간 판단을 통해 기저의 연속적 의미를 이산화하여 얻는 경우가 많으며, 이로 인해 모호한 경계와 어노테이션 노이즈가 발생한다. 이러한 불확실성은 고정된 지도 목표에 의존하는 기존 방법들에 도전을 제기하며, 주관적 어노테이션 하에서 편향된 순서를 강화할 수 있다. 이 한계를 해결하기 위해, 우리는 정적 지도를 자기 증류(self-distillation)를 통한 학습 주도적 서열 레이블 분포 진화로 대체하는 동적 분포 증류 프레임워크인 D3O를 제안한다. 구체적으로, 비전-언어 정렬(vision-language alignment)을 활용하여 클래스 간 모호성과 인스턴스 수준의 불확실성을 모두 포착하는 정제된 레이블 분포를 복원하는 대조적 서열 인식 레이블 향상 모듈을 도입한다. 또한, 네트워크 계층 구조 전반에 누적 서열 구조를 전파하여 중간 표현에서 일관된 서열 기하학을 보장하는 CDF 기반 교차층 상호작용 증류 메커니즘을 설계한다. 4개의 일반적인 서열 회귀 태스크에 대한 광범위한 실험은 제안한 D3O가 기존 접근법을 일관되게 능가하며, 특히 심각한 클래스 불균형과 노이즈가 있는 지도 하에서 그러함을 보여준다. 이 결과는 고정 목표를 넘어서 견고한 서열 표현을 학습하는 데 있어 동적 지도의 효과를 강조한다. 코드는 공개될 예정이다.

arXiv:2607.23271v1cs.CV

CLIP이 알지만 말하지 못하는 것: 동결된 중간 특징으로부터 부정 복원

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

CLIP과 같은 대조적 비전-언어 모델은 의미적으로 상반된 구문(예: "a dog" vs. "not a dog")을 거의 동일한 임베딩으로 매핑하여 부정에 둔감하게 만든다. 우리는 이 실패를 Representational Collapse(표현 붕괴)라고 부르는 현상에 기인한다고 본다. CLIP 텍스트 인코더 전반에 걸쳐 구성적 발산과 시각적 정렬을 추적함으로써, 중간 층이 구성적 구문을 형성하지만 최종 층에서는 시각적 정렬이 증가함에 따라 이 구조가 붕괴되어 구문을 인식하지 못하는 최종 표현이 생성됨을 보인다. 사전학습된 가중치를 변경하지 않고 잃어버린 부정 신호를 복원하기 위해, 우리는 구성적 정점에서 인코더를 가로채는 경량 사후 보정 시스템인 PeakPatch를 제안한다. 임베딩 보정 네트워크(ECN)는 크로스-어텐션을 사용하여 정점 층에서 안정적인 기준선에 고정된 부정 특화 신호를 추출하고, 잃어버린 구문을 최종 층 임베딩 공간에 재주입하는 편차 벡터를 예측한다. 보완적인 점수 보정 네트워크(SCN)는 판별적 작업을 위해 유계 스칼라 점수 오프셋을 예측한다. 두 모듈은 모든 CLIP 파라미터가 동결된 상태에서 end-to-end로 공동 학습되며, 5.2M 파라미터(백본의 3.5%)만 추가하고 표준 코사인 유사도 인터페이스를 유지한다. NegBench에서 PeakPatch는 COCO MCQ에서 74.3%(CLIP 대비 +35.1, 최고 인코더 미세조정 방법 대비 +17.8), VOC MCQ에서 65.5%를 달성하며, 파라미터의 3.5%만 학습했음에도 완전히 분포 외(out-of-distribution) 부정 검색에서 모든 미세조정 기준선을 능가한다. 보정된 임베딩은 텍스트-이미지 생성에도 전이되며(+18.4 부정 점수), ViT-B/32, ViT-L/14, SigLIP 백본 전반에 일반화된다. 프로젝트 URL: https://stevencylu.github.io/PeakPatch/.

arXiv:2607.23537v1cs.AI

ObsDriveBench: 관측 가능성 인식을 반영한 악천후 조건에서의 멀티모달 이해 벤치마킹

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.

arXiv:2607.22586v1cs.AI

MM-ShiftKV: 멀티모달 대규모 언어 모델을 위한 디코드 인식 프리필 단계 KV 선택

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

키-값(KV) 캐싱은 멀티모달 대규모 언어 모델(MLLM)에서 효율적인 추론에 필수적이지만, 메모리 사용량은 컨텍스트 길이에 선형적으로 증가하며, 특히 시각 토큰 수가 많아 주요 병목이 된다. 최근 프리필 단계 KV 선택 방법들은 프리필 통계로 KV 중요도를 추정하며, 암묵적으로 프리필 시점의 쿼리가 디코딩 중에 나타나는 쿼리를 대표한다고 가정한다. 멀티모달 추론에서는 이 가정이 깨진다는 것을 보인다. 디코딩 시점의 쿼리는 프리필 단계 표현보다 분산이 훨씬 크기 때문에, 캐시 예산이 타이트할 때 KV 중요도 추정이 불안정해진다. 그 결과, 작은 순위 오류도 의미적으로 중요한 시각 토큰을 과도하게 버리고, 그라운딩(grounding)과 추론 성능을 저하시킬 수 있다. MM-ShiftKV를 제안한다. 학습 없이 동작하며, 디코드 인식(decode-aware)이고 엄격히 프리필만 수행하는 KV 선택 방법이다. MM-ShiftKV는 분산을 확장한 쿼리 프록시를 구성해 프리필 중 디코딩 시점의 쿼리 동작을 근사하고, 이들의 집계된 어텐션 질량을 기반으로 프롬프트 KV 중요도를 추정한다. 멀티모달 벤치마크 실험에서 MM-ShiftKV는 엄격한 KV 캐시 예산 하에서 기존 방법들을 일관되게 능가함을 보여준다. 코드는 https://github.com/zjuDBxAI/MM-ShiftKV 에서 제공된다.

arXiv:2607.22016v1cs.CV

EVL-MCoT: 유해 밈 탐지를 위한 향상된 비전-언어 Multi-CoT

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

밈(MEME)은 인터넷에서 널리 사용되며, 종종 강한 풍자나 아이러니 요소를 담고 있다. 숨겨진 의미를 이해하려면 일반적으로 텍스트와 시각 정보를 함께 해석해야 한다. 기존 방법은 시각과 텍스트를 동시에 추출하기 위해 이중 스트림(dual-stream) 비전-언어 모델에 초점을 맞추는데, 이는 밈에 대한 포괄적 설명과 관련된 배경 정보 및 사전 지식이 부족하다. 하나의 실현 가능한 선택은 사고의 연쇄(Chain-of-Thought, CoT)를 채택하는 것이다. 그러나 단순한 CoT 접근법은 다각적 사고가 부족하여, 결과 답변의 신뢰성을 저해할 수 있다. 게다가 이는 종종 얕은 특징 융합에 의존하며, 국소적 세부 정보와 세밀한 시각-프롬프트 텍스트 정렬의 융합이 부족하다. 이 한계는 시각과 텍스트 간 복잡한 연결에 대한 더 깊은 이해를 방해한다. 이에 본 연구에서는 이러한 한계를 해결하기 위해 향상된 비전-언어 multi-CoT(EVL-MCoT) 접근법을 제안한다. multi-CoT를 촉진함으로써 EVL-MCoT는 일관성을 향상시키고 의사결정 과정에서 바이어스를 줄인다. 또한, 융합 과정을 안내하기 위해 시각적 프로토타입을 통합하고 모델이 텍스트와 시각 정보를 더 정밀하게 정렬할 수 있게 하는 프로토타입 안내 및 컨텍스트 안내 디코딩 프레임워크를 설계한다. HatefulMemes 및 MultiOff 데이터셋에서 유망한 결과를 달성했다. 소스 코드는 공개되어 https://github.com/BGWH123/EVL-MCoT에서 이용할 수 있다.