PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.15748v2cs.LG

대규모 멀티모달 모델을 사후 교정기로 활용한 시각적 종 인식

Visual Species Recognition with Large Multimodal Models as Post-Hoc Correctors

시각적 종 인식(Visual Species Recognition, VSR)은 생태학, 매분학, 진화생물학, 계통분류학, 계통발생학 등 종 수준 식별이 필요한 과학 분야에서 기본적인 과제이다. 머신러닝을 통해 VSR을 자동화하면 이러한 연구를 크게 가속할 수 있다. 그러나 종 수준 주석(annotation)에는 광범위한 도메인 전문 지식이 필요하여 대규모 라벨 데이터셋을 확보하기 어렵다. 따라서 소수의 라벨 예시만으로 전문가 모델을 학습하는 퓨샷 학습(few-shot learning, FSL)이 실용적인 패러다임이다. 한편 대규모 멀티모달 모델(Large Multimodal Models, LMM)은 전례 없는 제로샷(zero-shot) 시각 인식 능력을 보여주었으며, 이들이 VSR을 위한 FSL 전문가 모델의 대안이 될 수 있는지가 문제로 제기된다. 본 연구는 FSL 전문가 모델과 LMM 간의 체계적 비교로 시작하며, 고급 프롬프팅 전략을 사용했음에도 현대 LMM이 FSL 전문가 모델보다 성능이 현저히 낮다는 것을 밝힌다. 흥미롭게도 LMM은 상보적인 강점을 가지고 있음을 발견한다. 전문가 모델이 생성한 후보 종 단축 목록과 이미지가 주어지면, 전문가 모델의 최상위 예측이 틀렸을 때 LMM이 종종 올바른 레이블을 복구할 수 있다. 이에 영감을 받아 우리는 학습이 필요 없는 단순한 프레임워크인 사후 교정(Post-hoc Correction, POC)을 제안한다. POC는 LMM을 활용해 전문가 모델의 최상위 예측을 후처리한다. 우리는 멀티모달 프롬프팅 전략을 개발하여 POC가 다섯 개의 VSR 벤치마크에 걸쳐 평균 6.4 정확도 포인트만큼 FSL 전문가 모델을 개선하도록 한다. POC는 다양한 FSL 방법, 시각 인코더, LMM에 걸쳐 일반화되며, VSR을 위한 실용적이고 효과적인 프레임워크임을 보인다.

arXiv:2607.03817v1cs.CV

전역 논리와 지역 탐색: 검증 가능한 산업 이상 탐지를 위한 이중 스트림 멀티모달 문맥 내 학습

Global Logic and Local Search: Dual-Stream Multimodal In-Context Learning for Verifiable Industrial Anomaly Detection

대규모 멀티모달 모델(LMM)은 강력한 퓨샷 일반화 능력을 보이지만, 결함이 작고 입력 해상도가 제한되며 텍스트 기준이 항상 시각적 증거에 근거하지 않기 때문에 산업 이상 탐지는 여전히 어렵다. 최근 최적화 기반 방법들은 미세조정을 통해 정렬을 개선하지만, 초기 배포 단계에서는 확보하기 어려운 다수의 불량 샘플을 필요로 하는 경우가 많다. 우리는 참조 기반 멀티모달 문맥 내 검증을 위한 학습 불필요 프레임워크인 Global Logic and Local Search(GLLS)를 제시한다. GLLS는 Part-Aware Visual-Logical Atlas를 사용하여 추론 컨텍스트 내에서 정상 참조와 구조화된 사양을 구성한다. 이 프레임워크는 SAM 3가 부분적으로 검증 가능한 시각적 사실을 추출하는 전역 및 논리 스트림(Global & Logic Stream)과, MCTS가 고정된 예산 내에서 지역 증거 크롭을 선택하는 세밀도 및 액션 스트림(Fine-Grained & Actions Stream)을 결합한다. MMAD-QA 및 추가 이상 탐지 데이터셋에서의 실험 결과, 매칭된 베이스라인과 범용 베이스라인 대비 일관된 성능 향상을 보이며, 검사 추적 전반에 걸쳐 최종 진단 결정을 명시적인 시각적 증거로 추적 가능하게 유지한다.

arXiv:2607.02909v1cs.CV

대규모 멀티모달 모델을 위한 계층적 표현 정규화를 통한 분류 체계 트리 학습

Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

분류 체계(taxonomy)는 개념 간의 의미론적 관계와 시각 및 언어의 내재적 구조에 관한 핵심 정보를 제공한다. 대규모 멀티모달 모델(LMM)은 뛰어난 능력에도 불구하고 분류 체계 지식이 부족한 경우가 많아, 계층적 시각 인식(HVR) 일관성이 낮게 나타난다. 이러한 모델들은 미세조정 시 언어 모델링 목표만을 활용하며, 명시적인 분류 체계 인식 정규화가 부재하다. 이를 해결하기 위해, 우리는 LMM의 계층적 일관성을 향상시키는 간단한 플러그-앤-플레이 정규화기인 계층적 표현 정규화($HiR^2$)를 제안한다. 구체적으로, 텍스트 단서의 안내를 받아 중간 LLM 레이어에서 거친 수준부터 세밀한 수준까지의 시각적 특징을 추출하는 의미 인식 시각 트리 구성 프레임워크를 도입한다. 정규화기는 두 가지 상보적 목표를 결합한다: 로렌츠 모델의 쌍곡 포함 콘(hyperbolic entailment cones)을 통해 계층 구조를 강제하는 분류 체계 포함 손실(taxonomic entailment loss)과, 반경 방향의 계층 구조를 교란하지 않으면서 단위 구면 위에서 의미론적으로 유사한 임베딩의 각도 분리를 촉진하는 판별적 분산 손실(discriminative dispersive loss)이다. 광범위한 실험을 통해 $HiR^2$가 다양한 LMM 및 미세조정 방법에 걸쳐 분류 체계 구조를 효과적으로 포착함을 입증한다. 코드는 https://github.com/PKU-ICST-MIPL/HiR2_ICML2026 에서 공개되어 있다.

arXiv:2606.27373v1cs.CV

자기 진화형 대규모 멀티모달 모델에서 시각 토큰에 더 많은 어텐션을

Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

기존 자기 진화 LMM은 답변 일치만 최적화해 디코더가 시각 토큰보다 언어 사전분포에 의존하는 시각적 언더컨디셔닝 문제가 있다. VISE는 기하·의미 불변성 보상으로 시각 조건화를 직접 정규화하는 비지도 자기 진화 프레임워크로, Qwen3-VL-2B 기준 COCO·TextCaps CIDEr가 각각 +16.85·+19.66 향상되고 Chair-I 객체 환각이 5.0포인트 감소했다.

arXiv:2606.26079v1cs.CL

Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models

다중모달 대규모 언어 모델(MLLM) 벤치마크가 단일 입력 순서만 평가해 동일 증거의 순서만 바꿔도 답이 달라지는지 놓치는 문제를 다루며, Facet-Probe로 18개 최신·오픈웨이트 MLLM의 다섯 가지 순서 축을 감사하고 베이지안 항목반응 모델로 순서 노이즈와 편향을 분리했다. 18개 모델 모두 순서 불변성이 없었고(패널 평균 flip rate 24–50%, 최고 모델도 13.4%), 학습 없는 프롬프트 완화만으로는 일반적 견고성을 기대하기 어려워 학습·아키텍처 접근과 교차 순서 flip rate 보고를 제안한다.

arXiv:2606.12688v1cs.LG

M*: 모듈형·확장 가능한 멀티모달 모델 서빙 시스템

M*: A Modular, Extensible, Serving System for Multimodal Models

기존 서빙 프레임워크가 복합 멀티모달 아키텍처를 수용하기 어렵다는 문제를 해결하기 위해 M*라는 범용 서빙 시스템을 제안합니다. M*는 모델을 데이터플로우 그래프인 Walk Graph로 표현하여 모듈형 추상화와 최적화를 통해 텍스트-이미지 및 텍스트-음성 작업에서 기존 방법 대비 향상된 지연 시간과 처리량을 달성했습니다.