PyTorchKR Papers

최신 논문

총 125편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05268v5cs.CV

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

Hyperbolic vision-language models are designed to encode abstraction geometrically: general concepts near the origin, specific ones farther out, and entailment cones representing directed order. We ask whether trained MERU, HyCoCLIP, and PHyCLIP models actually use these mechanisms. We audit seven released checkpoints and matched from-scratch interventions. All audited converged checkpoints remain near-Euclidean in the dimensionless radius $u=\sqrt{c}\rho$: the largest observed image-side value is $0.37$ -- well below $u\approx0.84$, where local metric distortion reaches $10\%$. Releasing the curvature floor changes curvature and norms but not this regime, with mixed, generally modest downstream shifts. Trained entailment cones are saturated or nearly saturated, so low violation rates can arise from trivially wide cones rather than learned order. Preregistered semantic traversal detects weak within-branch order but no operative full-hierarchy readout. Shuffle-controlled tests detect no pair-specific radial ordering in released checkpoints, and no positive result is consistent across all three matched ViT-B seeds. This non-detection is sensitivity-bounded: the diagnostic reaches $80\%$ power only at $\approx13.5$ pp of shuffle-controlled excess, while the largest released gap is $\approx5$ pp. We trace this to a low-curvature shortcut: lowering curvature widens entailment cones and suppresses violations without learning order. In the probed trajectories, gradient decomposition identifies entailment as the dominant curvature-lowering pressure during collapse. Yet curvature contracts even when entailment is removed, so the shortcut is not the sole cause. Under our diagnostics, the audited formulations do not demonstrate an operative radial or cone-based hierarchy. We distill the audit into a five-number geometry report for evaluating future hierarchy claims.

arXiv:2606.18950v4cs.AI

RTSGameBench: Evaluating VLMs for Strategic Reasoning in Game Environments

Vision-Language Models (VLMs) often struggle with strategic reasoning in a multi-agent setting, i.e., deciding under uncertainty while coordinating with and adapting to other agents. Real-time strategy (RTS) games can be a natural testbed for this capability, requiring long-horizon planning, coordination with allies, and adaptation to opponents under partial observability. But existing RTS benchmarks cover limited agent configurations, lack controlled evaluation across distinct strategic demands, and remain confined to fixed scenarios. To address these gaps, we propose RTSGAMEBENCH, built on Beyond All Reason, an RTS game whose larger scale broadens the strategic space beyond prior testbeds. In RTSGAMEBENCH, we offer holistic evaluation across diverse full-game matchups, diagnostic mini-games each emphasizing a focal strategic demand, and extensible coverage via a self-evolving framework that turns free-form queries into new mini-games, improving with accumulated experience. We further propose RTSGAMEAGENT, an agent harness that combines scalable group-level trajectory planning with short- and long-term memory and outperforms existing agents. We find that state-of-the-art VLMs struggle where humans succeed, particularly when they must coordinate with allies or contend with multiple opponents.

arXiv:2610.13910v1cs.CL

VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다

When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.

arXiv:2610.13858v1cs.CV

LapMerge: 선형 시간 내 미분 가능한 정확한 예산 기반 토큰 병합

LapMerge: Differentiable Exact-Budget Token Merging in Linear Time

현대 비전 및 언어 모델은 점차 더 긴 토큰 시퀀스를 처리하며, 이를 줄이는 것이 다운스트림 비용을 절감하는 핵심 수단입니다. 그러나 토큰 압축은 근본적인 트레이드오프에 직면해 있습니다. 즉, 토큰을 선택하는 방식은 정보를 폐기하는 반면, 기존 병합 방식은 토큰 간 쌍별(pairwise) 매칭이나 $MN$ 토큰-출력 상호작용을 통해서만 정보를 보존합니다. 본 논문에서는 정렬된 시퀀스에 대해 이러한 트레이드오프를 해결하는 미분 가능한 병합 연산자인 LapMerge를 소개합니다. 이는 학습된 질량 분포가 라플라스 커널(Laplace-kernel) 밀도 하에서 시퀀스를 정확히 $N$개의 동일한 질량 세그먼트로 분할하고, 접두 문맥/접미 스캔이 각 세그먼트를 집계함으로써 순전파와 역전파 모두 $\mathcal{O}(M+N)$ 시간에 실행되도록 합니다. 이러한 정확한 출력 예산(exact output budget), 엔드투엔드 미분 가능성, 선형 비용의 결합은 이전 감축 기법들이 서로 상충하며 포기해야 했던 요소들입니다. 연산자 파라미터를 변경하지 않고도 예산을 변경할 수 있으며, 학습된 질량은 예산이 할당된 위치를 나타내는 토큰 수준 맵의 역할도 겸합니다. 비전 및 비전-언어(vision-language) 작업 전반에서 LapMerge는 강력한 토큰 감축 기법들과 대등하거나 그 이상의 성능을 보이면서도 시퀀스 길이가 길어질 때 최대 두 자릿수(up to two orders of magnitude) 더 빠릅니다. 특히 토큰 순서가 공간적 또는 시간적 국소성을 반영할 때 효과적이며, 드롭인 감축 모듈이자 학습 가능한 아키텍처 구성 요소로서 모두 작동합니다.

arXiv:2610.13790v1cs.CV

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2603.06578v3cs.CV

이미지 분류기로서의 멀티모달 대규모 언어 모델(MLLM)

Multimodal Large Language Models as Image Classifiers

멀티모달 대규모 언어 모델(MLLM)의 분류 성능은 평가 프로토콜과 정답(ground truth) 품질에 크게 의존한다. MLLM을 지도학습 모델 및 비전-언어 모델(VLM)과 비교한 연구들은 서로 상충하는 결론을 보고하는데, 우리는 이러한 상충이 성능을 과장하거나 과소평가하는 프로토콜에서 비롯됨을 보인다. 가장 흔히 사용되는 평가 프로토콜 전반에서, 우리는 핵심 문제들을 식별하고 수정한다: 제공된 클래스 목록 범위를 벗어나 폐기되는 모델 출력, 약한 객관식 오답지(distractor)로 인한 과장된 결과, 그리고 부실한 출력 매핑으로 인해서만 성능이 저하되는 개방형(open-world) 설정이 그것이다. 추가로 우리는 흔히 간과되는 설계 선택들 - 배치 크기, 이미지 순서, 텍스트 인코더 선택 - 의 영향을 정량화하여, 이들이 정확도에 상당한 영향을 미친다는 것을 보인다. ImageNet-1k의 625개 클래스에 대한 우리의 다중 레이블 재주석(multilabel reannotation)인 ReGT로 평가한 결과, MLLM은 수정된 레이블로부터 가장 큰 이득(최대 +10.8%)을 얻으며, 지도학습 모델과의 인지된 격차를 크게 좁히는 것으로 나타났다. 따라서 보고된 MLLM의 분류 성능 저하의 상당 부분은 모델 자체의 결함이 아니라 잡음이 많은 정답(ground truth)과 결함 있는 평가 프로토콜에서 비롯된 인공물(artifact)이다. 지도학습 신호에 덜 의존하는 모델일수록 주석(annotation) 품질에 더 민감한 것으로 나타났다. 마지막으로, 우리는 MLLM이 사람 주석자(annotator)를 보조할 수 있음을 보인다: 통제된 사례 연구에서, 주석자들은 어려운 사례의 약 50%에서 MLLM의 예측을 확인하거나 통합하였으며, 이는 대규모 데이터셋 구축(curation)에 대한 가능성을 보여준다. 본 연구는 Aiming for Perfect ImageNet-1k 프로젝트의 일부이며, 자세한 내용은 https://klarajanouskova.github.io/ImageNet/ 에서 확인할 수 있다.

arXiv:2602.18867v3cs.CV

증거로서의 유사도: 해석 가능하고 라벨 효율적인 의료 능동 학습을 위한 과신된 VLM 캘리브레이션

Similarity-as-Evidence: Calibrating Overconfident VLMs for Interpretable and Label-Efficient Medical Active Learning

능동 학습(Active Learning, AL)은 라벨링을 위해 가장 유익한 샘플만을 선택함으로써 의료 영상의 어노테이션 비용을 줄이지만, 라벨링된 데이터가 부족할 때 콜드 스타트(cold-start) 문제로 어려움을 겪습니다. 비전-언어 모델(VLM)은 제로샷(zero-shot) 예측을 통해 콜드 스타트 문제를 해결하지만, 온도 스케일링된 소프트맥스(softmax) 출력은 내재된 불확실성을 무시한 채 텍스트-이미지 유사도를 결정론적 점수로 취급하여 과신(overconfidence)을 초래합니다. 이러한 과신은 샘플 선택을 잘못 유도하여 유익하지 않은 사례에 어노테이션 예산을 낭비하게 만듭니다. 이러한 한계를 극복하기 위해, Similarity-as-Evidence(SaE) 프레임워크는 유사도 벡터를 증거로 재해석하고 라벨에 대한 디리클레 분포(Dirichlet distribution)를 매개변수화하는 유사도 증거 헤드(Similarity Evidence Head, SEH)를 도입하여 텍스트-이미지 유사도를 캘리브레이션(calibration)합니다. 약한 신호 하에서도 확신에 찬 예측을 강제하는 표준 소프트맥스와 달리, 디리클레 공식화는 증거 부족(공허성, vacuity)과 상충되는 증거(불협화음, dissonance)를 명시적으로 정량화하여 경직된 소프트맥스 정규화(normalization)로 인한 과신을 완화합니다. 이를 기반으로 SaE는 이중 요소 획득 전략을 채택합니다. 초기 라운드에서는 커버리지를 보장하기 위해 고공허성 샘플(예: 희귀 질환)을 우선시하고, 후반 라운드에서는 경계를 미세 조정하기 위해 고불협화음 샘플(예: 모호한 진단)을 우선시하여 임상적으로 해석 가능한 선택 근거를 제공합니다. 20%의 라벨 예산을 사용한 10개의 공개 의료 영상 데이터셋(dataset) 실험에서 SaE는 82.57%의 최고 수준(SOTA) 매크로 평균 정확도를 달성했습니다. 대표적인 BTMRI 데이터셋에서 SaE는 0.425의 음의 로그 가능도(NLL)를 기록하며 우수한 캘리브레이션 성능도 달성했습니다.

arXiv:2609.21363v2cs.CV

눈앞에 숨기: 비전-언어 모델의 지리적 위치 프라이버시 유출 완화를 위한 디퓨전 기반 기법

Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models

멀티모달 대규모 추론 모델(MLRM)은 복잡한 시각적 이해에서 뛰어난 능력을 입증해 왔습니다. 그러나 바로 이러한 성능으로 인해 중요하면서도 아직 충분히 연구되지 않은 프라이버시 위협이 발생합니다. 공격자는 건축 양식, 식생, 조명 조건과 같은 미세한 시각적 단서에 대해 구조화된 추론을 수행함으로써, 일상적으로 공유된 사진으로부터 사용자의 지리적 위치를 정밀하게 추론하는 데 MLRM을 악용할 수 있습니다. 본 연구에서는 MLRM 기반의 지리적 위치 프라이버시 유출에 대한 체계적인 연구를 제시합니다. 먼저, 정교하게 제작된 탈옥(jailbreak) 프롬프트가 모델의 응답률을 100%까지 높일 수 있어 거부 기반 안전장치가 심각하게 불충분함을 밝힙니다. 나아가 공유 이미지에 인지하기 어려운 섭동(perturbation)을 주입하는 기존 방어 기법들은 픽셀 공간 최적화에 내재된 구조적 한계로 인해 블랙박스 전이 가능성이 저하되고 뚜렷한 시각적 아티팩트가 발생하는 문제가 있음을 확인합니다. 이러한 발견에 착안하여, 본 논문은 지리적 위치 프라이버시 유출에 대응하여 표적화된 선제적 방어를 제공하는 디퓨전(diffusion) 기반 프레임워크를 제안합니다. 제안하는 방법은 역방향 샘플링(reverse sampling) 과정에서 디퓨전 모델의 잠재 공간(latent space)에 섭동을 주입함으로써 고수준 시맨틱 표현에 직접 작용하며, 이를 통해 효과와 효용성 사이의 병목 현상을 구조적으로 해결합니다. 또한 GPS 좌표와 명시적으로 정렬된 모델인 GeoCLIP을 대리 모델(surrogate)로 활용하여 최적화를 그라운딩(grounding)함으로써, MLRM이 위치 추론에 악용하는 지리적 신호를 정확히 찾아내고 교란합니다. 이러한 표적 시맨틱 교란은 지각적 이미지 품질을 보존하면서도 훨씬 더 강력한 블랙박스 전이 가능성을 제공하여, 소셜 미디어 플랫폼에 매끄럽게 통합될 수 있도록 합니다. 코드는 https://github.com/RachelWolowitz/Hiding_in_plain_sight 에서 확인할 수 있습니다.

arXiv:2606.12671v2cs.CV

SalArt-VQA: 생성 이미지에서 VLM이 두드러진 아티팩트를 이해하는지 진단하기

SalArt-VQA: Diagnosing Whether VLMs Understand Salient Artifacts in Generated Images

비전-언어 모델(VLM)은 AI 생성 이미지에 눈에 띄는 아티팩트(artifact)가 포함되어 있는지 감지하는 데 점차 널리 활용되고 있지만, 이러한 아티팩트를 분석하는 능력은 여전히 명확히 밝혀지지 않았다. 이미지 수준에서의 올바른 판단 뒤에도 중요한 실패가 숨겨져 있을 수 있다. 모델이 잘못된 시각적 단서에 의존하거나, 잘못된 영역을 선택하거나, 이미지에서 뒷받침되지 않는 결함을 서술하면서도 아티팩트가 존재한다고 올바르게 표시할 수 있기 때문이다. 이러한 동작을 직접 평가하기 위해, 본 논문에서는 AI 생성 이미지 내 두드러진 아티팩트(SALient ARTifact)에 대한 세밀한 이해도를 진단하는 벤치마크인 SalArt-VQA를 제안한다. SalArt-VQA는 아티팩트 이미지, 매칭된 실제 참조 이미지, 쌍을 이루는 생성 참조 이미지에 걸쳐 950개의 이미지와 사람이 직접 작성한 3,681개의 객관식 질문을 포함한다. 4가지로 정렬된 질문 유형은 존재 감지, 의미적 위치 특정, 공간적 그라운딩(spatial grounding), 증거 기반 결함 식별을 평가하며, 참조 분할(split)은 주석 처리된 결함이 없을 때 모델의 캘리브레이션과 기권(abstention) 동작을 테스트한다. 20개의 VLM을 대상으로 한 평가에서 SalArt-VQA는 이미지 수준 감지 정확도에 가려진 실패들을 드러냈다. 가장 성능이 뛰어난 모델은 아티팩트 이미지에서 99.37%의 감지 재현율(recall)을 기록했으나, 4가지 아티팩트 측면 질문을 모두 맞힌 비율은 전체 이미지의 53.26%에 불과했다. 아티팩트 이미지와 아티팩트가 없는 참조 이미지를 비교한 결과 민감도-캘리브레이션 간의 트레이드오프가 밝혀졌다. 민감한 모델은 근거 없는 아티팩트 주장을 자주 내놓는 반면, 보수적인 모델은 주로 실제 아티팩트를 놓치는 방식으로 오탐(false alarm)을 피했다. 이러한 결과는 높은 아티팩트 감지 정확도만으로는 그라운딩된 아티팩트 이해를 의미하지 않는다는 점을 보여준다. SalArt-VQA는 이러한 숨겨진 실패 모드를 규명하며, VLM의 아티팩트 주장이 국소적 시각 증거로 뒷받침되는지 세밀하게 평가할 수 있는 체계를 제공한다.

arXiv:2605.06021v2cs.CV

PlotPick: AI 기반 과학 논문 그림 내 수치 데이터 배치 추출

PlotPick: AI-powered batch extraction of numerical data from scientific figures

체계적 문헌고찰(systematic review) 및 메타분석에서는 그림(figure)으로만 보고된 수치 데이터가 필요한 경우가 많지만, 상호작용형 디지타이저로 이를 추출하려면 보통 사람이 각 그림을 직접 선택하고 보정해야 합니다. 본 논문에서는 비전-언어 모델(VLM)을 활용해 여러 과학 논문 그림 배치(batch)에서 표 형식 데이터를 추출하는 오픈소스 도구인 PlotPick을 제시합니다. 또한 이 도구가 호출하는 유형의 모델들을 벤치마크 평가합니다. 4개 제공업체의 9개 VLM을 ChartX에서 평가하고, 이 중 6개는 PlotQA에서 전용 차트-투-테이블(chart-to-table) 모델인 DePlot과 비교하였으며, 모든 시스템은 동일한 항목에 대해 수치 F1(numeric F1, 5% 상대 허용 오차 내 라벨 없는 수치에 대한 F1)으로 점수를 매겼습니다. 6가지 ChartX 차트 유형(n=300)에서 9개 VLM 모두가 종합적으로 79.1~96.0%를 기록하여 DePlot의 74.3%를 앞섰습니다. 이러한 우위는 주로 상자 수염 그림(box plot)에서 비롯되었는데, DePlot이 24.8%를 기록한 반면 VLM들은 64.2~97.3%를 기록했습니다. 나머지 5개 유형을 합산했을 때, 7개 VLM은 4.7~11.6점의 우위를 유지했으나 가장 성능이 낮은 2개 모델은 그렇지 못했습니다. PlotQA 테스트 분할의 하위 집합(n=529, 가로 막대 차트 427개)에서 관대한 최적 계열(best-series) 변형 지표로 채점했을 때 DePlot은 87.0%에 도달했습니다. 가장 강력한 2개 VLM은 이와 비슷하거나 약간 높은 수준이었고, 4개 모델은 3.8~30.3점 뒤처졌습니다. DePlot은 PlotQA의 학습(training) 분할로 학습되었습니다. 두 벤치마크 모두 합성 차트를 사용하며, 해당 지표는 값이 어느 계열(series)에 속하는지는 무시합니다. 애플리케이션 자체는 평가되지 않았습니다. 즉, 그림 감지, 구조화된 출력, 프롬프트(prompt) 및 기본 모델(model)은 테스트되지 않았으며, 이 도구가 제공하는 벤치마크 대상 모델 중 하나인 Claude Haiku 4.5는 PlotQA에서 DePlot보다 점수가 낮았던 4개 모델 중 하나입니다. 생명의학 그림에 대한 정확도는 아직 확립되지 않았으므로, 추출된 모든 값은 원본 그림과 대조하여 확인해야 합니다. 이 버전은 대부분의 PlotQA 응답을 플롯팅된 값 대신 범주 레이블과 비교해 채점했던 버전 1을 수정한 것으로, 두 벤치마크 모두에서 모든 VLM이 DePlot을 능가했다는 기존 주장은 철회되었습니다. PlotPick은 https://plotpick.streamlit.app/ 에서 이용할 수 있습니다.

arXiv:2604.09945v3cs.CV

대규모 비전-언어 모델에서의 비교문화적 가치 귀인

Cross-Cultural Value Attribution in Large Vision-Language Models

최근 몇 년간 대규모 비전-언어 모델(LVLM)의 급격한 도입과 함께, 유해한 사회적 고정관념을 강화하는 모델의 경향성으로 인해 공정성에 대한 우려가 커지고 있습니다. 사회적 편향의 맥락에서 이러한 공정성 문제에는 상당한 관심이 기울여졌으나, 종교, 국적, 사회경제적 지위와 같은 문화적 맥락과 관련된 LVLM의 고정관념 존재 여부를 조사한 선행 연구는 상대적으로 거의 없었습니다. 본 연구에서는 이미지에 제시된 문화적 맥락에 따라 개인의 도덕적, 윤리적, 정치적 가치에 대한 LVLM의 판단이 어떻게 달라지는지 조사함으로써 이러한 격차를 좁히고자 합니다. 저자들은 서로 다른 문화적 맥락 속에서 동일한 인물을 묘사하는 반사실적(counterfactual) 이미지 세트를 사용하여 널리 쓰이는 LVLM들에서 이러한 가치 판단에 대한 다차원적 분석을 수행합니다. 본 평가 프레임워크는 기술적 분석(도덕적 기초 이론 분류, 어휘 분석, 가치 민감도)과 LVLM의 맥락 간 변동을 두 가지 대규모 인간 설문조사(MFQ-2 및 WVS Wave 7)와 비교하는 새로운 그라운딩(grounding) 분석을 결합합니다. 480만 개의 LVLM 생성 결과 전반에서, 구조적으로 다양한 여러 모델에 걸쳐 재현되는 세 가지 설문-그라운딩 바이어스 패턴을 확인하였습니다. 추가적인 어블레이션 연구에서는 국적 그라운딩이 텍스트 지배적인 반면 종교 및 사회경제적 그라운딩은 이미지에 크게 의존하며, 이미지 조건화가 설문-그라운딩 바이어스 패턴을 증폭시킬 수 있음을 보여줍니다.

arXiv:2604.09885v3cs.AI

당신의 로짓은 무엇을 알고 있는가?

What do your logits know?

최근 연구에 따르면 모델 내부를 탐색(probing)하면 모델이 생성한 결과물에서는 드러나지 않는 풍부한 정보를 밝혀낼 수 있음이 확인되었습니다. 이는 모델 사용자가 모델 소유자가 접근 불가능하다고 여겼던 정보를 알아낼 수 있게 됨으로써, 의도치 않거나 악의적인 정보 유출의 위험을 초래합니다. 본 연구에서는 비전-언어(vision-language) 모델을 실험 대상으로 삼아, 잔차 스트림(residual stream)에 인코딩된 풍부한 정보가 튜닝된 렌즈(tuned lens)를 사용해 얻은 잔차 스트림의 저차원 투영과 모델의 답변에 영향을 미칠 가능성이 가장 높은 최종 상위 k개 로짓이라는 두 가지 자연스러운 병목을 거쳐 압축될 때 서로 다른 표현 수준에서 보존되는 정보를 최초로 체계적으로 비교합니다. 연구 결과, 모델의 상위 로짓 값으로 정의되는 쉽게 접근 가능한 병목조차도 이미지 기반 쿼리에 존재하는 작업 무관(task-irrelevant) 정보를 유출할 수 있으며, 일부 경우에는 전체 잔차 스트림을 직접 투영한 것만큼 많은 정보를 드러낼 수 있음을 보여줍니다.

arXiv:2603.22278v3cs.CV

비전-언어 모델에서 공간 변수 바인딩의 이중 메커니즘

The Dual Mechanisms of Spatial Variable Binding in Vision-Language Models

이미지 캡셔닝 및 시각적 질의응답(VQA)과 같은 많은 멀티모달 태스크에서는 비전-언어 모델(VLM)이 객체를 해당 속성 및 공간적 관계와 바인딩(결합)해야 합니다. 그러나 이러한 연관성이 VLM 내에서 어디서 어떻게 계산되는지는 여전히 불분명합니다. 본 연구에서는 VLM이 공간 변수 바인딩(spatial variable binding)을 표현하기 위해 두 가지 병행 메커니즘에 의존함을 보입니다. 언어 모델(language model) 백본에서는 중간 레이어가 객체에 해당하는 시각적 토큰 위에 내용 독립적인 공간 관계를 표현합니다. 하지만 이 메커니즘은 모델(model) 예측을 형성하는 데 부차적인 역할만 수행합니다. 반면, 주된 공간 정보의 원천은 비전 인코더에서 발생하며, 비전 인코더의 표현은 객체의 배치를 인코딩하고 언어 모델 백본에 의해 직접 활용됩니다. 특히, 이러한 공간 신호는 시각적 토큰 전반에 걸쳐 전역적으로 분산되어 있으며, 객체 영역을 넘어 주변 배경 영역까지 확장됩니다. 우리는 COCO 데이터셋(dataset)의 복잡한 자연 이미지에 대해 이러한 발견의 일반화 가능성을 검증하였으며, 모든 이미지 토큰에 걸쳐 비전 유래 공간 표현을 전역적으로 증폭시키는 것이 다양한 크기의 모델 전반에서 공간 변수 바인딩 오류를 교정함을 확인했습니다. 종합적으로, 본 연구 결과는 VLM 내에서 공간 변수 바인딩이 어떻게 계산되는지 명확히 밝히고 이를 가능하게 하는 비전 인코더의 중심적 역할을 강조합니다.

arXiv:2603.02370v3cs.CV

Cultural Counterfactuals: 반사실적 예제를 활용한 대규모 비전-언어 모델의 문화적 편향 평가

Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

대규모 비전-언어 모델(LVLM)은 최근 몇 년간 점점 더 강력해졌으나, 유해한 편향을 드러낼 수도 있습니다. 이러한 편향을 조사한 기존 연구들은 주로 인종이나 성별과 같이 이미지에 묘사된 인물의 시각적 특성과 관련된 인구통계학적 특성에 초점을 맞추어 왔습니다. 이로 인해 개인의 외모만으로는 쉽게 파악할 수 없는 문화적 차이(예: 종교, 사회경제적 지위)와 관련된 편향은 상대적으로 연구가 덜 된 상태로 남아 있습니다. 문화적 편향을 측정할 때의 핵심 난제는 개인이 속한 집단을 판단하는 것이 이미지 내의 문화적 맥락 단서에 의존하는 경우가 많음에도, 문화적 맥락 단서가 주석 처리된 데이터셋이 부족하다는 점입니다. 이러한 격차를 해소하기 위해, 본 연구에서는 종교, 국적, 사회경제적 지위와 관련된 문화적 편향을 측정하기 위한 약 6만 개의 반사실적(counterfactual) 이미지를 포함하는 고품질 합성 데이터셋인 Cultural Counterfactuals를 소개합니다. 문화적 맥락이 정확하게 묘사되도록 하기 위해, 이미지 편집 모델을 사용하여 실제 문화적 맥락 이미지에 다양한 인구통계학적 특성을 지닌 사람들을 배치함으로써 데이터셋을 생성합니다. 이를 통해 동일한 인물이 여러 서로 다른 맥락에 묘사된 반사실적 이미지 세트를 구축할 수 있으며, 문화적 맥락 차이가 LVLM 출력에 미치는 영향을 정밀하게 측정할 수 있습니다. 마지막으로, 널리 사용되는 LVLM에서 문화적 편향을 정량화하는 데 있어 Cultural Counterfactuals의 유용성을 입증합니다.

arXiv:2512.23073v2cs.LG

미세조정(Fine-Tuning)의 재고: 비전-언어 모델의 숨겨진 역량 끌어내기

Rethinking Fine-Tuning: Unlocking Hidden Capabilities in Vision-Language Models

미세조정(Fine-Tuning)은 비전-언어 모델(VLM)을 적응시키는 지배적인 패러다임이 되었으나, 대부분의 접근법은 근본적인 트레이드오프를 수반하는 명시적인 가중치 업데이트에 의존한다. 완전 미세조정(Full Fine-Tuning, FFT)은 교차 모달 그래디언트 간섭으로 인해 사전학습된 표현을 왜곡할 수 있으며, 매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 방식은 저랭크 어댑터(low-rank adapter)와 같은 추가적인 모듈에 의존하므로 적응 역량을 제한할 수 있다. 본 논문에서는 백본 가중치를 수정하지 않고 VLM을 적응시키는 구조적 선택 프레임워크의 관점에서 VLM 적응을 재고하며, 마스크 미세조정(Mask Fine-Tuning, MFT)을 제안한다. MFT는 기존의 사전학습된 연결을 통해 정보를 선택적으로 라우팅하는 마스크를 학습하여, 사전학습된 표현을 다운스트림 목표에 더 잘 정렬하는 서브네트워크를 동적으로 발굴한다. 광범위한 실험을 통해 MFT가 FFT와 PEFT 모두에 대한 효과적인 구조적 대안을 제공함을 입증하였으며, 지식을 추가하거나 배포 아키텍처를 변경하지 않고도 여러 비전-언어 벤치마크 전반에서 지속적으로 우수한 성능을 달성함을 확인하였다. 나아가 MFT를 통한 분석은 사전학습된 VLM이 적응 과정에서 내부 표현 경로를 어떻게 재구성하는지에 대한 새로운 통찰을 제공한다.

arXiv:2603.13856v3cs.LG

AI는 종이접기의 언어를 이해할 수 있는가?

Can AI Understand the Language of Origami?

물리적 세계에서 계획하고, 행동하며, 창조할 수 있는 AI 시스템을 구축하려면 단순한 패턴 인식을 넘어선 능력이 필요합니다. 이러한 시스템은 관찰, 행동, 그리고 그 결과를 연결하는 구조화된 표현을 활용하여 물리적 과정을 지배하는 생성 메커니즘과 제약 조건을 추론할 수 있어야 합니다. 그러나 기존의 많은 벤치마크는 이러한 능력들을 분리하여 연구하며, 시각적 인식에만 집중하거나 추상적인 기호 및 프로그래밍적 추론에만 초점을 맞춥니다. 종이접기(Origami)는 이러한 능력들을 통합하는 자연스러운 시험대를 제공합니다. 접기를 통해 형상을 구성하는 과정은 시각적 지각, 기하학적 및 물리적 제약 조건에 대한 추론, 순차적 계획을 요구하는 동시에 체계적인 평가를 수행할 수 있을 만큼 충분히 구조화되어 있습니다. 본 논문에서는 물리적으로 그라운딩(grounding)된 접기 행동의 고수준 언어를 통해 종이접기 합성의 기저 메커니즘에 대한 프로그래밍적 이해도를 평가하는 벤치마크인 OrigamiBench를 소개합니다. 최신 비전-언어 모델(vision-language model)을 사용한 실험 결과, 단순히 모델 크기를 스케일링(scaling)하는 것만으로는 물리적 변환에 대한 추론 능력이 안정적으로 향상되지 않는 것으로 나타났습니다. 나아가 모델들은 프로그래밍적 정보를 시각적 관찰에 그라운딩하는 데 어려움을 겪었으며, 이는 시각 및 언어 표현이 여전히 불완전하게 통합되어 있음을 시사합니다.

arXiv:2610.03193v1cs.CV

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

arXiv:2610.01180v1cs.CV

스켈레톤 및 전략 프롬프팅: 비전-언어 모델을 위한 학습 불필요 부정 이해

Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models

다양한 시각적 질의응답(VQA) 태스크에서 비전-언어 모델(VLM)이 뛰어난 성능을 보임에도 불구하고, 이러한 모델들은 지속적으로 부정(negation)을 이해하는 데 어려움을 겪으며 부정절이 포함된 질문에 대해 잘못된 답변을 생성합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 매개변수 업데이트 없이 VLM의 부정 이해 능력을 향상시키는 학습 불필요(training-free) 문맥 내 학습(ICL) 방식인 스켈레톤 및 전략 프롬프팅(Skeleton-and-Strategy Prompting, SSP)을 제안합니다. 부정 질문이 주어지면, 제안하는 방법은 먼저 질문의 기저 구조를 스켈레톤으로 추상화하고, 경량화된 질문 풀에서 동일한 스켈레톤을 가진 소수의 질문 집합을 검색한 다음, VLM이 이들의 공유된 부정 패턴을 분석하여 단일 문장으로 된 답변 전략을 합성하도록 프롬프트합니다. 이렇게 생성된 스켈레톤과 전략은 테스트 샘플 앞에 추가되어 모델이 부정 문제를 올바르게 해결하도록 안내합니다. 여러 부정 VQA 벤치마크에 대한 실험을 통해 SSP가 연산 효율성을 유지하면서도 부정 중심 VQA 태스크에서 최첨단(SOTA) 성능을 달성함을 보입니다.

arXiv:2610.00333v1cs.CV

LEGO-OPD: 다중모달 온-정책 증류를 위한 요인화된 교사 모델 결합

LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation

다중모달 온-정책 증류(Multimodal On-Policy Distillation, OPD)는 언어 모델의 강력한 추론 능력을 보존하면서 시각적 그라운딩(visual grounding)을 향상시키는 것을 목표로 합니다. 최근의 다중 교사(multi-teacher) 접근 방식은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 교사를 결합하여 상호 보완적인 지도 신호를 제공합니다. 그러나 VLM의 전체 예측 분포를 직접 사용하면 시각적 그라운딩 신호가 VLM 자체의 언어 사전 분포와 뒤얽혀, 그라운딩 정보가 독립적으로 전이되지 못하게 됩니다. 반대로 시각적 지도 신호의 강도를 높이면 인지 성능은 향상될 수 있으나, 시각적 증거를 과도하게 강조하여 언어 추론 성능을 저하시킬 수 있습니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 언어 전문가(Language Expert)와 그라운딩 전문가(Grounding expert)의 요인들을 하나의 교사 분포로 선택 결합하는 다중모달 OPD 방법인 LEGO-OPD를 제안합니다. 일반화된 베이시안(Bayesian) 정식화 아래에서, 언어 전문가는 후보 토큰에 대한 사전 분포(prior)를 제공하고, 그라운딩 전문가는 전체 예측 분포를 전이하는 대신 이 사전 분포를 업데이트하는 시각적 가능도(likelihood)를 제공합니다. 이러한 요인화된 결합을 통해 언어 추론과 시각적 그라운딩을 독립적으로 제어할 수 있습니다. 나아가 각 디코딩 접두 문맥(prefix)에서 시각적 가능도가 언어 사전 분포를 얼마나 강하게 업데이트해야 하는지 결정하는 적응형 보정(adaptive calibration)을 도입합니다. 구체적으로 LEGO-OPD는 그라운딩 전문가의 이미지 유도 예측 변화(prediction shift)를 접두 문맥 의존적인 기준점으로 활용하여, 시각적 지도의 부족과 과도함을 모두 방지합니다. Qwen3 모델을 사용한 실험 결과, LEGO-OPD는 다중모달 및 텍스트 전용 추론 태스크 모두에서 평가된 단일 및 다중 교사 OPD 베이스라인보다 일관되게 우수한 성능을 보였습니다. 또한 초기 학생(student) 모델의 텍스트 전용 추론 능력을 보존하면서 시각적 인지 능력을 향상시킵니다.

arXiv:2609.32353v2cs.CV

더 적은 토큰, 더 많은 자기 학습: 극단적인 시각 토큰 감축을 위한 온-정책 자기 증류

Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction

시각 토큰 감축(visual token reduction)은 멀티모달 대규모 언어 모델(MLLM)을 가속화하는 효과적인 방법이지만, 극도로 낮은 토큰 예산에서는 성능이 급격히 저하됩니다. 기존 연구에서는 시각 토큰 선택과 축소된 시각 입력에 대한 학습 기반 적응을 모두 탐구해 왔습니다. 본 연구는 한 걸음 더 나아가, 극도로 압축된 MLLM이 자신이 생성한 결과로 유도된 상태로부터 어떻게 학습해야 하는지 질문을 던집니다. 이러한 설정은 자연스럽게 온-정책(on-policy) 자기 증류를 요구합니다. 즉, 극도로 압축된 모델이 자신의 생성으로 유도된 상태에서 지도학습을 받는 동시에, 전체 토큰을 사용하는 동일 모델이 정보가 풍부한 교사 역할을 수행하는 것입니다. 이러한 통찰을 바탕으로, 극단적인 시각 토큰 감축을 위한 학습 프레임워크인 LT-OPD를 제안합니다. 학생 모델은 극히 일부의 시각 토큰만으로 응답을 롤아웃하고, 동일한 MLLM의 동결된 전체 토큰 복사본이 이러한 학생 생성 궤적을 따라 분포적 지도를 제공합니다. 시각적 단서가 심각하게 제한될 때 온-정책 학습을 안정화하기 위해, 학습 중 토큰 예산을 점진적으로 줄여나가는 예산 수준 커리큘럼(budget-level curriculum)도 도입합니다. Qwen3.5-4B 기반의 9개 벤치마크 전반에서 LT-OPD는 5%의 시각 토큰 보존 조건에서 평균 보존 성능을 68.6%에서 82.3%로 끌어올려 동일한 예산의 무학습 기반, 학습 기반 및 강화학습(RL) 베이스라인을 능가했습니다. 이러한 성능 향상은 Qwen3.5-9B, GLM-4.6V-9B, LLaVA-OV-1.5-4B에도 일관되게 전이됩니다. 또한 LT-OPD는 추가적인 추론 오버헤드 없이 KV-캐시 사용량을 85.2%, 프리필(prefill) FLOPs를 85.4% 줄임으로써, 온-정책 학습이 극단적인 시각 토큰 감축으로 손실된 능력을 실질적으로 회복할 수 있음을 입증합니다.