PyTorchKR Papers

최신 논문

총 168편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27110v2cs.CV

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

Image quality assessment predicts a mean opinion score (MOS), but for image aesthetics the mean hides the individual, so personalized assessment must start from the few images a new user rates. Fitting each person from scratch fails with ten ratings; networks fine-tuned per person carry over poorly to new kinds of images. We present Undertone-P, which learns from other raters a Gaussian prior over per-person regression weights on read-outs of frozen vision-language model (VLM) judges: the probability-weighted rating and the hidden state at the score token. Since people differ from the crowd in ways other raters reveal, a few ratings need only choose among those ways: a new user costs one closed-form solve, and no network is trained. On Ryu and Yanaka's PARA benchmark, the prior alone reaches a Spearman correlation of .640, above the best published 10- and 100-rating results (.581 and .620); 10 and 100 of a person's ratings raise it to .648 and .676. These ratings add most where tastes depart from the crowd: with 100 ratings, +.067 for the raters who agree least with it and +.206 on LAPIS artworks, against +.037 overall. Without labels, the judges' expected scores predict PARA's MOS at .835 (best published model we ran: .694). PARA-trained networks still lead under PARA's original protocol, likely through a stronger end-to-end MOS model.

arXiv:2609.24894v2cs.CV

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2606.29984v2cs.AI

Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning

Reinforcement Learning (RL) is an important paradigm for improving the reasoning capabilities of Vision-Language Models (VLMs). However, directly applying RL to rollout multimodal reasoning can lead to instability, due to the exploitation of language priors, the neglect of visual evidence, and the generation of reasoning traces that are fluent yet not visually grounded. The question arises: Can initially steer the policy toward visually faithful reasoning regime before applying reinforcement learning? To this end, we propose a Faithful Warm-Start (FWS) strategy that first curates samples with explicit vision-language causal relationships from six general VQA benchmarks to construct the FaithfulQA dataset, where each of the image-question pairs gains a certain degree of visual observations, question requirements, commonsense knowledge, domain knowledge, and the final answer. Subsequently, a VLM-based judge is employed to further purify the dataset, ensuring strong causal consistency and visual faithfulness. This warm-start stage equips the model with the capability to understand causally grounded vision-language patterns before subsequent RL optimization under sparse answer-level rewards. Experimental results show that such faithful supervision improves answer accuracy, stabilizes RL training, and reduces visually unsupported reasoning.

arXiv:2609.38810v3cs.CV

CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적

CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models

As vision language models are increasingly deployed in clinical diagnosis, understanding how they internally resolve competing visual and textual signals becomes a safety imperative. Existing mechanistic analyses remain confined to unimodal text and offer no explanation for why a single misleading sentence can override a correct image based diagnosis, or why a model commits to a confident answer despite insufficient visual evidence. We find that these two safety risks, arbitration failure where textual context overrides visual grounding and brake failure where the model commits without adequate evidence, are mediated by spatially disjoint attention head populations: arbitration heads form a mid-to-deep wideband reflecting cross-layer evidence competition, while brake heads concentrate in a narrow middle-to-late layer band that regulates evidence sufficiency and abstention behavior. To ground these observations in causal circuitry, we introduce CRAFT, which localizes each failure mode to a minimal causal head set via dual criteria and verifies necessity and sufficiency through temporal probes and Tuned Lens trajectory analysis. Excising arbitration heads sharply reduces conflict following with negligible degradation on clean inputs, while excising brake heads restores appropriate abstention under degraded visual evidence. The two interventions target spatially disjoint head sets and produce distinct corrective effects, underscoring the mechanistic separability of the failure modes. Experiments across multiple medical VQA benchmarks and VLM architectures validate both the localization and interventions, demonstrating that the identified heads causally drive each failure mode and that targeted modulation generalises without retraining. The code is available at https://github.com/zhcz328/CRAFT.

arXiv:2609.40245v3cs.RO

STARS: 인간-로봇 상호작용에서 시공간 동역학부터 사회적 표현까지

STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction

동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.

arXiv:2606.07235v3cs.IR

긴 멀티모달 문서의 근거 구성을 위한 최소 비용 흐름 라우팅

Min-Cost Flow Routing for Evidence Assembly in Long Multimodal Documents

긴 멀티모달(multimodal) 문서에 대한 질문에 답하기 위해서는 유사 중복을 피하면서 텍스트, 표, 그림, 슬라이드 전반의 관련 측면에 고정된 근거 예산을 분배해야 합니다. 본 논문에서는 멀티모달 콘텐츠 그래프상에서 용량 제한이 있는 단일 최소 비용 흐름(minimum-cost flow) 문제로 근거 선택을 정식화하는 \flowreader를 제안합니다. 스펙트럼 분해(spectral decomposition)는 쿼리 관련 콘텐츠의 잠재적 측면을 식별하고 스펙트럼 에너지에 비례하여 이들 사이에 예산을 할당합니다. 이러한 용량 제한은 언어 모델(LM)의 계획 호출 없이도 라우팅 과정에서 측면 범위를 강제합니다. 쿼리 조건부 비용은 관련성이 높고 상호 일관된 근거 체인을 우선시합니다. 최적 흐름을 분해하면 짧은 근거 체인이 생성되며, 이를 비전-언어(vision-language) 모델이 병렬로 읽고 추론기가 조율합니다. Qwen3-VL-32B를 사용한 VisDoMBench에서 \flowreader\는 가장 높은 매크로 정확도($68.9$)를 달성하여 기존 최고 시스템을 $2.7$포인트 능가했으며, 5개 하위 집합 중 3개에서 앞서고 가장 높은 최악 하위 집합 정확도를 기록했습니다. 이 방식은 쿼리당 측정된 $17.5$개의 콘텐츠 노드를 사용하며 $12.9$개에서도 우위를 유지합니다. 고정된 그래프, 스코어러, 리더, 판별기를 사용한 소거 연구(ablation study)에 따르면, 비용 설계가 정확도를 견인하고, 용량 제한은 동일 네트워크에서 이러한 제한이 없는 최단 경로 라우팅 대비 약 4분의 3 수준의 리더 토큰을 사용하면서도 정확도를 보존하며, 스펙트럼 측면은 계획 호출 없이도 LLM 생성 하위 질문과 일치함을 보여줍니다.

arXiv:2610.03141v1cs.CV

비디오 MLLM 사후 학습을 위한 행동 팩 최적화

Behavior Pack Optimization for Video MLLM Post-Training

비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.

arXiv:2610.02880v1cs.CV

발견했으나 읽지 못함: 추출된 텍스트가 문서 비전-언어 모델의 검색-읽기 격차를 해소하는 경우

Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models

검색-증강 문서 질의응답은 적절한 페이지를 찾기만 하면 비전-언어 모델(VLM)이 이를 읽을 수 있다고 가정합니다. 본 논문에서는 이러한 가정이 종종 빗나가 검색-읽기 격차(retrieval-reading gap), 즉 증거를 찾았음에도 사용하지 못하는 현상이 발생함을 보여줍니다. 쌍체 프로토콜(paired protocol)을 통해 검색된 페이지 이미지만 사용한 답변과 동일한 이미지에 추출된 텍스트를 함께 제공한 답변을 비교함으로써 이러한 격차를 분리하여 측정합니다. 추적 가능한 증거를 포함하는 자체 벤치마크인 FoveDoc-Bench에서 검색 단계는 거의 모든 증거 페이지를 찾아내지만, CPU 기반 OCR 텍스트를 추가하면 엄격한 정확도(strict accuracy)가 13~16포인트 향상됩니다. 정확한 텍스트 층(text layer)을 제공할 경우 이러한 이득은 대략 두 배로 증가하며, 이는 세 가지 계열의 6개 VLM 전반에서 나타나고 단일 계열 내에서는 모델 규모가 커질수록 격차가 좁혀지기는 하지만 완전히 사라지지는 않습니다. 판독기(reader)는 이 증거를 읽을 수는 있지만 찾아내지는 못합니다. 증거 영역을 잘라내어(crop) 제공하면 텍스트 추가로 인한 이득의 대부분을 회복하지만, 페이지 상에 해당 영역을 상자(box)로 표시하는 방식은 전혀 효과가 없습니다. 또한 동일한 프로토콜을 통해 두 가지 한계를 확인했습니다. 추출된 텍스트는 텍스트 형태의 증거에는 도움이 되지만 차트와 그림에서는 중립적이거나 오히려 해롭습니다. 이러한 이점은 검색 성능이 저하될수록 줄어들며, 동일한 형태의 무관한 텍스트는 감지할 수 있는 수준의 이득을 전혀 제공하지 못합니다. 즉, 추출된 텍스트는 제대로 작동하는 검색을 증폭시키는 장치일 뿐, 실패한 검색을 대체할 수 있는 수단은 아닙니다. 본 연구의 코드는 https://github.com/atoz03/fovedoc-sup 에서 확인할 수 있습니다.

arXiv:2610.02876v1cs.CV

보고 말하지만 사용하지 못함: 멀티모달 대규모 언어 모델에서 보고 가능한 공간적 사실로부터 사용 가능한 상태로의 전환

Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models

공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.

arXiv:2606.01132v2cs.CV

HakushoBench: 정부 백서 기반의 일본어 차트 및 표 VQA 벤치마크

HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers

차트 및 표 이미지를 이해하는 것은 비전-언어 모델(VLM)을 실제 문서 이해에 적용하는 데 필수적입니다. 영어 벤치마크는 빠르게 발전한 반면, 비영어권 벤치마크는 여전히 부족하여 이러한 발전이 다른 언어로도 일반화되는지 불분명합니다. 주요 장애물은 현실적이고 다양한 비영어 차트 및 표 이미지를 대규모로 수집하기 어렵다는 점입니다. 이를 해결하기 위해 본 연구는 다양한 형식과 도메인에 걸쳐 자연스럽게 발생하는 차트와 표를 포함하고 있으며 여러 국가에서 자유롭게 접근할 수 있는 정부 백서를 벤치마크 구축의 원천으로 활용합니다. 그 첫 번째 사례로, 33개의 정부 백서로 구축된 일본어 차트 및 표 시각적 질의응답(VQA) 벤치마크인 HakushoBench를 소개합니다. HakushoBench는 10개 이상의 이미지 유형에 걸친 2,053개의 이미지를 포함하며, 단순한 국소적 시각 단서보다는 차트와 표에 대한 총체적 이해를 평가하도록 설계되어 수작업으로 주석이 달리고 독립적으로 검증된 QA 쌍으로 구성됩니다. 광범위한 VLM에 걸친 실험 결과, HakushoBench는 기존 일본어 벤치마크보다 실질적으로 더 어려우며 오픈 가중치(open-weight) 모델에게도 여전히 도전적인 과제임을 보여줍니다. 10B 미만의 오픈 가중치 모델은 최대 58.6%의 정확도에 그쳤고, 대표적인 플래그십 오픈 가중치 모델인 Qwen3.5-397B-A17B조차 Gemini 3 Pro보다 8.1%p 뒤처져(85.8% 대 93.9%), 복잡한 차트 및 표 이해에 상당한 개선 여지가 있음을 강조합니다. 데이터셋과 코드는 공개됩니다.

arXiv:2606.00435v5cs.CV

도약하기 전에 감지하라: 비전-언어 모델의 신기루 현상 탐지

Detect Before You Leap: Mirage Detection in Vision-Language Models

비전-언어 모델(VLM)은 관련 시각적 증거 없이도 확신에 찬 답변을 생성할 수 있으며, 이러한 실패 양상을 신기루(mirage)라고 부릅니다(Asadi et al., 2026). 본 연구에서는 사전 공개 신기루 탐지(pre-release mirage detection), 즉 VLM의 답변을 공개할지 보류할지를 결정하는 문제를 연구합니다. 우리가 제안하는 모델 비의존적 방법인 텍스트 조건부 층별 내부 정렬(TC-LIA)은 동결된 CLIP ViT-H/14 인코더의 여러 층에 걸쳐 질문-이미지 간 정렬을 추적하며, 최종 유사도, 후반 층 top-k 정렬, 초기-후반 간 이득 및 기울기를 통해 패치-텍스트 정렬을 요약합니다. TC-LIA는 고정된 프로젝션과 점수 가중치를 활용하여 배포 시 별도의 학습이 필요 없고(training-free), 레이블 특화 학습 없이도 독자적으로 강력한 탐지 성능을 제공합니다. 또한 빈 이미지/노이즈 탐지, 도메인 라우팅, VLM 자체 평가와 결합할 경우 앙상블을 형성하며, 이 앙상블의 지도학습은 성능을 향상시키지만 이는 선택적인 추가 기능입니다. 10개 VQA 도메인에 걸친 19,004개 샘플에서 14개의 최신 VLM은 57.3-75.0%의 기본 신기루 비율을 보였습니다. 제안된 TC-LIA 단독으로도 이를 7.5%로 낮추고 83.5%의 관련/무관/빈 이미지-노이즈 분류 정확도를 달성하며, 앙상블은 84.5-88.4%의 정확도와 5.9-7.2%의 신기루 비율에 도달합니다(최고 공동 결과: 정확도 88.4%, 신기루 비율 6.4%). 특히 단일 백본에서 학습된 앙상블은 보지 못한 백본으로도 잘 전이되어, 가장 우수한 전이 성능을 보인 소스는 13개의 미공개 VLM 전체에서 백본별 학습 대비 정확도 차이가 0.7%p 이내로 유지되었습니다.

arXiv:2604.16067v2cs.LG

AEGIS: 지식 보존형 비전-언어-행동 미세조정을 위한 앵커 기반 그래디언트 격리

AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

로봇 조작을 위해 사전학습(pre-training)된 비전-언어 모델(VLM)을 미세조정(fine-tuning)하는 것은 근본적인 안정성-가소성 딜레마를 야기합니다. 즉, 연속적인 플로우 매칭(flow-matching) 행동 전문가는 고차원 교차 엔트로피(cross-entropy) 목표로 학습(training)된 트랜스포머(transformer) 백본에 집중된 저랭크(low-rank) 회귀 그래디언트(gradient)를 역전파합니다. 이러한 크로스모달 그래디언트 비대칭성은 사전학습된 시각적 추론 능력을 급격히 저하시킵니다. 기존 해결책들은 stop-gradient를 통해 연속적인 그래디언트 흐름을 단절하거나, 업데이트 랭크는 제한하지만 의미적 손상에 대해 방향적으로 맹목적인 LoRA를 통해 업데이트를 제한합니다. 두 방식 모두 일반적으로 혼합 배치(batch) VQA 공동 학습에 의존하여 학습 연산량을 두 배로 증가시킵니다. 본 논문에서는 파괴적인 매개변수(parameter) 업데이트로부터 사전학습된 표현을 격리하면서 연속적인 플로우 매칭 미세조정을 가능하게 하는 버퍼 없는 층(layer)별 직교 그래디언트 투영 프레임워크인 AEGIS(Anchor-Enforced Gradient Isolation System)를 소개합니다. 학습에 앞서, AEGIS는 사전학습 데이터로부터 층별 가우시안 활성화 통계량을 정적 참조 앵커로 추정합니다. 미세조정 중에는 닫힌 형식(closed-form)의 바서슈타인-2(Wasserstein-2) 수송 페널티가 활성 계산 그래프를 통해 앵커 복원 그래디언트를 생성합니다. 순차적인 듀얼 역전파 패스는 층별 그람-슈미트(Gram-Schmidt) 직교화를 적용하여, 방향 충돌이 발생할 때 복원 벡터의 직교 여공간으로 태스크 그래디언트를 투영합니다. 본 연구는 층별 직교 투영에 대한 정확한 에너지 보존 한계를 수립하여, AEGIS가 누적 특징(feature) 드리프트를 중단시키면서도 경험적으로 그래디언트 에너지의 0.62%만을 손실함을 보여줍니다. LIBERO 조작 벤치마크에서 미세조정된 PaliGemma2-3B를 통한 실험에서, AEGIS는 재생 버퍼, 교사 모델, 공동 학습 데이터 없이도 연속적인 행동 수렴(convergence)을 달성하는 동시에 사전학습된 시각적 질의응답(VQA) 성능과 기준선(baseline) 홀드아웃 손실(loss)을 온전히 보존합니다.

arXiv:2610.01531v1cs.AI

자율주행을 위한 신뢰할 수 있는 비전-언어 모델을 향하여

Towards Reliable Vision-Language Models for Autonomous Driving

비전-언어 모델(VLM)은 장면 이해, 주행 추론, 의사결정, 엔드투엔드(end-to-end) 주행과 같은 작업을 위해 자율주행 분야에서 점점 더 활발히 탐색되고 있습니다. 이들의 역할이 더욱 두드러짐에 따라, 강건성(robustness)과 신뢰성(reliability)을 확보하는 것이 점차 중요해지고 있습니다. 실제 환경 조건에서는 센서 결함 및 환경적 요인으로 인해 시각적 입력이 저하될 수 있으며, 이는 모델의 예측과 그에 수반되는 신뢰도(confidence) 모두에 잠재적으로 영향을 미칠 수 있습니다. 이러한 저하는 안전이 핵심적인(safety-critical) 의사결정을 위해 모델이 정확한 예측을 수행하고 자신의 예측이 신뢰할 수 없는 경우를 인식해야 하는 자율주행에서 특히 우려되는 문제입니다. 본 연구에서는 단일 프레임, 다중 뷰(multi-view), 다중 프레임, 단안(monocular) 입력을 포함한 서로 다른 시각적 입력 설정을 갖춘 4개의 주행 관련 QA 데이터셋에 걸쳐 5종의 VLM(Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, NVIDIA Alpamayo-1.5-10B)을 평가합니다. 실험 결과, 시각적 손상(visual corruption)의 영향은 모델, 데이터셋, 입력 설정에 따라 다양하게 나타났으며, 정확도와 신뢰도 신뢰성의 변화 또한 조건에 따라 상이함을 보여줍니다. 이어서 우리는 최근의 추론(inference) 시점 기법인 Visual Evidence Augmentation($\mathrm{V}{\scriptstyle \mathrm{EA}}$)을 적용하여, 저하된 시각적 조건에서 모델 신뢰성을 향상시킬 수 있는지 살펴봅니다. 그 결과 $\mathrm{V}{\scriptstyle \mathrm{EA}}$가 일부 모델과 데이터셋에서 성능을 향상시키지만, 모든 설정에서 일관되게 향상되는 것은 아님을 확인했습니다.

arXiv:2610.00700v1cs.AI

R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크

R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing

과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.

arXiv:2610.01637v1cs.CV

베트남어 시각적 질의응답을 위한 다층 융합 트랜스포머 기반 시각 및 텍스트 표현 융합

Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering

최근 수십 년간 인공지능은 이미지를 이해하고 상호작용하는 데 있어 상당한 진전을 이루었습니다. 이러한 기술의 중요한 응용 분야 중 하나는 컴퓨터가 자연스러운 방식으로 이미지에 대한 질문을 이해하고 답하도록 요구하는 연구 분야인 시각적 질의응답(Visual Question Answering, VQA)입니다. 영어 대상의 VQA에 대한 광범위한 연구 및 개발에도 불구하고, 다른 언어, 특히 베트남어에 대해서는 유사한 노력이 거의 이루어지지 않았습니다. 이러한 격차는 베트남어 환경에서 VQA 기술의 발전을 위한 중대한 도전 과제이자 기회를 제공합니다. 이 격차를 해소함으로써 베트남어 VQA 분야는 인공지능 연구의 다양성을 풍부하게 할 뿐만 아니라 전 세계 베트남어 사용자를 대상으로 교육, 의료, 엔터테인먼트 등 다양한 영역에서 실용적인 응용을 가능하게 합니다. 따라서 베트남어 VQA 시스템의 탐험(exploration)과 개발은 컴퓨터 비전과 자연어 처리의 교차점에서 연구와 실용적 응용 모두를 발전시킬 수 있는 막대한 잠재력을 지니고 있습니다. 본 논문에서는 서로 다른 층(layer)의 이미지 및 텍스트가 가진 다중 모달리티 특징을 하나의 통합된 표현으로 결합하기 위해 교차 어텐션(cross attention) 모듈을 활용하는 다층 융합 트랜스포머(Multi-layer Fusing Transformer) 모델을 제안합니다. 제안하는 아키텍처를 통해 저수준부터 고수준까지의 정보를 추출할 수 있습니다. 상세한 실험과 제거 연구(ablation study)를 통해 본 모델은 베트남어 ViVQA 데이터셋에서 경쟁력 있는 베이스라인 대비 유망한 결과를 달성합니다.

arXiv:2610.01605v1cs.CV

Hob-VL: 시각적 그라운딩 기반 불리언 추론을 위한 벤치마크

Hob-VL: A Benchmark for Visually Grounded Boolean Reasoning

신뢰할 수 있는 시각적 추론(visual reasoning)을 수행하려면 여러 시각적 관찰 결과를 조합하고 논리적으로 동등한 질문에 대해 일관된 답변을 도출할 수 있어야 합니다. 본 연구에서는 시각적 그라운딩(visually grounded) 기반 불리언 추론(Boolean reasoning)을 위한 벤치마크인 Hob-VL을 소개합니다. Hob-VL은 두 가지 태스크로 구성됩니다: (1) 이미지에서 불리언 규칙이 성립하는지 평가하기, (2) 불리언 설명을 만족하는 (고유한) 객체 식별하기. Hob-VL은 생성된 1,000개의 장면과 46개의 다양한 라벨링된 사진에 걸쳐 10개의 시각적 진술의 불리언 조합으로 정의된 6,000개의 사람이 검증한 균형 잡힌 Yes/No 질문과 동일한 사진들에 대한 1,000개의 객체 식별 질문을 포함합니다. 본 연구의 질문 집합은 오해를 유발하는 로컬 단서와 중첩된 논리 연산을 통해 추론 능력에 도전하도록 의도적으로 설계되었으며, 기호적 표현과 구조화된 자연어 표현을 모두 포함합니다. 사고(thinking) 기능을 비활성화하거나 최소화한 8개 모델 구성 전반에서 불리언 정확도는 48.52%에서 50.57%에 그쳤고, 식별 정확도는 최대 43.0%에 불과했습니다. 사고 기능을 활성화한 GLM 모델 구성의 경우 불균등한 성능 향상을 보였으나 상당한 오류와 불일치는 여전히 지속되었습니다. Hob-VL은 실행 가능한 참조 답변과 정합된 평가를 통해 이러한 실패 사례들을 드러냅니다.

arXiv:2610.01180v1cs.CV

스켈레톤 및 전략 프롬프팅: 비전-언어 모델을 위한 학습 불필요 부정 이해

Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models

다양한 시각적 질의응답(VQA) 태스크에서 비전-언어 모델(VLM)이 뛰어난 성능을 보임에도 불구하고, 이러한 모델들은 지속적으로 부정(negation)을 이해하는 데 어려움을 겪으며 부정절이 포함된 질문에 대해 잘못된 답변을 생성합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 매개변수 업데이트 없이 VLM의 부정 이해 능력을 향상시키는 학습 불필요(training-free) 문맥 내 학습(ICL) 방식인 스켈레톤 및 전략 프롬프팅(Skeleton-and-Strategy Prompting, SSP)을 제안합니다. 부정 질문이 주어지면, 제안하는 방법은 먼저 질문의 기저 구조를 스켈레톤으로 추상화하고, 경량화된 질문 풀에서 동일한 스켈레톤을 가진 소수의 질문 집합을 검색한 다음, VLM이 이들의 공유된 부정 패턴을 분석하여 단일 문장으로 된 답변 전략을 합성하도록 프롬프트합니다. 이렇게 생성된 스켈레톤과 전략은 테스트 샘플 앞에 추가되어 모델이 부정 문제를 올바르게 해결하도록 안내합니다. 여러 부정 VQA 벤치마크에 대한 실험을 통해 SSP가 연산 효율성을 유지하면서도 부정 중심 VQA 태스크에서 최첨단(SOTA) 성능을 달성함을 보입니다.

arXiv:2610.01166v1cs.CV

CineMR: 정량적 심장 MRI 평가를 위한 도구 통합형 비전-언어 추론

CineMR: Tool-Integrated Vision-Language Reasoning for Quantitative Cardiac MRI Assessment

시네(cine) 영상을 포함한 심혈관 자기공명영상(CMR)은 심장 형태 및 심실 기능의 비침습적 평가를 위한 표준 기준입니다. 시네 CMR 해석은 정성적 시각 평가와 심실 부피, 박출률(ejection fraction), 심근 질량, 벽 두께 및 국소 벽 운동(regional wall motion)에 대한 정량적 측정을 통합합니다. 현재의 의료용 비전-언어 모델(VLM)은 분석 도구 없이는 다차원 시네 영상으로부터 정량적 측정값을 신뢰성 있게 도출할 수 없습니다. 본 논문에서는 심장 영상 분석 도구를 호출하고 그 출력을 인터리브된 추론 과정에 통합하여 정량적 CMR 평가를 수행하는 도구 증강 VLM인 CineMR을 제시합니다. 또한 정량적 지표 추출, 다중 클래스 진단, 감별 진단을 포괄하는 다중 코호트 시각 질문 답변(VQA) 벤치마크를 분할(segmentation), 시상 선택(phase selection), 부피 측정, 형태 측정 및 국소 벽 운동 분석 도구와 함께 구축합니다. CineMR은 도구 상호작용 궤적에 대한 지도 미세조정(SFT)을 거친 후 조건부 도구 사용 보상을 적용한 그룹 상대 정책 최적화(GRPO)를 통해 학습됩니다. 다중 코호트 시네 CMR 벤치마크에서 CineMR은 35.9%의 pass@1과 58.9%의 pass@4를 달성한 반면, 백본인 Qwen3-VL-8B는 1.5% pass@1, LLaVA-Med v1.5 및 MedGemma-4B는 각각 0.0%와 7.0% pass@1에 그쳤습니다. 올바른 도구 호출 비율은 SFT 후 78.9%에서 GRPO 후 99.8%에 도달했습니다. 실시간 도구 출력은 직접적인 모델 예측 대비 심실 측정 정확도를 20.4--23.7% 향상시켰으며, 모든 도구를 제거하면 pass@1이 35.9%에서 27.9%로 감소했습니다. 이러한 결과는 정량적 시네 CMR 추론을 위한 신뢰할 수 있는 도구 사용의 중요성을 강조하며, 보조적 심장 영상 평가를 위한 유망한 접근법으로서 CineMR의 가능성을 뒷받침합니다. 코드, 벤치마크 리소스 및 모델 가중치는 https://github.com/AI-MIND-Lab/CineMR 에서 확인할 수 있습니다.

arXiv:2610.00960v1cs.CV

Video-Index: 비디오 이해를 위한 큐레이션된 메타 벤치마크

Video-Index: A Curated Meta-Benchmark for Video Understanding

비디오 벤치마크는 측정하고자 하는 역량에 보상을 부여해야 하지만, 모델은 정답 선택지, 질문 텍스트, 또는 일부 시각적 증거만을 악용할 수 있습니다. 본 연구에서는 각 항목에 대한 접근 수준이 점진적으로 증가하는 5단계의 지름길 공격(shortcut attack)인 공격 피라미드(attack pyramid)를 도입하고, 이를 통해 115개의 비디오 벤치마크를 감사합니다. 35개 벤치마크에서는 프레임을 전혀 보지 않는 공격자도 전체 비디오를 본 정확도에 근접했습니다. 시간에 따른 탐침(temporal probe)이 있는 51개 벤치마크의 경우, 프레임 순서를 섞어도 전체 비디오 정확도의 중앙값 96%를 유지했습니다. 또한 63개 벤치마크에서는 거의 중복된 질문이 전체 항목의 최소 절반을 차지했습니다. 저자들은 이 중 112개 벤치마크에서 505,518개의 질문-답변 쌍을 선별하여 검증된 풀을 구축했습니다. 에이전트가 평가 요청을 명세로 변환하고, 레드팀 게이트(red-team gate)가 포함된 결정론적 선택기가 재현 가능한 벤치마크를 구성합니다. 우리는 이러한 공격 하에서 4개의 역량 그룹별로 가장 어려운 검증된 210개 항목, 즉 76개 출처에서 총 840개 항목으로 구성된 Video-Index를 공개합니다. 동일하게 고정된 입력을 사용할 때 Claude Opus 5는 모든 오픈소스 모델보다 37%p 이상 높은 점수를 기록했으며 에이전트 도구를 통해 약 20%p가 추가되었으나, 모든 시스템은 여전히 효율성과 정확도를 개선할 여지를 남겨두고 있습니다. 블로그: https://www.enxinsong.com/blog/video-index/ GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index

arXiv:2610.00757v1cs.CV

비디오 증거 인덱싱(Video Evidence Indexing): 토큰 예산 제약 장시간 비디오 질의응답을 위해 비디오 프리뷰로부터 어디를 볼지 학습하기

Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering

장시간 비디오 질의응답(long-video question answering)은 비주얼 토큰의 높은 비용과 현재 VLM(비전-언어 모델)의 고정된 컨텍스트 폭(context width)으로 인해 제약을 받는다. 장시간 비디오에 대한 질문은 넓은 시간적 범위(temporal coverage)를 요구할 수 있지만, 정답은 흔히 소수의 압축된 순간들(moments)에 의해서만 뒷받침된다. 이러한 순간들을 효율적으로 찾아내기 위해, 우리는 토큰 예산이 제한된 비디오 증거 인덱싱(token-budgeted Video Evidence Indexing, VEI)을 제안한다: 조밀한 저해상도 비디오 프리뷰(Video Preview)가 주어지면, 모델은 최종 추론을 위한 압축된 고해상도 증거 집합(Evidence Set)을 구성한다. 우리는 VEI를 질문과 관련된 순간을 찾는 증거 위치 추정(evidence localization)과, 제한된 고해상도 프레임 예산을 어디에 사용할지 결정하는 예산 계획(budget planning)을 함께 해결해야 하는 정책(policy)으로 다룬다. 우리는 이 아이디어를 하나의 추론 파이프라인으로 구현한다: 비디오 프리뷰는 저비용의 전역적 커버리지를 제공하고, 비디오 증거 인덱싱은 증거 집합을 구성하며, 답변 생성(Answer Generation)은 최종 VQA를 위해 두 입력을 결합한다. 프레임 수준의 감독(supervision)이 부재한 문제를 해결하기 위해, 우리는 특권적 자기 증류(privileged self-distillation)를 채택하는데, 여기서는 정답을 아는 교사(answer-aware teacher)가 학생이 생성한 인덱싱 흔적(indexing trace)에 대해 일반적인 테스트 시점(test-time) 정책을 지도한다. 우리는 프레임당 1, 6, 12, 24개의 비주얼 토큰을 가진 프리뷰를 탐구하며, 이 네 가지 해상도를 모두 지원하는 단일 정책을 학습시킨다. 실험 결과, 비디오 증거 인덱싱은 제한된 비주얼 예산 하에서 정확도를 향상시키며, 자기 증류는 QA 정확도와 시간적 증거 위치 추정(temporal evidence localization) 모두를 추가로 향상시킨다.