PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24813v1cs.CV

INTCORT: 입력 변환 및 relation-token 신뢰도 라우팅을 통한 비전-언어 모델의 학습 없는 공간 추론 향상

INTCORT: Training-Free Spatial Reasoning Enhancement for Vision-Language Models via Input Transformations and Confidence Routing

비전-언어 모델(VLM)은 멀티모달 과제에서 뛰어난 성능을 보여 왔지만, 공간 추론 능력은 여전히 부족하다. 기존의 학습 의존적·학습 없는(training-free) 향상 방법은 각각 치명적 망각(catastrophic forgetting)을 동반한 높은 계산 비용, 또는 일반적 능력을 훼손하는 내부 메커니즘 간섭 문제를 겪는다. 본 연구에서는 먼저 두 가지 핵심 가설을 검증한다: 적절한 기하학적 이미지 변환과 질의 역전(query-reversal) 변환이 잘못된 공간 예측을 복구할 수 있으며, 올바른 예측은 잘못된 예측보다 relation-token 신뢰도가 더 높다는 것이다. 이를 바탕으로 VLM 내부 메커니즘을 수정하지 않고, 입력 변환으로 여러 추론(inference) 뷰를 구성하고 relation-token 신뢰도 라우팅으로 예측을 집계하는 학습 없는 공간 추론 향상 프레임워크 INTCORT를 제안한다. 여러 널리 쓰이는 벤치마크(benchmark)에서의 실험 결과, INTCORT는 다양한 VLM에서 공간 추론 정확도를 크게 향상시키며, 모든 모델과 벤치마크에 대해 평균 10.01%의 개선을 달성한다. 선행 연구와 비교하면 INTCORT는 최대 25.01%의 개선으로 더 우수한 성능을 달성한다.