PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22910v1cs.AI

VLM은 언제 봐야 하는가? 필요했고 사용된 시각 호출에만 대가를 지급하기

When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used

크롭 및 줌을 수행하는 비전-언어 에이전트는 성공적인 도구 호출에 보상을 주는 방식으로 학습되지만, 성공한 호출만으로는 모델이 실제로 볼 필요가 있었는지, 받은 픽셀을 사용했는지를 알 수 없다. cold-start 체크포인트에서는 시각 호출의 10%~12%만이 필요하면서 동시에 사용되었고, 공개된 에이전트는 개별 벤치마크에서 36%~87%의 경우 허위 호출을 한다. outcome 보상, judge 보상, branch probe는 각각 이 실패의 한 측면만 관찰하며, outcome 보상이 지급하는 약 2/3는 필요하지도 사용되지도 않은 호출에 간다. CounterCredit은 정책 자체의 gold-answer 점수를 사용해, 호출 직전의 실현된 상태에서 이미지를 반환하는 모든 호출에 대해 두 질문을 모두 던진다. decision value는 실현된 시각 분기와 즉시 답하는 경우를 비교하고, evidence value는 반환된 crop을 동일 호출에 대체 투입한 무작위 동일 크기 패치와 비교한다. 양쪽에서 검증된 호출은 cashback을 받고, 그 외 실행된 모든 호출은 rent를 지불한다. 가격은 모든 올바른 궤적이 모든 잘못된 궤적보다 순위가 높도록 상한이 정해지며, dual-channel GRPO advantage가 가격을 자체 단위로 유지한다. 동일한 cold start, 프롬프트 풀, 예산에서 CounterCredit은 V*에서 89.5%, HR-Bench-4K에서 80.2%, HR-Bench-8K에서 76.4%를 달성해, 질문당 1.78회 대 1.84회 호출 조건에서 outcome-only GRPO보다 6.3~9.4 포인트 높으며, 허위 호출 비율을 31%~36%로 낮춰 평가된 에이전트 중 최저 수준이다. 동일한 방법은 Qwen3-VL-8B 베이스의 평균 성능을 75.4에서 80.8로 끌어올린다.