arXiv:2611.23179v1 cs.CV

말을 줄이면 환각도 줄어드는가? 선호 최적화한 비전-언어 모델의 객체 포괄 범위 진단과 복원

Say Less, Hallucinate Less? Diagnosing and Restoring Object Coverage in Preference-Optimized Vision-Language Models

Hansang Lee

제출 2026-11-18

한국어 초록

대규모 비전-언어 모델에서 실제로 없는 객체를 언급하는 환각을 줄이기 위해 선호 최적화(PO)를 표준적으로 사용한다. 공개된 LLaVA-1.5-7B의 PO 체크포인트 네 개를 살펴본 결과, 객체 포괄 범위도 줄었다. 이 모델들은 더 적은 객체 범주를 언급하며, 환각률은 낮아졌지만 CHAIR에서 객체 집합 단위의 F1은 유의하게 높아지지 않았다. 이에 기본 모델의 출력을 일찍 끝내는 것만으로 PO의 개선 효과를 얼마나 재현할 수 있는지 조사했다. 시퀀스 종료(EOS) 로짓에 양의 바이어스를 주면 기본 모델의 재현율을 각 PO 모델 수준으로 맞출 수 있다. 이렇게 조기 종료만 적용해도 서로 겹치지 않는 COCO 세트 두 개에서 체크포인트 세 개가 달성한 CHAIRi 개선 폭의 58~86%를 재현했다. 출력을 늘려도 누락된 범주는 돌아오지 않았다. 탐욕적 디코딩에서 음의 EOS 바이어스는 이 체크포인트들이 잃은 CHAIR 재현율의 2~9%만 회복했다. 새로 추가된 객체 언급 중 94~96%는 이미 나온 범주를 반복했다. CHAIR에서 같은 이미지에 대한 기본 모델의 캡션에는 PO 모델이 놓친 객체 범주의 약 절반이 여전히 포함돼 있었다. 이에 추가 학습 없이 기본 모델만 높은 신뢰도로 언급한 객체 범주를 PO 캡션에 덧붙이는 기본 모델 기반 복원 방식을 제안한다. 개발 세트에서 임계값을 고정하고 별도로 보관한 COCO 세트에서 평가한 결과, 체크포인트 세 개의 재현율이 기본 모델과 1%포인트 이내로 가까워졌으며 고유 객체 기준 환각률은 기본 모델보다 낮았다. 재현율을 맞춘 기본 모델의 조기 종료 곡선과 비교하면, 기본 모델에 가까운 재현율에서는 RLAIF-V에서, 중간 수준의 재현율에서는 RLAIF-V와 CHAIR-DPO에서 개선이 유지됐다. 재현율을 통제하는 평가의 코드를 공개할 예정이다.

원문 초록

Preference optimization (PO) is the standard way to reduce object hallucination in large vision-language models. We find that four public PO checkpoints of LLaVA-1.5-7B also lower object coverage. They name fewer object categories, and their lower hallucination rates bring no significant gain in set-level object F1 on CHAIR. We therefore ask how much of the PO gain the base model can reproduce by stopping earlier. A positive end-of-sequence (EOS) logit bias lets the base model reach the recall of each PO model, and this early stopping alone reproduces 58 to 86 percent of the CHAIRi gain of three checkpoints on two disjoint COCO sets. Writing longer does not bring the lost categories back. Under greedy decoding, a negative EOS bias recovers only 2 to 9 percent of the lost CHAIR recall of these checkpoints, and 94 to 96 percent of the added object mentions repeat categories already named. On CHAIR, the base caption of the same image still names about half of the missed object categories. We therefore propose base-guided object-category restoration, which appends high-confidence base-only categories to the PO caption without training. With thresholds fixed on a development set, it brings three checkpoints within one point of the base recall on a held-out COCO set with a lower distinct-object hallucination rate than the base model. Against the recall-matched base stopping curve, its gain holds for RLAIF-V near the base recall and for RLAIF-V and CHAIR-DPO at an intermediate recall. We will release the code of the recall-controlled evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23179v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.