정적 중요도 점수는 시각적 증거를 단일 순위로 압축하지만, 하나의 단서가 관측된 뒤에는 남은 증거의 가치가 바뀔 수 있다. 우리는 색상, 형태, 질감 증거를 독립적으로 노출할 수 있고 획득 상태에 걸쳐 조건부 한계 효용(conditional marginal utility)을 측정할 수 있는 통제된 구성적 시각 탐색에서 이러한 가능성을 연구한다. 800개 장면에 대한 홀드아웃 검증에서, 동결된 OpenCLIP과 SigLIP은 순서 변화를 유도하도록 설계된 후보 중첩 영역에 집중되고, 두 가지 증거 누적 구성과 10개의 동등한 쿼리 표현 전반에서 지속되며, 쿼리-장면 교란(query-scene derangement) 하에서는 거의 무작위 수준의 동작으로 붕괴하는 견고한 상태 의존적 순위 역전을 보인다. 1,200개 장면에 대한 후속 역할 균형(role-balanced) 추적 연구에서는 초기에 강한 속성, 중복을 유발하는 속성, 비교 속성의 추상적 역할을 순환시킨다. 잔여 속성-정체성 효과가 남아 있긴 하지만, 양성-음성 역전 대비(positive-minus-negative reversal contrast)는 24개의 모든 역할 순열, 백본 및 증거 모드 셀 전반에서 양의 값을 유지한다. 나아가 우리는 측정된 재계획 기회와 전향적 예측 가능성을 구분한다. 첫 행동 일치 유틸리티 분석은 남은 증거의 순위를 재조정할 상당한 기회가 있음을 보여주지만, 사후(posterior) 기반 또는 획득 임베딩 상태 표현을 사용하는 경량 예측기는 역할 균형 벤치마크에서 적합한 정적 대조군 대비 획득 상태 정보의 견고한 점진적 이점을 확립하지 못한다. 종합하면, 이러한 결과는 이 통제된 설정에서 조건부 시각적 증거 유틸리티가 신뢰할 수 있을 정도로 상태 의존적임을 보여주는 동시에, 변화하는 유틸리티의 존재와 그러한 변화가 학습된 선택기에 의해 전향적으로 예측 가능하다는 더 강한 주장을 분리한다.
대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.
시각 생성 모델이 학습 데이터 범위를 벗어난 세계 지식을 요구하는 사용자 요청에서 구조적으로 실패한다는 문제를 다루며, 12가지 실패 범주·22개 도메인에 걸친 20,839개 프롬프트로 구성된 SearchGen-20K/SearchGen-Bench와 멀티모달 SearchGen-Corpus-1M을 구축하고 teach-then-search 공동 학습 프레임워크를 제안한다. 단순 검색이 오히려 노이즈를 주입해 성능을 저하시킴을 밝히고, 생성 모델별로 변화하는 지식 경계를 발견·활용하는 노이즈 저항 에이전틱 추론기와 공동 학습 레시피를 통해 SearchGen-Bench에서 단조적인 성능 향상을 달성했다.
멀티모달 대규모 언어 모델(MLLM)은 인상적인 범용 능력을 보여주지만, 초고해상도(UHR) 이미지에서의 세밀한 지각, 특히 복잡한 장면 속 작은 객체 인식에는 어려움을 겪는다. 기존 방법들은 딜레마에 직면해 있다: 비효율적인 사전 정보 없는 스캐닝에 의존하거나, 초기 모델 편향을 수정하는 사후 보정이 부재한 정적 사전 정보 기반 휴리스틱에 의존한다. 이를 해결하기 위해, 우리는 지각을 연속적인 공간-스케일 다양체(manifold)에 대한 전역 최적화 문제로 정식화하는 프레임워크인 BVS(Bayesian Visual Search)를 제안한다. 구체적으로, BVS는 사전 안내와 사후 보정을 연결한다: MLLM의 조기 중단 어텐션 롤아웃을 활용하여 추론 인식 사전 정보를 구성하는 한편, 스케일 인식 비정상 커널과 GP-UCB를 적용하여 반복적인 지역 관찰을 통해 사전 정보의 노이즈를 동적으로 수정하고 누락된 정보를 복원한다. 우리는 준선형 후회 한계(sub-linear regret bounds)를 통해 이론적 보장을 제공하며, 광범위한 실험을 통해 BVS가 정확도와 효율성 간의 우수한 균형으로 최신 기준선을 크게 능가함을 입증한다.
다중모달 대규모 언어 모델(MLLM)은 고해상도 이미지에서 작은 객체를 식별하거나 긴 동영상에서 핵심 순간을 탐지하는 것과 같은 세밀한 인식에 어려움을 겪는 경우가 많다. 기존 방법은 일반적으로 복잡하고 태스크별 미세조정에 의존하며, 이는 일반화 가능성을 낮추고 시스템 복잡성을 증가시킨다. 본 연구에서는 MLLM의 내재적 불확실성을 선제적 가이던스로 활용하는 효과적인 학습 없는 프레임워크를 제안한다. 핵심 통찰은 관련 시각 정보가 제공될 때 모델의 불확실성이 감소한다는 것이다. 응답 불확실성으로 후보 시각 입력을 점수화하는 통합 메커니즘을 도입하여, 모델이 가장 정보가 풍부한 데이터에 자율적으로 집중할 수 있게 한다. 이 단순한 원칙을 Visual Search, 장기 동영상 이해(Long Video Understanding), Temporal Grounding 세 가지 도전적인 시각 태스크에 적용하여, 기성(off-the-shelf) MLLM이 특화되고 미세조정된 시스템과 경쟁력 있는 성능을 달성할 수 있게 한다. 결과는 내재적 불확실성을 활용하는 것이 세밀한 다중모달 성능을 향상시키는 강력한 전략임을 보여준다.
Visual search has been one of the most productive paradigms in the study of visual attention: the way reaction time scales with the number of items distinguishes parallel, "pop-out" search from serial, attention-demanding search. I ask whether vision-language models (VLMs) exhibit the same behavioral signatures. I adapt four classic paradigms: feature versus conjunction search, spatial-configuration (T-vs-L) search, enumeration, and the tilted/vertical search asymmetry; and present them to current frontier and mid-tier models. Because a single model call has no reaction time, I use the number of reasoning ("thinking") tokens a model spends per trial as a within-model analog of search effort, and I compare against a large public human benchmark (Wolfe et al., 2010). The models reproduce several human signatures: feature search costs flat effort while conjunction effort climbs with set size; frontier models hold accuracy where mid-tier models collapse to chance; and a resolution control shows the conjunction cost is genuine search rather than difficulty resolving small shapes. They also diverge from humans in informative ways. The target-present effort slope exceeds the target-absent slope, reversing the human ordering; enumeration remains accurate where humans would lose count; and a reasoning model with adaptive deliberation declines to deliberate on detection tasks altogether, so that a single search expresses itself as an effort gradient in one model and as an accuracy cliff in another. I argue that psychophysical paradigms, applied behaviorally, are a sharp and inexpensive probe of machine visual cognition, and that the points of divergence are as informative as the points of agreement.