비전과 언어 간 정보 밀도 불균형으로 인한 패치 중복성과 모호성(Semantic Sparsity Bias) 문제를 해결하기 위해, MLLM이 생성한 밀도 높은 텍스트 앵커와 희소 캡션을 이중 세분화 의미 보정(Dual-Granularity Semantic Calibration) 메커니즘으로 결합해 핵심 시각 패치를 선별하는 SEPS 프레임워크를 제안한다. Flickr30K 및 MS-COCO 데이터셋 실험에서 기존 방법 대비 rSum 기준 23–86% 향상된 성능을 달성했다.
대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.
텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
비전-언어 모델(VLM)이 시각적 입력과 사전학습된 세계 지식이 충돌할 때 이를 어떻게 해결하는지 인과적 메커니즘을 규명하기 위해, activation patching과 ablation 연구를 결합한 결과 시각적 그라운딩이 기본 경로로 작동하는 반면, 사전 지식 기반 응답은 네트워크 후반부에 집중된 소수의 어텐션 헤드(2.5–4.8%)에 의존하는 비대칭 인과 구조가 Qwen-VL, LLaVA-NeXT, PaliGemma 등 세 가지 VLM 계열에서 일관되게 나타남을 밝혔다. 이 헤드들은 정보 흐름을 조절하는 라우팅 헤드와 답 토큰을 잔차 스트림에 직접 투사하는 쓰기 헤드로 구분되며, 이를 절제하면 사전지식 프롬프트 조건에서 68–96%의 예측이 시각적 그라운딩 답변으로 전환된다.
3D 멀티모달 대규모 언어 모델(3D MLLM)은 3D 물체를 전체로서 기술하지만, 그 부분을 지목하거나 명명하거나 이에 대해 추론하지는 못한다. 기존의 부분 인식 시도들은 분할 디코더, 더 무거운 3D 인코더, 또는 바운딩 박스 문법을 상당한 파라미터 비용으로 추가한다. 본 연구는 근본적으로 다른 길을 택한다. 즉, 입력 토큰 스트림을 재구성하여 LLM 자체의 어휘를 통해 부분을 직접 지칭할 수 있도록 한다. 제안하는 모델 3D-PLOT-LLM은 고정된 포인트 인코더의 패치를 K개의 국소적으로 일관된 영역으로 분할하고, 각 영역의 패치 토큰 앞에 학습 가능한 영역별 마커와 예약된 어휘 토큰 <part_k>를 삽입한다. 이후 Marker-Space Refinement(MSR) 모듈이 각 마커를 해당 영역의 공간 통계와 인접 이웃에 조건화한다. 따라서 모델은 출력에서 부분을 인용하고 토큰으로 부분을 지칭하는 프롬프트를 따를 수 있으며, 이는 기존의 물체 수준 3D MLLM에는 없던 능력이다. 이 인터페이스를 검증하기 위해 PartVerse 메시 주석을 변형하여 어휘 수준의 부분 질의응답 벤치마크인 PartVerse-QA를 구축하였다(서로 분리된 물체 분할에서 학습 쌍 77K개와 보류된 질의 588개). 이 벤치마크에서 3D-PLOT-LLM은 caption-to-slots Jaccard 0.459와 Exact-match 13.78%, slot-to-caption GPT-4o 판정 44.68을 달성한다. 부분 인식 기반 설명 벤치마크인 3DCoMPaT-GrIn의 텍스트 설명 트랙에서 3D-PLOT-LLM은 보고된 모든 텍스트 지표에서 PointLLM, Kestrel, PARIS3D, SegPoint를 능가하고, 4개 중 3개 지표에서 ShapeLLM을 능가하며, PointLLM 대비 GPT-4o 판정에서 최대 +3.03을 얻는다. Objaverse 전체 물체 캡셔닝에서는 Stage 2에 PartVerse-QA를 추가하면 PointLLM 대비 SBERT +0.65, GPT-4o +1.85를 얻으며, 부분 기반 목적 함수에도 불구하고 5개 전통적 지표 중 4개에서 PointLLM-PiSA를 앞선다. 이 모든 결과는 고정된 포인트 인코더 위에 새로 학습되는 파라미터가 100만 개 미만인 상태에서 달성되었으며, 이는 기존 부분 인식 3D MLLM보다 한 자릿수 작은 규모이고, 학습된 부분 검출기, 분할 디코더, 바운딩 박스 헤드도 사용하지 않는다.
멀티모달 딥서치는 에이전트가 변화하는 텍스트 및 시각 맥락 위에서 검색, 도구 사용, 시각적 추론을 연쇄적으로 수행하여 개방형 세계의 문제를 해결할 것을 요구한다. 현재 시스템은 두 가지 병목으로 인해 한계를 보인다. 첫째, 기존의 도구 사용 하네스는 검색, 브라우징 또는 변환을 통해 반환된 이미지를 일시적인 출력으로 취급하므로, 중간 시각적 증거를 이후의 도구가 다시 사용할 수 없다. 둘째, 학습 데이터는 대개 고정된 큐레이션 방식으로 구축되어 대상 에이전트의 진화하는 역량을 따라가지 못한다. 이러한 문제를 해결하기 위해, 우리는 먼저 이미지 뱅크 참조 프로토콜을 중심으로 하는 시각 네이티브 에이전트 하네스를 제안한다. 이 프로토콜은 도구가 반환한 모든 이미지를 주소 지정이 가능한 <image:N> 참조로 등록하여 중간 시각적 증거를 이후 도구가 재사용할 수 있게 한다. 이 하네스 위에서 온폴리시 데이터 진화(On-policy Data Evolution, ODE)는 학습 중인 정책의 롤아웃을 바탕으로 라운드마다 스스로를 개선하는 폐루프 데이터 생성기를 구동한다. 이러한 라운드별 개선을 통해 각 라운드의 데이터는 현재 정책이 여전히 학습해야 하는 부분을 겨냥하게 된다. 동일한 프레임워크가 다양한 지도 미세조정 데이터와 정책 인지형 강화학습 데이터 큐레이션을 모두 지원하며, 대상 에이전트의 전체 학습 생애주기를 포괄한다. 8개의 멀티모달 딥서치 벤치마크에서 ODE는 Qwen3-VL-8B 에이전트의 평균 성능을 24.9%에서 39.0%로 향상시킨다. 30B 규모에서는 ODE가 평균 점수를 30.6%에서 41.5%로 높인다. 추가 분석을 통해 이미지 뱅크 재사용의 효과, 특히 반복적인 시각적 정교화가 필요한 복잡한 과제에서의 효과를 확인했으며, 롤아웃 피드백 기반 진화는 정적 합성보다 더 근거가 충실한 SFT 궤적과 정책에 더 잘 맞는 RL 과제를 산출한다.
비디오 멀티모달 대규모 언어 모델은 기존 벤치마크에서 우수한 성과를 거두고 있으나, 답변의 정확도만으로는 모델이 질문에 답하는 데 필요한 증거를 실제로 찾아낼 수 있는지 입증하지 못합니다. 본 논문에서는 13개 비디오 도메인에 걸쳐 수작업으로 주석을 단 질문-답변 쌍을 포함하는 까다로운 롱비디오(long-video) 벤치마크인 VideoZeroBench를 소개합니다. 질문들은 미세한 단서, 순식간에 지나가는 사건, 여러 구간에 걸쳐 분산된 증거를 목표로 합니다. 해당되는 경우 시간적 구간과 키프레임 바운딩 박스가 주석으로 제공됩니다. 모든 질문은 답변 타당성과 증거 품질에 대해 두 차례의 교차 검증을 거칩니다. 5단계 진단 프로토콜을 통해 증거 힌트 유무에 따른 답변 능력을 비교한 뒤, 답변 정확도와 독립적으로 평가된 시간 및 공간 그라운딩(grounding)을 결합합니다. 평가된 19개 모델 중 표준 QA 정확도가 가장 높은 모델은 Gemini-3.7-Flash로 24.8%(레벨 3)를 기록했습니다. 정답과 정확한 시공간 위치 특정을 동시에 요구할 경우(레벨 5), 1.8%를 초과하는 모델은 없었습니다. 원자적 능력, 증거 범위, 입력 모달리티, 비디오 기반 사고(thinking-with-videos) 추론에 대한 분석은 평가 대상 시스템이 어떤 부분에서 어려움을 겪는지 구체적으로 보여줍니다. 이러한 발견은 롱비디오 질의응답에서 보다 정밀한 증거 탐색 및 위치 특정이 필요함을 시사합니다. 코드와 데이터는 공개되어 있습니다.
VLM의 보조 신호 경로에는 최적화기가 신호를 얼마나 받아들일지 결정할 수 있도록 학습 가능한 게이트가 일상적으로 적용된다. 본 연구는 최적화기가 무엇을 결정하는지, 그리고 모델이 이후 그 신호를 실제로 사용하는지를 쌍곡 시각 관계 그래프를 실험 수단으로 삼아 연구한다. 교차 엔트로피 미세조정 하에서 최적화기는 0을 선택하며, 우리가 학습시킨 모든 설계에서 게이트가 닫힌다는 것을 확인하였다. 이는 LLaVA-1.5-7B에서의 다섯 가지 주입 설계, 네 가지 과제군에 걸친 Qwen2-VL-7B의 15회 중 15회 실행, InternVL3-8B의 3개 시드 중 3개, 그리고 모든 선형 계층에 LoRA를 적용한 경우에서 모두 나타났다. 우리는 이 억제 현상을 두 가지 체제로 설명한다. 하나는 이미지에서 유래한 신호의 캡션 불변성을 통해 정식화하고 직접 측정한 기울기 소실 체제이며, 다른 하나는 보조 신호가 손실을 오히려 악화시키는 음의 효용 체제이다. 게이트가 닫혀 있다고 해서 그 경로가 비활성 상태인 것은 아니므로, 실제 영역 제안을 사용하는 단일 프로토콜 하에서 추론 시 각 경로를 절제하였다. 그 결과 노름 정렬 설계는 행동 면에서 닫혀 있는 반면(학습된 게이트에서 변화가 최대 1.5pp), 정규화되지 않은 게이트 프리픽스는 열려 있으며 해롭다. 학습된 게이트 값 +0.005에서 관계형 GQA에서 6.7pp의 손실을 초래하면서 SugarCrepe에는 도움이 된다. 모든 구성을 단일 추론 모드로 평가한 결과, 활성화된 주입 경로는 관계형 GQA에서 최대 15pp, 분포 외 VSR에서 7-12pp의 손실을 초래하고, 경로를 제거하면 기하학적 학습 손실은 분포 내에서 측정 가능한 이득을 주지 않으며, 유클리드 포함 관계 대조군이 쌍곡 방식과 대등한 성능을 보인다. 임베딩 노름 정렬은 생성을 보존하는 프리픽스 주입에 여전히 필요하다. 우리는 게이트 값이나 어텐션 질량을 읽는 대신 절제를 통해 신호 사용 여부를 검증할 것을 권고한다. 모든 표의 기반이 되는 구현, 체크포인트, 결과 파일을 https://github.com/mrfarazi/the-gate-always-closes 에 공개한다.