밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.
대규모 비전-언어 모델(LVLM)은 뛰어난 비전-언어 능력을 보여주며, 개인 비서, 문서 분석 시스템, 구현 에이전트 등 실제 응용 분야에 점점 더 많이 배포되고 있다. 그러나 이중 모달 공격 표면으로 인해 탈옥(jailbreak) 공격에 취약하다. 기존 LVLM 탈옥 공격은 짧은 텍스트와 분포 외(out-of-distribution) 이미지 등 단순한 설계에 의존한다. 그럼에도 최근 대규모 언어 모델(LLM) 백본과 멀티모달 메커니즘의 발전은 이러한 공격, 특히 모델 아키텍처 간 전이성을 약화시키고 있다. 이 한계를 극복하기 위해, 본 논문은 방대한 텍스트와 다차원 이미지 공격을 모두 갖춘 새로운 정보 과부하(information overloading) 방법을 제안한다. 이러한 구성 요소들은 재귀 기반 이미지-타이포그래피 레이아웃으로 배열되어 멀티모달 정보 복잡도를 지수적으로 증가시킨다. 이 과부하 방식은 교차 모달 처리를 증폭시켜 LVLM의 안전성 정렬(safety alignment)을 약화시킨다. 오픈소스 및 상용 LVLM에 대한 광범위한 실험을 통해 본 방법이 새로운 최첨단 LVLM 탈옥 공격임을 입증한다. 오픈소스 모델에서는 평균 공격 성공률(ASR) 88.6%를, 상용 LVLM에서는 평균 ASR 84.0%를 달성하여 최고 기준선(baseline)을 48.7% 초과한다. 나아가 오픈소스 대리 모델에서 최적화된 프롬프트는 모델 계열 전반에 걸쳐 효과적으로 전이된다. 실험 결과 외에도, 피해 LVLM 내 안전성에 중요한 정보 흐름을 분석한다. 분석 결과, 복잡한 이미지-타이포그래피 구성이 교차 모달 처리를 강화하고 거부 응답 생성에 대한 모델의 확신을 감소시키는 것이 관찰된다. 이러한 발견들은 정보 과부하가 실제 LVLM 배포 환경에서 실질적이고 새롭게 부상하는 안전성 위험임을 강조하며, 복잡한 멀티모달 탈옥 입력에 대한 더 강력한 방어의 필요성을 부각시킨다.
우리는 장시간 비디오 질의응답(LVQA)을 수동적인 단일 패스 인식 작업에서 다중 턴 검색 프로세스로 전환하는 에이전트 프레임워크 VSeek을 소개한다. VSeek은 자연어 기반 검색을 활용하여 장시간 비디오 내 관련 컨텍스트를 식별하고, 강화학습(RL)을 통한 사후 학습으로 LVQA를 위해 목표 검색 쿼리를 공동으로 생성하고 검색된 클립을 추론한다. RL 사후 학습은 수학 및 코드와 같은 기호적 영역의 추론을 혁신했지만, 장시간 비디오 이해에의 적용은 검증된 보상의 부재로 인해 제약을 받아왔다. 검색된 컨텍스트의 관련성을 보장하기 위해, 우리는 개방형 자연어와 이산적 시각 검증을 연결하는 새로운 신경-기호 접근법을 제안한다. 구체적으로, 복잡한 사용자 쿼리를 형식적 시간 논리 명세로 컴파일하여 자연어 질문을 주요 객체 및 활동과 그 시간적 순서 등 필수 원자적 시각 기본 요소들의 명확한 체크리스트로 체계적으로 분해한다. 이렇게 체계적으로 도출된 그라운딩 이벤트는 RL 사후 학습을 위한 핵심 피드백 신호를 제공하며, 결과 정확도에만 의존하지 않고 특정 시각 요소의 성공적인 검색에 기반한 밀도 있고 검증 가능한 보상을 가능하게 한다. 이러한 검증 가능한 증거 탐색 행동을 명시적으로 최적화함으로써, VSeek은 기반 모델 대비 장시간 비디오 이해 벤치마크에서 Pass@1 점수를 최대 8%, Pass@4 점수를 15% 향상시킨다. 코드는 https://utaustin-swarmlab.github.io/VSeek 에서 오픈소스로 공개한다.
다국어 문서에는 풍부한 지역 문화, 과학적 발견, 역사적 기록이 담겨 있다. 이러한 내용을 구조화된 기계 가독 형식으로 파싱하는 것은 전 세계 지식을 활용하는 데 필수적이다. 그러나 기존 벤치마크는 주로 영어와 중국어 같은 고자원(high-resource) 언어에 집중되어 있어, 다른 언어에서의 모델 성능에 관한 평가 사각지대가 존재한다. 최근 비전-언어 모델(VLM)들이 수백 개의 언어 지원을 표방하고 있지만, 정답 데이터(ground truth)의 부재로 인해 이러한 능력을 실증적으로 검증하는 것이 불가능하다. 이러한 간극을 해소하기 위해, 우리는 다국어 문서 파싱 평가를 위해 설계된 대규모 벤치마크인 MORE를 소개한다. MORE는 세 가지 핵심 차원에서 차별화된다: (1) 전례 없는 규모: 149개 언어를 포괄하여 현재까지 가장 언어적으로 다양한 벤치마크이며, (2) 구조적 복잡성: 기존 연구와 달리 평문(plain text)을 넘어 코드 블록, 표, 목차와 같은 구조적 요소까지 평가 범위를 확장하고, (3) 데이터 진정성: 모든 샘플은 모델 보조 후 인간 검수 방식의 어노테이션 파이프라인을 통해 실제 문서에서 수집된다. 우리는 MORE를 사용하여 최신 모델들을 평가하고, 저빈도(long-tail) 언어에 대한 새로운 성능 기준선을 수립하며, 현실적이고 다양한 시나리오에서 모델 능력을 진단하는 벤치마크의 유효성을 검증한다. MORE 데이터셋은 https://github.com/zimoqingfeng/MORE 에서 공개될 예정이다.
재료 상평형도(phase diagram)는 재료과학의 핵심 지식 표현 체계로, 온도, 조성, 상 안정성, 상변태 경로를 인코딩하며, 완전한 이해를 위해서는 열역학적 메커니즘 분석과 과학적 추론이 요구된다. 비전-언어 모델(VLM)이 과학적 이미지 이해에서 가능성을 보여주고 있지만, 심층적인 메커니즘 해석을 요하는 논리적으로 복잡한 이미지에 대한 체계적 평가는 아직 제한적이며, 상평형도는 이를 위한 도전적인 테스트베드를 제공한다. 우리는 재료 상평형도에 초점을 맞춘 고품질·고신뢰성 복잡 과학 이미지 이해 벤치마크인 MatPhaseBench를 소개한다. MatPhaseBench는 고전 재료과학 학술지의 논문 3,681편으로부터 구축되었으며, 189개의 재료 시스템과 70개의 원소를 포괄하는 200쌍의 고품질 다이어그램-텍스트 쌍이 선정되었다. 이 벤치마크는 세 가지 핵심 특징을 갖는다: (1) 복잡한 과학적 이미지 이해를 목표로—단순 객관식 평가를 넘어 심층적 이해를 요하는 개방형 과제로 구성; (2) 포괄적인 이미지-텍스트 정합—문헌 마이닝 및 매칭 과정에서 이미지와 연관된 의미론적 정보를 완전히 보존; (3) 고품질 인간 감독 텍스트 수집—모든 설명이 엄격한 수동 검증(validation)을 거침. 실험 결과, 현재 VLM은 전문가 수준의 이해에 크게 못 미치는 것으로 나타났다: 표면적 시각 인식에 머무르고, 열역학적 메커니즘에 근거한 심층 추론이 부족하며, 도메인 인식 및 전문가 분석 경험이 제한적이고, 복합 또는 다중 다이어그램 환경에서 세밀한 차이를 구별하는 성능이 낮다. 전반적으로 MatPhaseBench는 도전적인 연구 수준의 벤치마크를 구성하며, 복잡한 과학적 이미지 이해, 상평형도 분석, 그리고 과학 분야에서의 신뢰할 수 있는 멀티모달 AI를 위한 기초 플랫폼을 제공한다.
다중모달 대규모 언어 모델(MLLM)은 다양한 비전 태스크에서 뛰어난 성능을 발휘하지만, 실세계 지식이 진화함에 따라 전체 매개변수 재학습은 계산 비용이 매우 크다. 기존의 지속 학습(continual learning) 방법들은 태스크 간 매개변수 공간에서의 의미적 얽힘(semantic entanglement)으로 인해 모델의 지속적 배포에 어려움을 겪는 경우가 많다. 이 문제는 이상 탐지(Anomaly Detection, AD)에서 특히 두드러지는데, 이상 탐지는 모달리티, 도메인, 결함 스케일 변동성에 걸친 삼중 이질성을 보여 다중 태스크 지식 전이를 크게 복잡하게 만든다. 본 논문에서는 MLLM을 활용한 이상 탐지의 지속 학습을 가능하게 하는 격리-공유 협력 기반 매개변수 효율적 미세조정 프레임워크인 CL-Anomaly를 제안한다. 우리는 태스크 전용 전문가 PrivLoRA를 도입하여 매개변수 공간에서 태스크별 부분 공간을 물리적으로 격리함으로써 다양한 시나리오에서 이상 지식의 의미적 얽힘을 방지한다. 층 적응형 공유 전문가(Layer-Adaptive Shared Experts)는 통합된 특징 공간 내에서 태스크 간 표현을 유지하여 이전 태스크와 새로운 태스크 간의 지식 공유를 가능하게 한다. 나아가, 모멘텀 기반 메커니즘을 통해 각 태스크의 층별 핵심 공유 전문가를 자동으로 선택하고 동적으로 갱신하는 층 적응형 지식 전이(Layer-Adaptive Knowledge Transfer) 전략을 제안하여 연관된 이상 탐지 태스크 간의 효과적인 지식 전이를 촉진한다. 클래스 증분, 크로스 도메인, 크로스 모달을 포함한 세 가지 이상 탐지 지속 학습 시나리오에 걸친 광범위한 실험을 통해 CL-Anomaly가 최신 방법들을 능가함을 입증한다. 코드는 https://github.com/WenDongyp/CL-Anomaly 에서 확인할 수 있다.
비디오 이해는 폐쇄적 맥락 인식을 넘어 오픈월드 증거 탐험(exploration)으로 나아가고 있으며, 이러한 패러다임은 비디오 딥 리서치(VDR)로 공식화되고 있다. 그러나 기존의 멀티모달 검색 에이전트는 주로 정적 이미지를 대상으로 하며, 현재 VDR 벤치마크는 핵심 시각 정보를 폐기하는 텍스트 중심 검색에 의존한다. 이러한 한계를 해결하기 위해, 우리는 VDR을 위한 멀티툴 추론 능력을 비전-언어 모델(Vision-Language Model)에 부여하는 폐쇄 루프 에이전틱 프레임워크인 VideoSearcher를 제안한다. VideoSearcher는 시간적 로컬리제이션(temporal localization), 공간적 포커싱(spatial focusing), 멀티모달 검색을 단일 추론 궤적 내에 통합하여, 에이전트가 시각적 단서를 점진적으로 그라운딩하고, 관련 증거를 검색하며, 답변을 합성할 수 있도록 한다. 지식 집약적 추론 궤적을 최적화하기 위해, 우리는 도구 호출 최적화와 답변 정확도 최적화를 분리하는 강화학습 알고리즘인 이중 브랜치 시퀀스 정책 최적화(BiSPO, Bi-branch Sequence Policy Optimization)를 제안한다. 이 설계는 증거 기반 추론과 목적 지향적 도구 사용 모두에 안정적인 학습 신호를 제공한다. 나아가, 오픈월드 비디오 정보 그라운딩 및 멀티모달 검색 기반 추론을 평가하기 위한 최초의 벤치마크인 VideoSearch-QA를 구축한다. 광범위한 실험을 통해 VideoSearcher가 다양한 검색 지향 및 멀티모달 이해 벤치마크에서 기존 오픈소스 에이전틱 기준선을 크게 능가함을 입증한다.
분류 체계(taxonomy)는 개념 간의 의미론적 관계와 시각 및 언어의 내재적 구조에 관한 핵심 정보를 제공한다. 대규모 멀티모달 모델(LMM)은 뛰어난 능력에도 불구하고 분류 체계 지식이 부족한 경우가 많아, 계층적 시각 인식(HVR) 일관성이 낮게 나타난다. 이러한 모델들은 미세조정 시 언어 모델링 목표만을 활용하며, 명시적인 분류 체계 인식 정규화가 부재하다. 이를 해결하기 위해, 우리는 LMM의 계층적 일관성을 향상시키는 간단한 플러그-앤-플레이 정규화기인 계층적 표현 정규화($HiR^2$)를 제안한다. 구체적으로, 텍스트 단서의 안내를 받아 중간 LLM 레이어에서 거친 수준부터 세밀한 수준까지의 시각적 특징을 추출하는 의미 인식 시각 트리 구성 프레임워크를 도입한다. 정규화기는 두 가지 상보적 목표를 결합한다: 로렌츠 모델의 쌍곡 포함 콘(hyperbolic entailment cones)을 통해 계층 구조를 강제하는 분류 체계 포함 손실(taxonomic entailment loss)과, 반경 방향의 계층 구조를 교란하지 않으면서 단위 구면 위에서 의미론적으로 유사한 임베딩의 각도 분리를 촉진하는 판별적 분산 손실(discriminative dispersive loss)이다. 광범위한 실험을 통해 $HiR^2$가 다양한 LMM 및 미세조정 방법에 걸쳐 분류 체계 구조를 효과적으로 포착함을 입증한다. 코드는 https://github.com/PKU-ICST-MIPL/HiR2_ICML2026 에서 공개되어 있다.
본 연구는 3D 장면의 텍스트 등가물을 추구하는 새로운 태스크인 홀로-캡셔닝(holo-captioning)을 소개한다. 첫 단계로, 우리는 홀로-캡셔닝을 3D 장면 내 모든 개체(entity)를 의미론적 태그, 공간적 위치, 속성, 개체 간 관계를 포함하여 포괄적으로 묘사하는 구조화된 텍스트 설명을 생성하는 태스크로 정식화한다. 이 도전적인 태스크를 해결하기 위해, 우리는 먼저 개별 개체 인스턴스 및 인스턴스 쌍에 대한 상세한 설명을 생성하는 효과적인 캡셔닝 엔진을 개발하고, 학습 및 평가를 위한 15K개 이상의 장면으로 구성된 대규모 벤치마크를 기여한다. 이 기반 위에서, 우리는 구조화된 홀로-캡션을 생성하기 위한 인스턴스 인식 분리 파이프라인을 특징으로 하며, 관계형 인스턴스 쌍을 식별하기 위한 앵커 인식 인스턴스 연결(anchor-aware instance linking)을 추가로 통합한 새로운 모델인 HoloScribe를 제안한다. 또한, HoloScore라는 종합적인 평가 지표를 제안하고, 신뢰할 수 있는 모델 평가를 보장하기 위해 인간이 큐레이션한 테스트 세트를 제공한다. 실험 결과, HoloScribe는 최첨단 3D 밀집 캡셔너 및 3D 대규모 언어 모델(LLM) 제너럴리스트를 크게 능가하며, 우리 접근법의 효과성을 입증한다. 프로젝트 페이지: https://visual-ai.github.io/holocap/
멀티모달 대규모 언어 모델(MLLM)은 눈부신 발전을 이루었지만, 다단계 지각과 논리적 추론을 요구하는 복잡한 시각적 추론 과제에서는 여전히 어려움을 겪고 있습니다. 명시적 시각 생성은 과도한 계산 비용을 수반하며, 기존의 잠재적 접근 방식은 외부 전문가 모델에 의존하거나 엄밀한 인지 논리가 부족한 경우가 많습니다. 본 논문에서는 MLLM이 연속적인 잠재 공간에서 구조화된 시각적 추론을 수행할 수 있도록 하는 프레임워크인 ProLaViT(Progressive Latent Visual Thought)를 제안합니다. 이종 외부 모델에 의존하는 기존 연구와 달리, ProLaViT는 내생적 자기 증류(self-distillation) 메커니즘을 활용하여 모델 자체의 시각 인코더로 잠재 사고를 지도합니다. 이를 위해 모델이 추론 시 도구 없이 알고리즘적 정밀도를 내재화할 수 있도록 하는 확장 가능한 프로그래밍 방식의 합성 파이프라인을 구축합니다. 두 가지 추론 패러다임을 설계합니다: (1) 공간적 과제를 위한 Coarse-to-Fine 인과 연쇄로, 전역 문맥에서 지역 대상으로 어텐션을 유도합니다. (2) 논리적 과제를 위한 변증법적 추론 연쇄로, 검증을 위한 반사실적(counter-factual) 사고를 통합합니다. 나아가, 위상 인식 제약을 부과하여 의미론적 고유성을 강제함으로써 특징 퇴화를 방지하는 거리 가중 다양성 손실(Distance-Weighted Diversity Loss)을 제안합니다. 광범위한 실험을 통해 ProLaViT가 시각 중심 벤치마크에서 기준 모델들을 능가하며, 높은 효율성을 유지하면서 우수한 정확도와 해석 가능성을 달성함을 입증합니다.
비전-언어 모델(VLM)은 소프트웨어 공학 아티팩트, 특히 시각적 표기법에 의미가 의존하는 UML 클래스 다이어그램에 점점 더 많이 적용되고 있다. 그러나 VLM이 이러한 다이어그램을 실제로 읽는지, 아니면 클래스가 일반적으로 어떻게 관련되는지에 대한 사전학습된 사전 지식(prior)으로부터 답변하는지는 불분명하다. 우리는 각각의 사전 지식 부합 다이어그램이 (1) 동일한 클래스 이름과 레이아웃을 유지하면서 (2) 관계 화살표만 반전시킨 사전 지식 충돌 다이어그램과 쌍을 이루는 통제된 UML 벤치마크를 소개한다. 우리는 InternVL3.5와 Qwen3 두 모델 패밀리의 오픈소스 VLM 8개와 클로즈드소스 프론티어 모델인 GPT-5.4 및 GPT-5.4 Mini를 평가하였다. 8개의 오픈소스 모델 전반에 걸쳐 화살표를 반전시키면 관계 방향 정확도가 평균 33.48% 감소하였으며, GPT-5.4 Mini는 10%의 격차를 유지하였다. 더 어려운 3-클래스 조건에서는 오픈소스 모델의 정확도가 45.28%로 급격히 하락하였고, GPT-5.4 패밀리조차 평균 18.62% 하락하였다. 스케일링은 제한적인 개선만을 제공하며 모델 패밀리에 따라 다르다. 우리의 벤치마크는 다이어그램 기반 소프트웨어 이해에서 사전 지식 주도적 실패를 진단하는 도구를 제시한다. 관련 아티팩트는 https://anonymous.4open.science/r/UMLKnowledgeConflict-8461 에서 확인할 수 있다.
대규모 양자 간 상호작용 오디오-비주얼 다이얼로그(DIAD) 데이터셋은 휴머노이드 상호작용 가상 에이전트와 디지털 휴먼 개발을 위한 핵심 데이터 자원을 제공합니다. 그러나 이러한 데이터 수집은 시간이 많이 소요되고 비용이 높으며 윤리적으로 민감합니다. 이를 해결하기 위해, 우리는 단일 텍스트 프롬프트로부터 다양하고 쌍을 이루며 상호 반응하는 음성-얼굴 대화 클립을 생성하는 새로운 양자 간 상호작용 오디오-비주얼 다이얼로그 생성(DIADG) 프레임워크인 CHAT을 제안합니다. CHAT은 대규모 언어 모델(LLM)과 토킹 페이스 모델을 상호작용 오디오 및 안면 행동 정제 모듈과 통합하여, 다양한 콘텐츠와 안면 정체성을 갖춘 정렬된 양자 간 대화 클립 생성을 가능하게 합니다. 실험 결과, CHAT은 유사한 태스크를 위해 설계된 기존 관련 방법들을 객관적 및 주관적 평가 모두에서 능가합니다. 또한, 합성된 CHAT-AVD-50k 데이터셋은 다운스트림 인터랙티브 헤드 생성을 위한 효과적인 사전학습 데이터로 활용되어 REACT 2024에서 PerFRDiff와 ReactDiff를 일관되게 향상시킵니다. CHAT은 실제 양자 간 상호작용 데이터의 비용이 높고 윤리적으로 민감한 수집에 대한 확장 가능한 대안을 제공합니다.
대규모 멀티모달 언어 모델(MLLM)은 이미지, 영상, 오디오, 텍스트 등 다양한 입력에 걸쳐 강력한 제로샷(zero-shot) 능력을 보여주고 있다. 이러한 모델의 중요하지만 아직 충분히 탐구되지 않은 응용 분야는 동물 중심 시나리오를 이해하고 모델링하는 것이다. 동물은 수백만 가구에서 필수적인 존재이므로, 고통 신호 인식부터 반응형 로봇 반려자 구현에 이르는 반려동물 중심 과제에서 차세대 AI 모델을 벤치마킹하는 것은 인간과 함께 작동할 수 있는 AI 시스템을 구축하는 데 필수적이다. 우리는 실제 가정용 개 영상에 초점을 맞춘 새로운 벤치마크인 K9-Bench를 소개한다. 이 벤치마크는 MLLM의 장기적(long-form), 개 중심 멀티모달 추론을 테스트하는 5개의 고유한 과제 범주에 걸쳐 907개 영상에서 약 5,000개의 질문-답변 쌍을 통해 개의 행동 및 상호작용 이해를 구체적으로 목표로 한다. 이 데이터셋을 구축하기 위해, 우리는 웹에서 개 중심 영상을 자동으로 수집하고 개의 행동 및 시간적으로 확장된 상호작용 시퀀스에 대한 세밀한 다단계(multi-hop) 추론을 필요로 하는 QA 쌍을 선별하는 확장 가능한 VLM/LLM 기반 데이터 생성 파이프라인을 제안한다. 또한 데이터셋 구축 과정에서 VLM이 도입하는 바이어스(bias)를 제거하기 위한 바이어스 완화 전략을 구현하였다. 광범위한 실험을 통해, 최첨단 폐쇄형 모델이 오픈소스 모델보다 우수한 성능을 보임에도 불구하고, 최신 MLLM들이 개 중심 과제에서 제한적인 제로샷 성능을 보임을 확인하였다. 특히 이 모델들은 긴 시간 범위에 걸쳐 분산된 미묘한 자세 및 상호작용 단서에 대한 조합적 추론에서 어려움을 겪는다. 또한 일반적인 사고의 연쇄(Chain-of-Thought) 프롬프팅이 이러한 장기 추론에서 제한적인 성능 향상만을 제공함을 관찰하였다. K9-Bench는 개 활동 분석을 위한 새로운 데이터셋 이외에도, 데이터가 부족한 다른 도메인의 정량적 분석에 적용할 수 있는 범용 데이터셋 구축 파이프라인을 제공한다. 프로젝트 웹사이트는 https://ogmenrobotics.github.io/K9Bench 에서 확인할 수 있다.
텍스트로부터 3D 표정을 정밀하게 제어하는 것은 가상 아바타, 애니메이션, 인간-컴퓨터 상호작용에서 매우 중요하지만, 기존의 텍스트-3D 방법들은 정체성, 표정, 텍스처를 함께 생성하기 때문에 세밀한 표정 제어가 어렵다. 우리는 대신 텍스트 기반 표정 합성을 3D 변형 가능 모델(3DMM)의 분리된 매개변수 공간에서의 회귀 문제로 정식화한다. 그러나 이 설정은 세부적인 언어를 정밀한 표정 매개변수와 연결하는 쌍 데이터를 필요로 하며, 기존 자원에는 이러한 데이터가 없다. 이 공백을 채우기 위해, 우리는 GPT-4o와 고충실도 얼굴 추적기로부터 획득한 세밀한 텍스트 주석이 포함된 다양한 3D 표정 벤치마크인 Txt2Emote를 소개한다. 이 벤치마크는 얼굴 특징을 상세히 설명하는 명시적 설명과 표정 뒤의 상황적 맥락을 참조하는 암묵적 설명을 모두 제공한다. 이 데이터셋을 활용하여, 우리는 표정 표현을 의미론적으로 그라운딩하기 위한 전용 <Expr> 토큰을 갖춘 멀티모달 대규모 언어 모델(MLLM) 기반의 텍스트-3D 표정 프레임워크인 EmoteGPT를 제시하며, 이를 통해 3DMM 매개변수로 디코딩한다. 우리는 대규모 이미지-3DMM 데이터를 학습에 증강하여 EmoteGPT를 더욱 개선하고, 감정 인식 지표와 표현력 지각 측면에서 최신 텍스트-3D 얼굴 합성 방법들을 능가할 수 있게 한다. 아바타 파이프라인에 통합된 우리의 방법은 포토리얼리스틱 및 스타일화된 3D 아바타뿐만 아니라 텍스트 입력으로부터 표현력 있는 3D 일관 2D 얼굴 합성을 가능하게 한다.
비디오 추론은 대규모 멀티모달 모델(LMM)이 밀도 높은 증거에 기반을 유지하도록 요구하지만, 기존 시스템은 대부분 "한 번 읽고, 다량 생성"하는 패러다임을 채택하여 생성 과정에서 시각적 그라운딩이 약화된다. 이 현상은 널리 관찰되어 왔으며 시각적 앵커링 감쇠(Visual Anchoring Decay)로 알려져 있다. 이 간극을 메우기 위해 우리는 잠재 비디오 캐시(Latent Video Cache, Latent-VC)를 제안한다. 이는 디코더에 삽입되는 순환 잠재 시각 캐시로, 추론 전반에 걸쳐 압축된 시각 기억을 보존한다. 이 캐시는 지도 대조 캐시 정렬(supervised contrastive cache alignment)과 잠재 그라운딩 보상을 활용한 비전 기반 GRPO로 학습되며, 디코더의 네이티브 은닉 상태를 통해 학습-추론 간 엄격한 정렬을 유지한다. Qwen3.5-9B 기반으로 구축된 Latent-VC는 6개의 비디오 벤치마크에서 강력한 사고의 연쇄(CoT) 및 SFT+GRPO 기준 모델을 일관되게 능가하며, 특히 그라운딩 집약적 과제와 장편 비디오 과제에서 명확한 성능 향상을 보인다. 또한 실질적으로 더 짧은 응답으로 더 높은 정확도를 달성하며, 이는 잠재 시각 캐싱이 더 긴 텍스트 연쇄에 의존하는 대신 시각적 증거를 보존함으로써 비디오 추론을 개선함을 시사한다.
자율 계산 병리학(ACP)은 고수준 병리 분석 목표를 실행 가능하고 추적 가능하며 임상적으로 한정된 워크플로로 변환한다. 이 기능을 실현하려면 범용 에이전틱 하네스 시스템을 병리학 특화 태스크, 도구, 증거 기준 및 임상 주장 경계에 맞게 적응시켜야 한다. 본 연구에서는 기존 하네스 시스템을 계산 병리학 지원에서 ACP 워크플로 역량으로 전환하는 프레임워크인 ACP-Bench를 제안한다. ACP-Bench는 6개 신체 계통 그룹과 9개 엔드포인트 패밀리에 걸친 24개 바이오마커, 7개 형태학, 10개 예후 태스크를 포함한 총 41개 병리 워크플로 태스크를 평가한다. 본 벤치마크는 9개 모델과 3개 하네스 그룹(Claude Code, Codex, Open Code)을 평가하여 369개의 완전한 궤적을 생성한다. ACP-Bench는 전문가 감수 프로세스 감사, 진단 평가, 병리의사 검증 안전성 검토를 결합하여 워크플로 실행, 진단 성능, 임상 경계 정합성 측면에서 각 궤적을 평가한다. 평가된 시스템 전반에서 워크플로 개시, 태스크 해석, 진단 보고는 도구 종속적 실행, 결과 바인딩, 반성적 워크플로 수정보다 더 성숙한 수준을 보였으며, 공식적인 종단간 완료는 여전히 드물었다. ACP-Bench는 신뢰할 수 있는 임상 자율성에 대한 주장 이전에 에이전틱 시스템이 병리 워크플로를 운용화할 수 있는지 감사하기 위한 재사용 가능한 표준을 제공한다.
지식 증류(KD)는 대규모 교사 모델의 감독을 활용하여 경량 모델을 학습시키는 방법으로 널리 사용되고 있으나, 출력 토큰 분포에만 의존하는 방식은 멀티모달 대규모 언어 모델(MLLM) 압축에 불충분한 것으로 밝혀졌다. 출력 토큰은 모델이 시각적 입력에 어텐션을 적용한 결과물이므로, 선행 연구들은 직접적인 감독 신호를 제공하기 위해 어텐션을 명시적으로 증류하는 방법을 탐구해 왔다. 이 접근법은 유망하지만, 어떤 어텐션 신호를 증류해야 하는지에 대한 정확한 효용성은 충분히 탐구되지 않은 상태이다. 본 연구에서는 프롬프트-시각 어텐션에 대한 기존의 의존 방식에 의문을 제기하며, 다운스트림 성능이 교사 모델과의 응답-시각 어텐션 유사도와 강한 상관관계를 보이는 반면, 프롬프트 조건부 어텐션과는 거의 상관관계가 없음을 밝힌다. 또한 어텐션 분포가 개별 토큰에 걸쳐 상당한 분산을 보임을 관찰하였으며, 이는 균일한 증류 목표가 최적이 아님을 시사한다. 이를 해결하기 위해, 우리는 토큰 수준 응답-시각 어텐션 가이던스(TRAG)를 제안한다. TRAG는 1) 응답-시각 신호에 초점을 전환하고, 2) 어텐션 엔트로피를 기반으로 Kullback-Leibler 발산을 적응적으로 가중하는 토큰별 목표를 적용함으로써, 학생 모델이 교사 모델의 정확한 시각적 집중을 효과적으로 모방하도록 유도하는 증류 목표이다. 다수의 벤치마크에서 수행한 광범위한 실험 결과, TRAG가 기존 증류 기법들을 크게 능가함을 확인하였다.
온-정책 지식 증류(OPD)는 최근 학생 모델이 생성한 궤적에 감독을 제공하는 효과적인 사후 학습 패러다임으로 부상하였다. 그러나 멀티모달 추론을 위한 기존 OPD 방법들은 대체로 정적 교사 라우팅에 의존하여, 모달리티 또는 태스크 유형에 따라 각 샘플을 단일 교사에 할당한다. 이는 시각적 그라운딩과 추상적 추론이 서로 다른 디코딩 단계에서 주도적 역할을 할 수 있다는 점을 간과하는 것으로, 단일 교사만으로는 전체 궤적을 충분히 커버하기 어렵다. 이를 해결하기 위해 H-OPD를 멀티모달 추론을 위한 신뢰도 인식 이종 다중 교사 OPD 프레임워크로 제안한다. 동일한 추론 과정에서 이종 교사들의 상호 보완성을 검증함으로써, H-OPD는 태스크 또는 샘플 수준의 교사 라우팅을 공유 학생 궤적을 따르는 토큰 수준의 교사 중재로 대체한다. H-OPD는 텍스트 전용 교사가 핵심 시각적 의미론에 접근할 수 있도록 비전-언어 설명 전이를 도입하고, 각 토큰에서 비전-언어 교사와 텍스트 전용 교사를 동적으로 결합하기 위해 신뢰도 인식 중재 메커니즘을 활용한다. 11개의 널리 사용되는 추론 벤치마크에 대한 광범위한 평가를 통해 본 방법의 우수한 성능을 입증하였다.
멀티모달 대규모 언어 모델(LLM)은 짧은 클립에서는 뛰어난 성능을 보이지만, 제한된 메모리 환경에서 프레임을 점진적으로 처리하는 온라인 설정에서 수 시간 분량의 비디오를 다루는 데 어려움을 겪는다. 기존 온라인 방법들은 의미론적 구조가 부족한 간결한 시각적 표현을 유지하거나, 명시적 인과 관계가 아닌 시간적 근접성을 중심으로 구성된 고수준 메모리 저장소를 구축하여, 다단계 서술 추론을 매 쿼리마다 LLM이 재구성해야 하는 문제를 남긴다. 우리는 계층적 온라인 메모리 탐험 및 추론(Hierarchical Online Memory Exploration and Reasoning) 프레임워크인 \textsc{Homer}로 이 격차를 해소한다. \textsc{Homer}의 메모리는 원시 지각에서 반복 등장 개체, 명시적 시간적·인과 관계로 연결된 이벤트에 이르기까지 장시간 비디오의 다중 스케일 구조를 반영한다. 에이전틱 추론기는 인간의 방식처럼 이 메모리를 탐험하여 관련 장면을 찾고, 세부 정보를 조회하며, 다회 메모리 검색을 통해 답변을 구성하고, 각 단계를 검증 및 수정하는 하네스를 활용한다. \textsc{Homer}는 M3-Bench-robot, M3-Bench-web, Video-MME-Long에서 이전 최고 에이전트 방법보다 각각 $+5.5$, $+10.8$, $+4.4$점 높은 성능을 달성하며, 세 가지 다양한 LLM 백본 모두에서 일관되게 성능을 향상시켜 장시간 비디오에 대한 그라운딩된 검색에서 모델에 독립적인 구조적 능력을 보여준다.
우리는 OptiAgent를 제안한다. OptiAgent는 운영 연구(Operations Research) 문제의 자연어 설명을 입력받아 솔버 준비가 완료된 수학적 정식화와 실행 가능한 코드를 출력하는 멀티 에이전트 프레임워크이다. 본 아키텍처는 수학적 모델링 단계를 우선시하며, 전담 에이전트들이 결정 변수 및 제약 조건과 같은 구조를 추출하여 반복적 자기 수정을 가능하게 한다. 우리는 네 가지 특화된 피드백 메커니즘을 갖춘 새로운 멀티 루프 검증 아키텍처를 도입하며, 각 메커니즘은 오해석, 구조적 결함, 수학적 불일치, 검증 실패, 코드 오류 등 서로 다른 실패 유형을 대상으로 한다. 정확도와 함께, 모듈식 설계는 각 에이전트가 자신의 추론과 피드백을 노출하여 전체 모델링 과정을 감사 가능하게 함으로써 투명성을 향상시키고 최적화 문제 해결 과정을 개선한다. 본 프레임워크는 LP, MILP, 비선형 프로그래밍 태스크에 걸친 4개 벤치마크 중 3개에서 최첨단 성능을 달성하며, 나머지 데이터셋에서도 높은 경쟁력을 유지한다.