Maven은 긴 문맥 추론에서 모델이 증거를 단순 추출하는 데 그치지 않고 동적으로 추가(add)·연결(link)·삭제(drop)하는 상태 전이를 보상하는 강화학습 프레임워크로, 편집 가능한 증거 메모리와 정답 조건부 증거 상태 가치 함수를 GRPO에 결합한다. Llama 및 Qwen 모델로 LongBench v2, LongReason, RULER 벤치마크에서 평가한 결과, 최종 답변만 보상하는 방식과 증거 식별 기반선 대비 일관된 성능 향상과 낮은 방해 증거 잔류율을 달성했다.
In recent years, it has become increasingly evident that large language models (LLMs) and autonomous agents raise the level of abstraction in software development by shifting the focus from writing precise procedures to expressing intents and goals. This paradigm shift introduces new challenges, particularly in how testing should be guided when prompts, rather than code, become primary development artifacts. To address this challenge, we propose Prompt Coverage Adequacy, a novel coverage criterion designed to support the testing of code generated from task descriptions. Prompt Coverage Adequacy serves as an analog to traditional code coverage, but operates at the level of prompts used in LLM and agent-based programming. Specifically, it measures how well a given test suite satisfies the requirements expressed in a prompt by leveraging the attention mechanisms of LLMs. We evaluate a simple instantiation of this criterion, based on attention boosting, across two datasets and multiple LLMs. Our results demonstrate that Prompt Coverage is associated with fault-detection effectiveness and can uncover over 30+% more faults than traditional code coverage when used to guide test generation. These findings suggest that Prompt Coverage Adequacy can serve as a foundation for developing testing metrics better suited to the emerging paradigm of LLM-driven software development, addressing the limitations of classical coverage criteria in this new context.
1,500만 건의 실제 초음파 검사와 1,770만 장의 이미지로 구성된 대규모 데이터셋을 구축하고, 검사 단위로 다중 이미지와 임상 보고서를 정렬한 뒤 LoRA 기반 파인튜닝만으로 LUMI를 학습시켰다. 복잡한 아키텍처 없이 데이터 규모와 임상 충실도 높은 데이터 정렬만으로도 기존 초음파 특화 방법들을 능가하는 성능을 달성했으며, 스케일링 분석을 통해 초음파 LVLM에서 데이터 규모의 결정적 역할을 규명했다.
비전-언어 모델(LVLM)의 이진화(binarization) 과정에서 레이어와 모달리티별 가중치 중요도 차이를 무시해 성능이 저하되는 문제를 해결하기 위해, 헤시안 행렬 기반의 공간적 중요도 맵과 모달리티 가이드 통합 전략으로 중요도 인식 이진화 맵을 구성하는 SAB-LVLM을 제안한다. 약 1비트 압축 제약 하에서 기존 이진 사후학습 양자화(PTQ) 방법들을 MMStar 등 주요 벤치마크에서 일관되게 능가함을 실험으로 검증하였다.
정적 멀티모달 벤치마크의 시간적 노후화, 데이터 오염, 높은 유지보수 비용 문제를 해결하기 위해, 다중 에이전트 기반 자동화 파이프라인으로 구축된 지속 진화형 벤치마크 MMBench-Live를 제안한다. 원본 MMBench의 태스크 관련 시각적 패턴을 추출해 분포 일관성을 유지하면서 실시간 데이터를 수집·검증하는 방식으로, 약 30달러·1~2시간의 비용으로 5,900개의 새 평가 인스턴스를 생성하며 안정적인 모델 순위와 낮은 오염 신호를 달성했다.
LLM을 중앙 추론 코어로 활용하는 LM-SCIP 프레임워크는 자율주행의 협력 인식(cooperative perception)에서 비전-레이더 융합을 정적 특징 결합이 아닌 채널 인식(channel-aware) 시맨틱 추론으로 재정의하며, 채널 적응형 시맨틱 모듈(CASM)이 V2X 링크 품질 지표를 "채널 프롬프트"로 변환해 외부 레이더 특징을 동적으로 게이팅한다. nuScenes 벤치마크에서 비전 전용 기준선 대비 위치 추정 RMSE를 40.0% 감소시키고 VIRAT에서 0.214m RMSE를 달성하며, 낮은 SNR 환경에서는 비전 우선 폴백을, 높은 SNR 환경에서는 시너지적 융합을 실현했다.
최근 멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 분야를 크게 발전시켰으나, 고정된 입력 토큰 예산 하에서 장형 비디오 QA는 여전히 어려운 과제로 남아 있으며, 균일한 샘플링은 증거 위치 파악에 비효율적일 수 있다. 본 논문에서는 선택적 연산을 통해 질문 의도와 관련 비디오 콘텐츠를 정렬하는 불확실성 기반, 질문 적응형 키프레임 선택 파이프라인인 ReQuest를 제안한다. ReQuest는 (i) MLLM이 생성한 감독 신호로부터 지식 증류된 경량 질문 인식 선택기, (ii) 길이 적응 기준으로 모델이 불확실할 때만 추가 추론을 유발하는 재사고 라우팅(Re-thinking Routing), (iii) 질문 난이도에 따라 간격을 조정하며 시간적으로 다양한 프레임을 선택하는 불확실성 기반 적응형 비최대 억제(non-maximum suppression)를 통합한다. 플러그 앤 플레이 방식으로서 ReQuest는 기반 MLLM을 수정하거나 미세조정하지 않고도 장형 비디오 QA 성능을 향상시킨다. Video-MME, MLVU, LongVideoBench에서의 실험 결과, 경쟁력 있는 연산 비용으로 일관된 정확도 향상을 보여주며, 특히 중간 및 긴 비디오 구간에서 두드러진 성능 개선을 달성하였다.
웹 UI 시각적 회귀 테스팅(VRT)에서 픽셀 수준 비교의 한계인 대량 거짓 양성 문제를 해결하기 위해, 37가지 변경 규칙 분류 체계 기반의 LLM 구동 데이터 생성 파이프라인으로 구축된 9,906개 인간 검증 샘플의 WUICC-bench를 공개하고, 11가지 이미지 차이 캡셔닝(IDC) 방법과 제로샷 대규모 언어 모델(LLM)을 평가한 결과, 기존 방법들이 웹 UI 도메인에서 어려움을 겪으면서도 픽셀 비교보다 훨씬 선택적으로 의미 없는 시각적 노이즈를 억제함을 확인하였다.
비전-언어 모델(LVLM)의 장기 디코딩 시 어텐션이 시각적 근거로부터 점진적으로 멀어지는 시각적 망각(visual forgetting) 문제를 분석한 결과, 초기 단계 어텐션 감쇠와 의미 없는 싱크 토큰(sink token)으로의 어텐션 집중이 주요 원인임을 규명했다. 이를 해결하기 위해 GRPO 기반 사후학습 프레임워크 LASER를 제안하며, 시각적 그라운딩 보상(Visual Grounding Reward)과 싱크 억제 보상(Sink Suppression Reward)을 통해 8개 벤치마크에서 기준 모델 대비 시각 추론 1.9%, 시각 인식 5.7% 향상을 달성했다.
오디오비주얼 비디오 캡셔닝에서 크로스모달 바인딩(cross-modal binding)과 시간적 일관성(temporal coherence) 문제를 해결하기 위해, 반복적 정제 전략인 Observer-Checker-Corrector(OCC) 프레임워크로 고품질 학습 데이터를 생성하고 고밀도 인간 상호작용 데이터셋으로 최적화된 TCA-Captioner를 제안한다. 또한 오디오비주얼 바인딩과 시간적 관계 추론 능력을 분리 평가하는 TCA-Bench 벤치마크를 도입하여, Qwen3-Omni 및 Gemini-3-Pro 대비 시간적으로 동기화된 멀티모달 캡셔닝에서 새로운 성능 기준을 제시한다.
장시간 다중 카메라 감시 영상에서 특정 인물을 검색·추론하는 문제를 해결하기 위해, 이미지-텍스트 복합 쿼리와 시간적 그라운딩을 지원하는 최초의 벤치마크 ForeSeaQA와 3단계 VideoRAG 시스템 ForeSea를 제안한다. ForeSea는 인물 추적, 멀티모달 임베딩, 비디오 LLM을 결합한 플러그앤플레이 파이프라인으로 기존 RAG 기반 베이스라인 대비 정확도 3.1포인트, 시간적 IoU 10.1포인트 향상을 달성했다.
WikiCLIP은 Wikipedia 기반 오픈 도메인 시각적 엔티티 인식(VER)에서 생성 모델의 높은 계산 비용 문제를 해결하기 위해, LLM 임베딩을 엔티티 표현으로 활용하고 패치 수준의 시각 정보로 이를 정렬하는 Vision-Guided Knowledge Adaptor(VGKA)와 Hard Negative Synthesis 메커니즘을 결합한 대조 학습(contrastive learning) 프레임워크다. OVEN 벤치마크의 unseen 세트에서 기존 최고 성능 대비 16% 향상된 28.5% 정확도를 달성하면서, 생성 모델 AutoVER 대비 추론 지연 시간을 약 100배 단축하는 데 성공했다.
외부 지식 통합 시 노이즈가 많은 검색으로 인해 강화학습의 희소 보상 문제가 심화되는 KB-VQA 과제를 해결하기 위해, Wiki-R1은 검색기를 조작하여 난이도를 제어하는 커리큘럼 데이터 생성과 관측 전파(observation propagation) 기반 샘플링 전략을 결합한 커리큘럼 강화학습 프레임워크를 제안한다. Encyclopedic VQA와 InfoSeek 벤치마크에서 각각 37.1%, 44.1%의 새로운 최고 성능(state-of-the-art)을 달성했다.
비전-언어 모델(VLM)이 비전 인코더의 최종 레이어 출력만을 LLM 입력에 연결하는 정적 구조로 인해 계층적 시각 정보가 충분히 활용되지 못하는 문제를 해결하기 위해, 본 연구는 AMP(Adaptive Multi-Projection)와 AGF(Adaptive Gating Fusion)로 구성된 경량 프레임워크 CLI(Cross-Layer Injection)를 제안한다. LLaVA-OneVision과 LLaVA-1.5에 적용한 28개 벤치마크 실험에서 CLI는 LLM이 전체 시각적 계층 구조에 동적으로 접근하는 다대다(many-to-many) 융합을 실현하여 멀티모달 이해 성능을 유의미하게 향상시켰다.
NarrativeTrack은 멀티모달 대규모 언어 모델(MLLM)의 서사 이해 능력을 개체 중심 추론으로 평가하는 최초의 벤치마크로, 개체 존재·변화·모호성의 세 차원에 걸쳐 복잡도를 점진적으로 높이는 구성적 추론 진행(CRP) 프레임워크를 제시한다. 최신 MLLM 평가 결과, 범용 모델은 지각 그라운딩은 강하지만 시간적 일관성이 약하고 영상 특화 모델은 반대 양상을 보이며, 모델 크기 확장이나 프레임 밀도 증가만으로는 서사 이해가 개선되지 않음을 확인했다.
우리는 파워포인트 편집을 위한 벤치마크인 PPTArena를 소개한다. PPTArena는 에이전트가 자연어 지시에 따라 실제 슬라이드를 수정하는 방식을 평가한다. 이미지-PDF 렌더링이나 텍스트-to-슬라이드 생성에 의존하는 벤치마크와 달리, PPTArena는 2,125개의 슬라이드에 걸쳐 텍스트, 차트, 애니메이션, 전문적인 마스터 스타일을 아우르는 1,300개 이상의 인간 큐레이션 편집 작업을 포함한 100개의 덱(deck)으로 구성된다. 각 편집 작업에는 정답 덱과 목표 루브릭이 쌍을 이루며, 두 비전-언어 모델(VLM) 심사 모델이 채점한다: 하나는 구조적 diff를 바탕으로 지시 따르기를 평가하고, 다른 하나는 슬라이드 이미지로부터 시각적 품질을 평가한다. 이 벤치마크를 기반으로, 우리는 의미론적 편집 시퀀스를 계획하고, 프로그래매틱 도구와 결정론적 XML 연산 사이를 라우팅하며, 반복적인 계획-편집-검증 루프를 통해 각 결과를 검증하는 구조 인식 에이전트인 PPTPilot을 제시한다. PPTPilot은 복합적·레이아웃 민감·슬라이드 간 편집에서 강력한 VLM 기반 에이전트를 10 퍼센트포인트 이상 앞서며, 시각적 충실도와 덱 전체 일관성에서도 큰 향상을 달성한다. 그럼에도 불구하고, 모든 에이전트는 여전히 장기적·문서 규모 작업에서 어려움을 겪고 있으며, 이는 신뢰할 수 있는 파워포인트 편집이 얼마나 어려운 과제인지를 방증한다. 코드는 https://github.com/michaelofengend/PPTArena 에서 공개 제공된다.
실제 의료 보고서 이미지에서 구조화된 정보를 추출·해석하는 비전-언어 모델(VLM) 성능을 평가하기 위해, 1,925개의 비식별화된 중국어 의료 보고서 이미지로 구성된 벤치마크 MedRepBench를 제안한다. 필드 수준 재현율(recall) 기반 객관적 평가와 LLM 판정자를 활용한 주관적 평가를 모두 지원하며, GRPO 기반 정렬 기준선 적용 시 필드 재현율이 최대 6%p 향상됨을 보인다.
대규모 비전-언어 모델(LVLM) 기반의 인터랙티브 글로벌 지오로케이션 어시스턴트 GaGA를 소개하며, 시각적 모호성을 해결하기 위해 사용자와의 다중 턴 대화를 통해 동적으로 위치를 추론하는 계층적 인터랙션 프로토콜(Tiered Interaction Protocol)을 제안한다. 210개국에 걸쳐 487만 개의 지리 태그 메타 항목, 7만 개의 단서 샘플, 7.3만 개의 멀티턴 다이얼로그 샘플로 구성된 MG-Geo 데이터셋으로 학습된 GaGA는 GWS15k 벤치마크에서 국가 수준 4.57%, 도시 수준 2.92%의 정확도 향상을 달성하며 최신 성능(SOTA)을 기록했다.
온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.