PyTorchKR Papers

최신 논문

총 20편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15882v1cs.AI

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2609.40265v2cs.LG

OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델

OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning

실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.

arXiv:2610.01249v1cs.AI

동적 추론을 위한 수정 인지 독립 에이전트 그래프

Revision-Aware Independent Agent Graphs for Dynamic Reasoning

기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.

arXiv:2610.01595v1cs.CV

사라지기 전에: 비디오 대규모 언어 모델(VideoLLM)에서 추론 시점 시간적 표현 강화

Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs

비디오 대규모 언어 모델(VideoLLM)은 프레임을 순차적인 순서로 입력받아 시각적 콘텐츠가 시간 축을 따라 어떻게 전개되는지 해석하지만, 시간적 추론(temporal reasoning)은 다양한 아키텍처 전반에서 여전히 지속적인 약점으로 남아 있습니다. 시간적 답변을 뒤바꿔야 하는 변환인 비디오 프레임 순서 반전에도 불구하고 최종 예측이 바뀌지 않는 경우가 많습니다. 본 연구에서는 시간 순서를 반전시켰을 때 유도되는 층별 표현 차이인 시간적 발산 벡터(temporal divergence vector) $τ_l$를 정의하여 이러한 실패의 원인을 조사합니다. 여러 층에 걸쳐 이 벡터의 크기를 추적한 결과, 발산이 중간 층에서 정점에 도달한 뒤 출력 방향으로 가면서 점진적으로 감소하는 일관된 시간적 발산 프로파일이 나타남을 확인했습니다. 본 연구는 이 정점이 시간적 추론에 특화되어 있으며 예측에 기능적으로 중요하다는 점을 확인하여, VideoLLM이 중간 층에서는 시간적 정보를 획득하지만 출력까지 이를 유지하지 못한다는 사실을 규명했습니다. 이러한 점진적 소실에 착안하여, 각 입력에 대해 프로파일의 정점에서 $τ_l$를 추출한 후 측정된 감쇠에 따라 후속 층에 다시 주입하는 방법인 시간적 활성화 주입(Temporal Activation Injection, TAI)을 제안합니다. TAI는 학습이 필요하지 않으며, 비시간적 과제에 미치는 영향은 무시할 수 있는 수준으로 유지하면서 세 가지 VideoLLM과 네 가지 벤치마크 전반에서 시간적 추론을 일관되게 개선합니다. 코드는 https://github.com/Youngwoo-git/Before-It-Fades 에서 확인할 수 있습니다.

arXiv:2607.22365v1cs.AI

구조적 수렴 학습: 시간적 추론을 위한 신경-기호 벤치마크

Learning Structural Convergence: A Neuro-Symbolic Benchmark for Temporal Reasoning

고복잡도 운영 환경에서는 고립된 사건을 분류하기보다 시간적으로 분산된 패턴을 탐지하고 예측하는 방법이 필요하다. 본 논문은 TRACTA(Temporal Reasoning and Capability-Trajectory Analysis)를 소개한다. 이는 고복잡도 이벤트 기반 시스템에서 시간적 구조 추론을 위한 통제된 합성 벤치마크로, Multi-Domain Operations(MDO) 유사 시나리오를 통해 구현된다. 벤치마크는 early_warning, pattern_detection, run_classification의 세 가지 과제를 포함하며, 원시 이벤트 신경 모델, contract-lite 의미론적 기준선, 그리고 의미론적으로 그라운딩(grounding)된 궤적(trajectory) 위에서 동작하는 신경-기호 구성을 비교한다. 결과는 원시 이벤트 수준 학습이 여전히 유용한 정보를 제공하지만, 의미적 역량(capability) 및 맥락적 직접 영향(direct-impact) 궤적에 대한 학습된 시간적 모델링이 가장 높은 집계 점수 추정치를 달성하며, 시간적 과제에서 가장 큰 격차를 보인다고 나타낸다. 절삭(ablation) 분석은 역량 역학, 맥락적 영향, 시간적 구조가 상보적인 정보에 기여함을 나타낸다. 지름길(shortcut) 진단은 가장 직접적인 실행 간(cross-run) 전역 식별자(global-identifier) 지름길이 주요 신경 입력 뷰에서 통제되지만, 잔여적인 얕은(shallow) 신호는 남아 있음을 나타낸다. 전반적으로, 이러한 발견은 제한된 방법론적 결론을 뒷받침한다. 통제된 합성 설정에서 의미론적으로 그라운딩된 궤적은 시간적 구조 추론을 위한 효과적인 표현을 제공하며, 이벤트 데이터, 구조화된 표현, 시간적 학습 사이의 의미론적 인터페이스에 대한 추가 조사를 지지한다.

arXiv:2607.21447v1cs.CL

RUMBA: 러시아 사용자 메모리 벤치마크

RUMBA: Russian User Memory Benchmark

대규모 언어 모델(LLM)에서 장기 기억(long-term memory)을 다루는 능력은 점점 더 중요해지고 있지만, 기존 벤치마크는 여전히 영어 중심이며 집계적 검색(retrieval) 지표에 의존하여 장거리 문맥, 시간 정보, 추론 간의 상호작용을 포착하지 못한다. 이를 해결하기 위해 우리는 RUMBA(Russian User Memory BenchmArk)를 제안한다. RUMBA는 장기 대화 기억을 위한 새로운 벤치마크로, 메모리 중심 질문 유형에 대한 세밀한 분류 체계와 의미 유형, 세션 범위, 시간적 추론, 시간 표현의 명시성을 고려하는 통합 방법론을 제공한다. RUMBA는 타임스탬프가 붙은 사용자-어시스턴트 대화와 세션 간 검색, 결합, 추론을 요구하는 QA 쌍으로 구성된다. 러시아어를 위해 설계되었지만, 동일한 방법론 하에 정렬된 영어 부분집합도 제공한다. 우리는 현대적인 메모리 시스템과 장문맥 모델을 평가하고, RUMBA가 벤치마크 슬라이스 전반에 걸친 모델 동작을 분석하고 서로 다른 메모리 메커니즘의 강점과 실패 양상을 식별하는 진단 도구로 어떻게 활용되는지 보여준다.

arXiv:2607.20638v1cs.AI

WaveformQA: 디지털 파형에 대한 LLM 시간적 추론 벤치마킹

WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms

대규모 언어 모델(LLM)은 코드 생성과 추론에서 강력한 능력을 보여 왔지만, 디지털 파형 데이터에 대한 시간적 추론을 수행하는 능력은 아직 거의 탐구되지 않았다. 디지털 파형에 대한 추론은 설계 검증(design verification)에서 중요한 병목이지만, 기존 벤치마크는 주로 하드웨어 기술 언어(HDL) 코드 생성을 평가하며 파형은 보조적인 맥락으로만 사용한다. 본 논문은 디지털 파형에 대한 LLM의 시간적 추론을 평가하기 위한 오픈소스 질의응답 벤치마크인 WaveformQA를 제안한다. 이 벤치마크는 난이도가 다른 8개 카테고리에 걸쳐 프로그램적으로 생성된 정답(ground truth)을 갖춘 360개의 질문으로 구성되며, 다중 신호 상관관계 및 이벤트 순서를 대상으로 하는 질문을 포함한다. 파형은 오픈소스 설계 구현으로부터 생성되어 재현성을 보장하고 벤치마크를 실제 하드웨어 동작에 기반하게 한다. 최신 LLM에 대한 평가 결과, 모델들이 단순한 질의에서는 합리적인 정확도를 달성하지만, 복잡한 시간적 및 다단계 질문에서는 컨텍스트 윈도우(context window) 제한과 추론의 어려움으로 인해 성능이 저하됨을 보여준다. 또한 파형의 이벤트-시간(event-time) JSON 표현이 표준화된 값 변화 덤프(VCD) 형식에 비해 LLM 추론 정확도를 향상시킴을 보여준다. 오픈소스 프레임워크는 새로운 질문 카테고리로의 확장과 새로운 파형 소스의 가져오기를 지원하여, 연구자들이 시간적 추론 실험을 빠르게 프로토타이핑할 수 있게 한다.

arXiv:2607.19547v1cs.CV

ChronoStitch: 장기 시간적 추론을 위한 학습 없는 시각적 KV 메모리 합성

ChronoStitch: Training-Free Composition of Visual KV Memories for Long-Horizon Temporal Reasoning

긴 영상 질의응답은 모델이 동일한 영상을 반복적으로 재처리하지 않으면서 시간에 걸쳐 시각적 근거를 보존해야 한다. 실용적인 접근법은 각 영상 청크에 대해 비전-언어 모델의 내부 키-값(KV) 캐시를 저장하고, 질의 시점에 해당 상태를 검색하는 것이다. 그러나 독립적으로 캐시된 영상 청크는 올바르게 조합되지 않는다. 각 청크가 로컬 회전 위치(rotary position) 0에서 사전 채워(prefill)되기 때문에, 단순 연결은 시간적 위상을 충돌시키고 무엇이 먼저 일어났는지, 사건이 얼마나 자주 발생했는지, 영상 전반에서 무엇이 변했는지와 같은 질문에 필요한 전역 순서를 제거한다. 본 논문은 독립적으로 저장된 시각적 KV 메모리를 조합하기 위한 학습 없는 방법인 ChronoStitch를 제안한다. 이 방법은 먼저 저장된 회전 후(post-rotary) 키를 시간, 높이, 너비 구조를 보존하는 전역 3축 멀티모달 RoPE 좌표계에 재기준화(re-base)한다. 1차원 스칼라 재인덱싱이 시각 토큰에 대해 기하학적으로 일관되지 않은 이유를 보인다. 프레임 내 공간 순서가 거짓 시간적 변위로 변환되기 때문이다. 그다음 위치 수정으로 남은 잔여 콘텐츠 격차를 해결한다. 후속 청크는 원래 이전 청크에 어텐션(attention)하지 않은 채 인코딩되었기 때문이다. 따라서 ChronoStitch는 편차가 큰 후속 청크 시각 토큰 중 소수를 선택적으로 재계산하면서, 이들이 조합된 캐시 전체에 어텐션할 수 있게 한다. Qwen2.5-VL-3B와 TempCompass의 시간(temporal) 분할에서 ChronoStitch는 단순 조합 및 위치만 수정한 변형보다 우수하며, 이벤트 순서 정확도를 향상시키면서 전체 공동 재사전 채움(full joint re-prefilling)보다 3.3배 빠르게 동작한다.

arXiv:2607.11327v2cs.LG

PRISM Edit: 모든 시간적 답변을 위한 단일 벡터

PRISM Edit: One Vector for All Temporal Answers

모델 편집은 대규모 언어 모델(LLM)을 재학습 없이 최신 상태로 유지하지만, 시간적 사실은 현재 주류인 위치 탐색 후 편집(locate-and-edit) 패러다임의 한계를 드러낸다. 업데이트가 항상 대체를 의미하지는 않기 때문이다. 사실이 변경될 때, 새로운 답변은 현재 시점에서 정확해야 하지만 기존 답변은 역사적 시간 맥락에서 여전히 유효할 수 있다. 이 통찰을 바탕으로, 우리는 인과 추적(causal tracing)을 통해 LLM이 이미 2단계 내부 계산을 통해 이러한 구분을 지원함을 보인다: 초기 MLP 레이어는 시간 불변(time-agnostic) 주어 표현을 검색하고, 이후 레이어는 시간 맥락으로 이를 조절하여 시간적으로 올바른 답변을 생성한다. 이 발견에 기반하여, 우리는 PRISM Edit을 소개한다. PRISM Edit은 시간적 맥락 전반에 걸쳐 단일 다의적(polysemous) 표현을 최적화하고, 어떠한 아키텍처 수정 없이 모델의 내재적 조절 경로를 활용하여 시간적으로 올바른 예측으로 라우팅한다. 우리는 새롭게 도입한 시간적 편집 벤치마크인 TimeConflict와 시간적으로 증강된 CounterFact에서 평가를 수행한다. PRISM Edit은 최고 기준선(baseline) 대비 Temporal Consistency(TC)에서 평균 +23.3, Current Relative-time Score(CRS)에서 평균 +33.7 향상을 달성하면서 2배 이상 빠른 속도를 보인다. 코드와 데이터는 https://github.com/AnonymousStudy972/PRISM-Edit 에서 공개되어 있다.

arXiv:2607.12304v1cs.CV

시간적 벤치마크 점수는 무엇을 측정하는가? 비디오 VLM 평가에서 채널 사용 분해

What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation

시간적 비디오 질의응답 벤치마크의 점수는 모델이 시간적 이해를 갖추었는지를 측정하려는 것이지만, 두 가지 질문을 혼동한다. 1. 과제 질문: 해당 질문이 애초에 시간적인가, 여러 프레임과 그 순서가 필요한가? 2. 채널 질문: 필요하다면, 모델이 픽셀에서 순서를 복원하는가, 아니면 위치 인코딩(RoPE)에서 순서를 읽어오는가? 대부분의 시간적 점수는 어느 쪽에도 답하지 않으며, 단일 프레임과 답변 사전확률이 종종 점수를 좌우한다. 분야의 타당성 검증—프레임 셔플 민감도와 전체 비디오로 얻는 정확도—은 과제 질문에만 해당한다. 우리는 채널 질문을 위한 라벨 없는 스크리닝 방법인 reversal-drop을 제안한다: RoPE는 정방향으로 유지하면서 시각 시퀀스를 역방향으로 뒤집었을 때 잃는 정확도이다. 이는 새 어노테이션 없이 호환되는 시간적 벤치마크에 적용할 수 있다. 쌍을 이룬 역방향 라벨, 또는 역전 시 라벨이 결정론적으로 변환되는 과제는, 역전된 콘텐츠를 따르는 모델과 충돌로 인해 단순히 교란된 모델을 구별한다. Molmo2는 위치에서 정방향 사건의 읽기 순서를 답하는 반면, Qwen3-VL은 실제로 보이는 역방향 사건을 답하며 시각적 순서를 (상대적으로) 읽는다. 우리는 이를 위치 우세(position-dominant)와 시각 시퀀스 우세(visual-sequence-dominant)라고 부른다. 이 분화는 두 벤치마크와 여러 시간적 과제에서 두 규모로 일관되며, activation patching은 이것이 충돌의 산물이 아닌 실제 내부 속성임을 보여준다. 이 구분은 중요하다. 두 채널은 상반된 입력에서 실패하므로 유사한 점수를 가진 두 모델은 상호 교환 가능하지 않다. 즉, 집계 점수는 잠재적 실패 모드를 반영하지 않는다.

arXiv:2412.07259v5cs.AI공식 코드 · Papers with Code

매직 셋을 활용한 DatalogMTL의 목표 주도 추론

Goal-Driven Reasoning in DatalogMTL with Magic Sets

DatalogMTL의 높은 계산 복잡도로 인한 실용적 추론 어려움을 해결하기 위해, 비시간적 Datalog용 재작성 기법인 매직 셋(magic sets)을 시간적 추론 환경으로 확장한 목표 지향적(goal-driven) 추론 방법을 제안한다. 공개 벤치마크 평가에서 제안 방법이 최신 추론 기법들을 일관되게 크게 능가함을 실험적으로 입증하였다.

arXiv:2607.08763v1cs.CV

OpenCoF: 비디오 생성을 통한 추론 학습

OpenCoF: Learning to Reason Through Video Generation

비디오 생성을 통한 Chain-of-Frame(CoF) 추론 능력을 향상시키기 위해, 11개 태스크 패밀리에 걸친 17,312개의 추론 비디오로 구성된 OpenCoF-17K 데이터셋과 이를 기반으로 파인튜닝된 Wan-CoF 모델을 제안한다. 다양한 시간적 지도(temporal supervision)와 시각적·텍스트 추론 토큰 메커니즘을 도입한 결과, MME-CoF, Gen-ViRe, VIPER, RULER-Bench 등 4개의 외부 비디오 추론 벤치마크에서 기준 모델 Wan2.2-I2V-A14B 대비 상당한 성능 향상을 달성했다.

arXiv:2601.20735v2cs.AI

계량 시간 정답 집합 프로그래밍 구현

Implementing Metric Temporal Answer Set Programming

계량 정답 집합 프로그래밍(Metric ASP)에서 지속 시간·마감 기한 같은 정량적 시간 제약을 효율적으로 처리하기 위해, 메타 인코딩 기반의 계산적 접근법을 제안하며 차이 제약(difference constraints)으로 시간 관련 처리를 외부화한다. 이를 통해 그라운딩 병목 문제를 해소하고 시간 정밀도에 무관한 확장 가능한 구현을 달성하며, 치과 예약 시나리오·다중 에이전트 경로 탐색·작업 스케줄링 실험으로 검증한다.

arXiv:2601.01095v3cs.CV

NarrativeTrack: 서사 이해를 위한 개체 중심 추론 평가

NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

NarrativeTrack은 멀티모달 대규모 언어 모델(MLLM)의 서사 이해 능력을 개체 중심 추론으로 평가하는 최초의 벤치마크로, 개체 존재·변화·모호성의 세 차원에 걸쳐 복잡도를 점진적으로 높이는 구성적 추론 진행(CRP) 프레임워크를 제시한다. 최신 MLLM 평가 결과, 범용 모델은 지각 그라운딩은 강하지만 시간적 일관성이 약하고 영상 특화 모델은 반대 양상을 보이며, 모델 크기 확장이나 프레임 밀도 증가만으로는 서사 이해가 개선되지 않음을 확인했다.

arXiv:2607.00339v1cs.CL

TRACE: State-Aware Query Processing over Temporal Evidence Graphs for Conversational Data

대화가 지속되면서 계획이 바뀌고 정보가 충돌하는 환경에서 발생하는 장기 대화 질의응답(QA) 문제를 해결하기 위해, TRACE는 이벤트·세션·토픽을 계층적으로 연결하고 유효성 주석을 유지하는 시간적 증거 그래프(temporal evidence graph) 위에서 벡터 검색과 그래프 탐색을 결합한 질의 처리 프레임워크를 제안한다. 장기 대화 QA 벤치마크 실험에서 TRACE는 시간적 추론 및 멀티홉(multi-hop) 추론 성능을 개선하며, 계층 구조·업데이트 인식 시드 선택·경로 기반 증거의 중요성을 절제 실험을 통해 확인한다.

arXiv:2606.27828v1cs.CV

Video-MME-Logical: 비디오 시간-논리 추론을 위한 통제된 진단 벤치마크

Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning

최근 멀티모달 대규모 언어 모델(MLLM)에 대한 관심은 한 가지 핵심 질문을 제기한다: 이들이 개별 프레임에서 객체 또는 사건을 단순히 인식하는 것을 넘어 동적 시각적 증거에 대해 추론할 수 있는가? 우리가 비디오 시간-논리 추론(video temporal-logical reasoning)이라 부르는 이 능력은 프레임에 걸쳐 시각적 상태가 변화함에 따라 모델이 증거를 유지하고, 갱신하며, 구성해야 한다. 기존 비디오 벤치마크는 종종 이 능력을 장면 복잡도, 정적 인식, 또는 통제되지 않은 시간적 변화와 혼동한다. 이 능력을 분리하기 위해, 우리는 상태 추적(state tracking), 순차적 세기(sequential counting), 시간적 순서(temporal ordering), 동적 공간성(dynamic spatiality), 구조적 구성(structural composition)이라는 다섯 가지 시간-논리 연산을 중심으로 구성된 통제된 벤치마크인 Video-MME-Logical을 제안한다. 이 벤치마크는 통제된 객체 상태, 전이, 시간적 의존성, 논리적 구성으로 생성된 25개의 세분화된 과제 카테고리를 포함한다. 이는 시간적 수평(temporal horizon)과 추론 복잡도를 변화시켜 난이도를 통제한 최종 답변 평가를 가능하게 하며, 모델이 최종 답변을 생성하기 전에 필요한 논리적 추론 경로(logical reasoning trace)를 복원하는지 검증함으로써 중간 상태 진단을 지원한다. 최신 MLLM에 대한 실험은 특히 시간-논리 복잡도가 증가할수록 상당한 인간-모델 격차를 드러낸다. 최대 50만 개의 생성 샘플에 대한 지도 미세조정은 성능을 향상시키지만 추론 격차를 메우기에는 여전히 불충분하며, 이는 Video-MME-Logical을 MLLM의 시간-논리 추론을 분석하고 개선하기 위한 확장 가능한 테스트베드로 자리매김한다.

arXiv:2606.24602v1cs.CV

ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

Despite remarkable progress in multimodal understanding, current MLLMs still exhibit limitations in video text understanding, particularly when semantics emerge through the integration of temporally distributed textual cues across multiple frames. This perception challenge fundamentally differs from static image text understanding, yet existing datasets fail to capture: the vast majority of questions remain answerable from single frames, inadequately reflecting real-world video text comprehension demands. To address this, we present ViTexQA, a large-scale video-text QA dataset, and FrameThinker for robust multi-frame temporal reasoning. We build ViTexQA via a quality-controlled Chain-of-Thought (CoT) annotation pipeline boosted with temporal constraints; all its QA pairs demand cross-frame text fusion to solve, enforcing true temporal reliance. FrameThinker adopts two-stage training for explicit temporal modeling: CoT-Guided Supervised Fine-Tuning (SFT) generates frame-aware reasoning chains, followed by Temporally-grounded Reinforcement Learning (RL) optimized with multi-frame coherence rewards. Evaluations show our method outperforms SOTA baselines on ViTexQA, lifting ROUGE-L by 6.3%.

arXiv:2606.24422v1cs.CV

EgoSAT: 자아중심 스트리밍 상호작용 이해를 위한 종합 벤치마크

EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding

우리는 현대 비전-언어 모델(VLM)의 능력을 평가하기 위해 설계된, 스트리밍 환경에서의 자아중심(egocentric) 비디오 추론을 위한 최초의 종합 벤치마크인 EgoSAT를 소개한다. 이 벤치마크는 스트리밍 상호작용 이해를 대상으로 하며, 이 환경에서는 비디오 프레임이 순차적으로 도착하고 모델은 진화하는 시각적 맥락을 지속적으로 해석해야 한다. EgoSAT는 기존에 별개로 존재하던 여러 태스크를 단일 스트리밍 프레임워크로 통합한다. 이 정식화에서, 완료된 이벤트에 대한 쿼리는 회고적 추론(retrospective reasoning)에 해당하고, 진행 중인 활동에 대한 쿼리는 온라인 이해(online understanding)를 요구하며, 미래 행동에 대한 쿼리는 미래 예측(prospective anticipation)을 포함한다. 이 통합 환경은 오직 이전에 관찰된 프레임만 사용 가능하다는 제약 하에서 과거, 현재, 미래에 대해 추론할 것을 모델에게 요구한다. EgoSAT는 165시간 분량의 자아중심 영상에 걸친 1,997개의 고유 비디오와, 다양한 시간적 맥락에서의 추론을 탐색하도록 세심하게 설계된 약 4,800개의 고품질 질의응답 쌍을 포함한다. 이 벤치마크를 활용하여 공개 가중치(open-weight) 및 비공개 가중치(closed-weight) VLM을 다양하게 평가하고, 스트리밍 상호작용 이해 능력을 체계적으로 분석한다. 응답 가능성(answerability)을 구분하고 모델의 신뢰도에 대한 진단을 수행한 결과, 기존 모델들이 미래 예측 및 회고적 모델링에 어려움을 겪을 뿐만 아니라, 심각한 잘못된 보정(mis-calibration) 문제도 보임을 발견했다. 즉, 신뢰도가 본질적인 응답 가능성을 반영하지 못하는 경우가 많아 위험한 "자신 있게 틀리는" 행동으로 이어진다. 프로젝트 페이지: https://leiyj23.github.io/EgoSAT/

arXiv:2606.18441v1cs.CV

교집합으로서의 추론: 비디오 멀티모달 대규모 언어 모델에서의 시각적 초점을 위한 합의 프레임 정렬

Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs

강화학습은 대규모 언어 모델의 추론 능력을 향상시켰지만, 비디오 멀티모달 대규모 언어 모델(Video-MLLMs)에 결과 기반 보상만을 적용하는 것은 어떤 시각적 증거가 답변을 뒷받침해야 하는지에 대한 제한된 지도만 제공합니다. 일관된 단서가 지각적 추정의 현저성과 신뢰성을 높일 수 있는 다감각 통합에서 영감을 받아, 우리는 증거 인식 비디오 추론을 위한 시간적 주석이 필요 없는 프로세스 수준 보상 프레임워크인 Consensus Frame GRPO (CF-GRPO)를 소개합니다. CF-GRPO는 시간적 커버리지, 장면 전환 단서, 쿼리 조건 시각적 관련성을 포함한 내재된 비디오 단서로부터 합의 프레임 사전(prior)을 구축합니다. 그런 다음 시각 및 응답 표현으로부터 모델 측 프레임 사용 점수를 계산하고, 합의 프레임 보상(CFR)을 통해 이들의 일치를 최적화합니다. 현저성 인식 희소 집계와 분포 날카롭게 하기를 통해, CFR은 인간의 시간적 주석 없이 고대비 보상 신호를 제공합니다. 실험 결과, VideoCFR은 복잡한 비디오 추론 벤치마크 전반에서 경쟁력 있는 성능을 달성하고 대표적인 Video-MLLM 및 RL 베이스라인 대비 여러 지표를 개선했으며, 합의 사전(prior)은 학습 중 강조된 증거 프레임에 대한 해석 가능한 관점을 제공합니다. 구현은 https://github.com/1Pansy/VideoCFR에서 확인할 수 있습니다.

arXiv:2606.17417v1cs.SD

대규모 오디오-언어 모델의 시간적 이해 실패 양상에 대한 심층 분석

A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models

대규모 오디오-언어 모델(LALM)은 다양한 오디오 이해 태스크에서 강력한 성능을 달성하지만, 인간의 청각 지각의 핵심인 기본적인 능력인 시간적 추론(temporal reasoning)에서는 여전히 어려움을 겪고 있습니다. 기존 벤치마크는 기저 메커니즘을 파헤치지 않고 성능 격차만을 보고하기 때문에, 이러한 실패의 원인을 이해하는 것은 여전히 어렵습니다. 이를 해결하기 위해, 우리는 메커니즘 분석을 위해 특별히 설계된 세 가지 기본 태스크에 걸쳐 1,657개의 질문을 포함하는 벤치마크를 소개합니다. 다양한 입력 설정(행동 분석)에 걸친 모델 출력을 검토한 결과, 텍스트 단서가 사용 가능할 때 모델이 오디오를 과소 활용하는 경우가 많다는 사실이 밝혀졌습니다. 또한, 우리는 LALM에서의 시간적 추론 실패에 대한 최초의 인과적 메커니즘 분석을 제공합니다. 어텐션 업웨이팅(upweighting)과 스케일링(scaling)을 비교한 결과, 오디오 어텐션을 증가시키는 것보다 오디오 토큰 전반에 걸쳐 어텐션을 재분배하는 것이 더 효과적임을 발견했습니다. 태스크 관련 토큰을 타겟팅하면 추가적인 이득을 얻을 수 있습니다. 이러한 발견은 모달리티 불균형만으로는 실패를 설명할 수 없음을 시사합니다. 병목 레이어에서의 어텐션 스케일링은 미세조정(fine-tuning) 없이 정확도를 55.9%에서 59.1%로 향상시켜, 향후 연구를 위한 유망한 방향을 보여줍니다.