arXiv:2609.24367v1 cs.CV

TReViS: 자기지도 반복 동작 계수를 위한 시간적 반복 구조 인식 비디오 합성

TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting

Fanqi Yu, Shengming Ma, Stefano Fiorini, Vito Paolo Pastore, Xuan Qi, Vittorio Murino, Cigdem Beyan

제출 2026-09-22

한국어 초록

완전 지도 방식의 반복 동작 계수(Repetitive Action Counting, RAC)는 뛰어난 성능을 달성했지만, 비용이 많이 들고 확장이 어려운 조밀한 시간적 주석(annotation)을 필요로 한다. 우리는 반복 레이블 없이 RAC 모델을 학습시킬 수 있는 자기지도(self-supervised) 비디오 합성 프레임워크인 TReViS를 제안한다. TReViS는 레이블이 없는 비디오의 근본적인 시간적 반복 구조를 시간적 자기 유사도 행렬(Temporal Self-Similarity Matrix)을 통해 추정하고, 그 주기 통계를 추론한 뒤, 현실적인 반복 패턴을 보존하면서도 통제된 시간적 변동성을 도입한 새로운 학습 시퀀스를 합성한다. 이렇게 합성된 비디오는 의사 레이블(pseudo-label)과 짝을 이루어 기존 RAC 아키텍처를 처음부터 학습시키는 데 사용된다. 여러 데이터셋과 백본(backbone)에 걸쳐, TReViS는 기존의 자기지도 방법들을 일관되게 능가하며 완전히 레이블 없이도 여러 지도 학습 기준선(baseline)과 견줄 만한 성능을 달성함으로써, 레이블 없는 RAC를 위한 구조 인식 비디오 합성의 효과를 입증한다. 소스 코드는 https://github.com/yfqi/TReViS 에서 확인할 수 있다.

원문 초록

Fully supervised repetitive action counting (RAC) has achieved strong performance, but requires dense temporal annotations that are costly and difficult to scale. We propose TReViS, a self-supervised video synthesis framework that enables training RAC models without any repetition labels. TReViS estimates the underlying temporal repetition structure of an unlabeled video via a Temporal Self-Similarity Matrix, infers its cycle statistics, and synthesizes new training sequences that preserve realistic repetition patterns while introducing controlled temporal variability. These synthesized videos are paired with pseudo-labels and used to train existing RAC architectures from scratch. Across multiple datasets and backbones, TReViS consistently outperforms prior self-supervised methods and achieves performance competitive with several supervised baselines, while remaining fully label-free, demonstrating the effectiveness of structure-aware video synthesis for label-free RAC. The source code is available at https://github.com/yfqi/TReViS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24367v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24031v2cs.CV공통 태그 Self-Supervised Learning, Activity Recognition, Video Understanding

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.24492v2cs.CV공통 태그 Activity Recognition, Video Understanding

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2610.11019v1cs.CV공통 태그 Self-Supervised Learning, Video Understanding

원시 비디오를 활용한 언어 모델의 중간 학습

Mid-Training Language Models on Raw Video

다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.

arXiv:2609.18462v5cs.CV공통 태그 Self-Supervised Learning, Video Understanding

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

arXiv:2610.00559v1cs.CV공통 태그 Video Understanding, Video Generation

PhysVista: 인지-추론-평가 루프를 통한 VLM의 물리적 지능 벤치마킹

PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop

비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.