S3Aug: Segmentation, Sampling, and Shift for Action Recognition
원문 초록
Action recognition is a well-established area of research in computer vision. In this paper, we propose S3Aug, a video data augmenatation for action recognition. Unlike conventional video data augmentation methods that involve cutting and pasting regions from two videos, the proposed method generates new videos from a single training video through segmentation and label-to-image transformation. Furthermore, the proposed method modifies certain categories of label images by sampling to generate a variety of videos, and shifts intermediate features to enhance the temporal coherency between frames of the generate videos. Experimental results on the UCF101, HMDB51, and Mimetics datasets demonstrate the effectiveness of the proposed method, paricularlly for out-of-context videos of the Mimetics dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자폐 관련 자기자극적 손 특이행동의 시퀀스 기반 분류에서 프레임 레이트 효과 평가
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
자폐 스펙트럼 장애(ASD)는 전 세계 7,500만 명 이상에게 영향을 미치지만, 원격 행동 선별을 위한 확장 가능한 계산적 방법은 여전히 제한적이다. 본 연구는 비디오에서 자폐 관련 자기자극적 행동을 자동으로 탐지하는 데 있어 두 가지 보완적 과제를 다룬다: (1) 최적의 시퀀스 기반 신경망 아키텍처와 시간적 샘플링 레이트 식별, (2) 소규모 행동 데이터셋 학습을 위한 데이터 증강 전략 특성화. 첫 번째 목표를 위해, 장단기 메모리(LSTM)와 게이트 순환 유닛(GRU) 모델을 Self-Stimulatory Behavior Diagnosis(SSBD) 데이터셋의 포즈 기반 특징에 대해 1, 5, 15, 30, 45, 90 프레임 샘플링 간격으로 학습시켰다. 두 아키텍처 모두 기존 합성곱 신경망(CNN) 베이스라인(정확도 62~76%)을 초과하였으며, 15프레임 간격 샘플링에서 최고 정확도 97.5%(LSTM)와 98.75%(GRU)를 달성하였다. 두 번째 목표를 위해, I3D 전이학습 파이프라인에 열 가지 데이터 증강 전략을 적용하고 각 기법의 한계 기여도를 정량화하는 절제 연구(ablation study)를 수행하였다. 수평 뒤집기(horizontal flip)가 단독으로 가장 높은 정확도(48.78%)를 달성한 반면, 증강 파이프라인에서 업샘플링을 제외했을 때 성능 저하가 가장 크게 나타나 복잡한 행동 비디오 증강에서 업샘플링의 필요성이 확인되었다. 각 비디오의 시간적으로 분할된 구간에서 피험자별 모델을 학습 및 평가하는 개인화된 기계학습 접근법은 일관된 예측을 산출하였다(평균 손실 1.84, 표준편차 0.79). 이러한 결과는 데이터가 부족한 임상 영역에서 비디오 기반 행동 분류를 위한 아키텍처 선택, 샘플링 레이트, 데이터 증강 전략에 관한 구체적인 지침을 실무자에게 제공한다.
합성 데이터 기반 조립 단계 인식을 위한 비전 시스템
A Synthetic-Driven Vision System for Assembly Step Recognition
산업 조립에서의 품질 관리는 필수적이며, 조립 공정의 실시간 모니터링은 비용이 많이 드는 불량을 방지하고 생산 신뢰성을 보장하는 데 중요합니다. 비전 기반 자동 검사는 이러한 실시간 모니터링을 위한 강력한 솔루션을 제공합니다. 그러나 특수 산업용 부품과 공정의 특성으로 인해, 이러한 모델의 학습은 일반적으로 태스크별 실세계 데이터에 의존하며, 이를 수집하고 어노테이션하는 데는 비용과 노동력이 많이 소요됩니다. 본 논문에서는 현실적인 조립 시퀀스를 자동으로 생성하고, 합성 데이터를 활용하여 실시간 검사 모델을 학습시키는 시스템을 제안합니다. 이 시스템은 CAD 모델과 간단한 단계 설명만으로 한 시간 이내에 주어진 태스크에 효율적으로 적용할 수 있습니다. 실용적인 과제에 초점을 맞추어, 본 시스템은 다양한 인간 조립 동작의 분산을 포착하기 위한 물리 기반 동작 생성 모듈을 통합하고, 환경적 복잡성과 변화를 처리하기 위한 도메인 무작위화 렌더링을 설계하며, 견고한 sim-to-real 전이를 위한 객체 탐지 기반 단계 인식 모듈을 채택함으로써, 실세계 조립 사례에서 각각 46.7%, 15.8%, 61.2%의 성능 향상을 달성하여 92.4%의 정확도를 달성하였습니다. 전반적으로, 본 시스템은 비용이 많이 드는 실세계 데이터 수집 및 어노테이션 없이도 산업 조립 검사를 위한 실용적인 솔루션을 제공하며, 실제 산업 조립 태스크에서 그 효과가 검증되었습니다.
감정적 신체 동작 표현의 인식 향상을 위한 도구로서의 생성 학습
Generative Learning as a Tool to Improve Perception of Emotional Body Motion Expressions
감정적 신체 동작 표현은 비언어적 커뮤니케이션의 핵심 요소이다. 가상현실 아바타나 소셜 로봇공학 분야에서 기술을 통해 이러한 표현을 효과적으로 전달하는 것은 매우 중요하다. 생성 모델의 최근 발전은 감정적 신체 동작 학습 연구를 발전시킬 새로운 기회를 열었다. 그러나 감정 단서의 미묘함, 개인 간 변이성, 문화적 차이로 인해 정확한 감정 표현 표현을 생성하는 것은 어려운 과제이다. 본 연구에서는 생성 모델이 명시적인 감정-동작 지도 없이 문화적으로 기반한 모션 캡처 데이터로부터 직접 감정적 신체 동작을 암묵적으로 학습할 수 있는지 조사한다. 49명의 일본 배우들의 감정 퍼포먼스 데이터셋을 사용하여, 13개의 이산 감정 레이블을 조건으로 표현적 동작을 생성하는 트랜스포머 기반 생성 모델을 학습시켰다. 생성된 동작을 두 가지 관점에서 평가하였다: (1) 기계 관찰자의 인식 가능성을 평가하는 LSTM 기반 분류기로 22.80%의 인식 정확도를 달성하였으며, (2) 인간의 정서적 해석과의 일치도를 평가하기 위한 일본인 평가자 대상 인간 지각 연구에서 24.91%의 인식 정확도를 나타냈다. 이에 더하여, 감정 인식 모델 증강, 감정별 대표 동작 패턴 추출, 감정 강도 간 부드러운 전환 합성이라는 세 가지 실용적 과제에서 생성 모델링의 유용성을 평가하였다. 본 연구 결과는 정서 컴퓨팅(affective computing) 응용 프로그램 강화와 감정 표현에 대한 이해를 높이기 위한 암묵적·데이터 기반 생성 모델링의 잠재력을 부각시킨다.
Action Recognition for Privacy-Preserving Ambient Assisted Living
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
인터랙티브 게임플레이를 위한 코칭 가능한 에이전트
Coachable Agents for Interactive Gameplay
강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.