Chronologically Accurate Retrieval for Temporal Grounding of Motion-Language Models
원문 초록
With the release of large-scale motion datasets with textual annotations, the task of establishing a robust latent space for language and 3D human motion has recently witnessed a surge of interest. Methods have been proposed to convert human motion and texts into features to achieve accurate correspondence between them. Despite these efforts to align language and motion representations, we claim that the temporal element is often overlooked, especially for compound actions, resulting in chronological inaccuracies. To shed light on the temporal alignment in motion-language latent spaces, we propose Chronologically Accurate Retrieval (CAR) to evaluate the chronological understanding of the models. We decompose textual descriptions into events, and prepare negative text samples by shuffling the order of events in compound action descriptions. We then design a simple task for motion-language models to retrieve the more likely text from the ground truth and its chronologically shuffled version. CAR reveals many cases where current motion-language models fail to distinguish the event chronology of human motion, despite their impressive performance in terms of conventional evaluation metrics. To achieve better temporal alignment between text and motion, we further propose to use these texts with shuffled sequence of events as negative samples during training to reinforce the motion-language models. We conduct experiments on text-motion retrieval and text-to-motion generation using the reinforced motion-language models, which demonstrate improved performance over conventional approaches, indicating the necessity to consider temporal elements in motion-language alignment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인간 유사 에이전트를 위한 생성형 체화 다중 행동 통제 시스템
Generative Embodied Multiple Behavior Control Systems for Human-like Agents
인지 신경과학에서 오랫동안 정교하게 논의되어 온 이분법은 습관적(habitual) 행동과 목표 지향적(goal-directed) 행동으로 나뉘는 인간 행동 통제 메커니즘이다. 기존 인간 유사 에이전트 프레임워크는 주로 목표 지향적 행동 모델링에 초점을 맞추었으며, 인간 일상에서 핵심적인 역할을 하는 습관적 행동은 대체로 간과되어 왔다. 본 논문에서는 목표 지향적 행동과 습관적 행동을 공동으로 모델링하는 다중 행동 통제 시스템을 연구하여 이 공백을 해소한다. 우리는 인간 행동 통제 메커니즘에서 영감을 받은 프레임워크를 제안한다. Habitual Controller는 개인화된 습관 메모리에서 단서에 의해 촉발된 행동을 검색하고, Goal-directed Controller는 문맥 인식(context-aware) 월드 모델(world model)을 사용하여 행동 결과를 예측하고 그 가치를 추정한다. Arbiter는 개인차와 순간적인 내부 상태에 따라 두 시스템의 영향을 동적으로 균형 잡는다. 3D 환경에서 다양한 인간 수준 행동 지시를 재구성하기 위해 keyframe-guided 3D 모션 생성 모듈을 추가로 개발한다. 광범위한 평가 방법, 인간 연구, ablation 연구를 통해 실험 결과는 우리 접근법이 인간 유사성(human-likeness) 성능을 유의미하게 향상시킴을 보여준다. 우리 접근법의 효과는 믿을 만한(believable) 체화형 인간 유사 에이전트를 위해 습관적 행동과 다중 행동 통제 시스템의 조율을 활용하는 것의 이점을 시사한다.
MIME: 다중모달 상호작용 모션 인코더
MIME: Multimodal Interactive Motion Encoder
텍스트-모션 표현 학습은 빠르게 발전해 왔으며, 애니메이션, AR/VR, 체화 AI(embodied AI) 분야에서 다인 상호작용에 대한 관심이 커지고 있다. 이러한 설정에서는 언어를 개별 행위자의 역학과 행위자 간 관계 모두에 정렬하는 표현이 필요하다. 우리는 다중모달 상호작용 모션 인코더(MIME)를 제안한다. 우리가 아는 한 MIME은 두 사람 상호작용 모션을 위해 특별히 설계된 최초의 전용 다중모달 인코더이다. MIME은 명시적 상호작용 특징과 커리큘럼 기반 대조 학습을 갖춘 스트림 기반 공동 어텐션(co-attention)을 사용하여 개별 및 공유 구조를 포착한다. Inter-X 텍스트-모션 검색에서 MIME은 갤러리 크기 전반에 걸쳐 초기·후기 융합(fusion) 기준선을 일관되게 능가하며, 2,000개 샘플 갤러리에서 text-to-motion R@1 기준 상대 12.8% 개선을 달성한다. 또한 학습에 포함되지 않은(unseen) InterHuman 데이터셋에서 TIMotion과 InterMask 내부의 동결(frozen) 보조 사전(prior)으로 MIME을 추가로 평가했다. MIME은 TIMotion에서 유사한 FID를 유지하면서 의미 정렬 지표를 개선한다. 이러한 결과는 상호작용 인식 다중모달 인코딩이 다인 모션 검색을 개선하고, 데이터셋 간 전이되어 하위 모션 생성을 지원함을 보여준다.
Cross-Conditioned Recurrent Networks for Long-Term Synthesis of Inter-Person Human Motion Interactions
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.