PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24452v1cs.CV

LiDAR 언어 모델은 정말로 시공간적 관계를 이해하는가?

Do LiDAR Language Models Really Understand Spatio-temporal Relationships?

최근의 4D LiDAR 언어 모델들은 객체와 그 객체들 사이의 변화하는 공간적 관계를 추론하는 것을 목표로 한다. 그러나 본 연구의 평가에서, 항상 동일한 선택지를 고르는 것만으로도 두 가지 B4DL 기반 구성의 객관식 정확도에 거의 근접하는 것으로 나타났다. 우리는 150개의 nuScenes 장면에 걸친 10,000개의 질문으로 구성된, 기하학 정보를 참조하는 벤치마크이자 진단 프로토콜인 LiDAR-Hallu를 제안한다. 이 벤치마크는 객체 존재 여부, 자기 중심적(ego-relative) 위치, 거리 순서, 상대적 움직임, 시간적 위치 추정을 다루며, 객체 선택, 시간 비교, 참조 정답 결정에 대한 명시적인 규칙을 포함한다. 우리의 프로토콜은 고정 정답 및 후보 내용 통제, 동일한 프롬프트이지만 정반대의 참조 정답을 갖는 장면 간(cross-scene) 쌍, 그리고 관계별 재현율을 결합한다. 100,000개의 기록된 응답에 대한 분석은 종합 정확도에 가려져 있던 실패들을 드러낸다. 후보 지속 시간만으로도 LiDAR를 관찰하지 않고서 시간 관련 답을 예측할 수 있다. 쌍을 이룬 질문들에서, 모델들은 정반대의 답을 요구하는 장면들에 대해 동일한 답을 내놓는 경우가 빈번했다. 관계별 분석은 나아가 두 구성 모두 테스트된 모든 조건에서 긍정적인 측면 이동(lateral-motion) 사례를 전부 놓친다는 것을 보여준다. 시간 셔플(temporal-shuffle) 대조 디코딩은 실질적인 개선을 거의 제공하지 못하는데, 이는 수정된 부분이 새로운 오류에 의해 대부분 상쇄되고 주요 실패들이 그대로 유지되기 때문이다. 이러한 결과는 시공간적 추론을 평가하려면 개별 답변 정확도에만 의존하기보다는 모델이 질의된 물리적 관계를 실제로 구별하는지를 테스트해야 함을 보여준다. 소스 코드, 체크포인트, 데이터는 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench 에서 공개된다.

arXiv:2606.24726v1cs.CV

SER: Learning to Ground Video Reasoning with Semantic Evidence Rewards

Video MLLMs often struggle with fine-grained spatio-temporal reasoning, sometimes generating correct answers based on irrelevant frames or objects. Although outputting spatio-temporal evidence during reasoning is a promising direction, existing RL frameworks typically rely on geometry-only (IoU) rewards, which can be sensitive to boundary perturbations and overlook semantic alignment. To address this, we propose Semantic Evidence Reward (SER), which reformulates spatio-temporal evidence grounding as a constrained verification task. Instead of computing pixel-level overlap, SER uses a referee VLM as a local checker to evaluate model-generated evidence claims across two dimensions: relevance and localization quality, combined with a temporal penalty. This design reduces the reliance on dense box annotations and enables training directly on standard video QA data. On the V-STAR benchmark, SER achieves 49.6% mLGM, improving by 3.0 points over the strong evidence-grounded baseline Open-o3-Video, demonstrating its potential in enhancing both answer accuracy and evidence grounding.

arXiv:2606.24636v1cs.AI

CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

Cinematographic captioning aims to describe how a video is filmed using professional film-language concepts such as camera movement, shot size, depth of field, composition, and shooting angle. This capability is important for fine-grained video understanding and controllable movie-quality video generation, yet remains underexplored in existing multimodal large language models. Unlike question-answering-based evaluation of cinematic understanding, cinematographic captioning requires a unified open-form description over multiple cinematographic dimensions. This task is challenging for two main reasons: the model must infer professional cinematographic concepts from subtle visual evidence, and it must generate captions that are both comprehensive and accurate. Accordingly, we propose CineCap, a framework that combines structured reasoning with spatio-temporal anchors and reinforcement learning with comprehensiveness, accuracy, and gated coverage rewards. The former grounds professional cinematographic descriptions in explicit visual evidence and organizes them into compact atomic reasoning for supervised fine-tuning, while the latter improves the balance between descriptive completeness and factual correctness. In addition, we construct CineCap Bench, a benchmark of 472 manually annotated video-caption pairs for systematic evaluation. Extensive experiments show that CineCap consistently outperforms strong proprietary and open-source baselines, establishing a new state of the art for cinematographic captioning. The code, model checkpoint, and benchmark are publicly available in https://github.com/Hectormxy/CineCap.git.

arXiv:2603.00461v3cs.CV

ReMoT: 모션 대비 삼중항을 활용한 강화학습

ReMoT: Reinforcement Learning with Motion Contrast Triplets

본 논문에서는 내비게이션, 로봇공학, 자율 주행 분야에서 치명적인 실패 요인인 시공간 일관성(spatio-temporal consistency) 측면에서 VLM(비전-언어 모델)의 근본적인 한계를 체계적으로 해결하기 위한 통합 학습 패러다임인 ReMoT를 제안합니다. ReMoT는 두 가지 핵심 구성 요소를 통합합니다: (1) 비디오 메타 주석(video meta-annotations)에서 파생된 대규모(16.5K 삼중항) 모션 대비 데이터셋(motion-contrast dataset)인 ReMoT-16K를 생성하는 규칙 기반 자동 프레임워크로, 비용이 많이 드는 수동 생성이나 모델 기반 생성 방식을 능가합니다. (2) Group Relative Policy Optimization으로, 본 연구에서는 이 대비 추론(contrastive reasoning)을 학습하는 데 있어 표준 지도 미세조정(supervised fine-tuning)을 훨씬 능가하는 최적의 성능과 데이터 효율성을 제공함을 경험적으로 검증했습니다. 또한 VLM의 미세한 모션 속성(예: 반대 방향) 식별 능력을 측정하기 위해 정교한 모션 대비 삼중항(fine-grained motion contrast triplets)에 대한 최초의 벤치마크를 구축했습니다. 결과적으로 생성된 모델은 새로운 벤치마크와 여러 표준 VLM 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했으며, 시공간 추론(spatio-temporal reasoning) 작업에서 놀라운 25.1%의 성능 향상을 이끌어냈습니다.