PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.00713v5cs.CV공식 코드 · Papers with Code

RAD: 로봇 관측 기반 실생활 이상 탐지 데이터셋 및 벤치마크

RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations

이상 탐지(anomaly detection)는 로봇 인식과 산업 검사에 필수적이지만, 대부분의 벤치마크는 고정된 시점과 안정적인 조명 하의 통제된 조건에서 수집된다. 이러한 설정은 카메라 자세(pose), 조명, 표면 반사율(reflectance)이 지속적으로 변하는 로봇 배치 환경을 반영하지 못한다. 우리는 자세에 무관한(pose-agnostic) 이상 탐지를 위한 로봇 촬영 다중 시점(multi-view) 벤치마크인 RAD(Realistic Anomaly Detection)를 제안한다. RAD는 통제되지 않은 조명 하에서 Franka 로봇 팔과 RGB-D 카메라로 물체당 68개 시점에서 촬영한 13개 일상 물체 카테고리의 5,848장 RGB 이미지를 포함한다. 데이터셋은 긁힘(scratched), 결손(missing), 얼룩(stained), 압착(squeezed)의 네 가지 현실적 결함 유형을 다루며, 위치 파악(localization)을 위한 픽셀 수준 주석을 제공한다. 우리는 테스트 자세가 알려지지 않은 현실적 설정에서 대표적인 2D 특징(feature) 기반 방법, 3D 재구성 파이프라인, 비전-언어(vision-language) 모델을 벤치마킹한다. 결과는 기존 벤치마크와 RAD에서의 성능 사이에 뚜렷한 격차가 있음을 보여준다. 강력한 2D 특징 임베딩(feature-embedding) 방법은 이미지 수준 탐지에서 가장 신뢰할 만하게 유지되며, 3D 접근법은 픽셀 수준 위치 파악에서 더 경쟁력 있지만 반사 재료, 기하학적 대칭, 희소한 시점 커버리지에 취약하다. 비전-언어 모델은 분류(classification)와 위치 파악 모두에서 낮은 성능을 보인다. RAD는 견고한 로봇 검사를 위한 도전적인 테스트베드(testbed)를 제공하며, 외관(appearance), 기하(geometry), 시점 불확실성(viewpoint uncertainty)의 공동 모델링에서 남은 과제를 강조한다. 웹사이트와 코드는 https://chang-xinhai.github.io/rad-website/ 에서 제공된다.

arXiv:2607.21071v1cs.CV

TransBiolab: 혼잡한 투명 생의학 객체의 실세계 다중 시점 데이터셋

TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects

자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.

arXiv:2606.31533v2cs.CV

MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes

Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures. The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.

arXiv:2607.13646v1cs.CV

Human4K: 전신 3D 인간 재구성을 위한 대규모 4K 멀티뷰 모캡 데이터셋

Human4K: A Large-Scale 4K Multi-View Mocap Dataset for Whole-Body 3D Human Reconstruction

최근 3D 인간 재구성 분야의 발전으로 전반적인 성능이 향상되었지만, 현재 모델들은 여전히 가장 어려운 실제 시나리오에서 실패한다. 깊이 모호성이나 자기 가림(self-occlusion) 상황에서는 불안정한 기하학, 부정확한 사지 관절, 신뢰할 수 없는 예측을 내는 경우가 많다. 핵심 원인 중 하나는 기존 데이터셋이 견고한 재구성을 지원하는 데 필요한 고해상도 이미지, 고정밀도 주석, 다양한 전신 동작의 조합을 여전히 갖추지 못하고 있다는 점이다. 이 공백을 메우기 위해, 모캡 정확도의 SMPL-X 주석을 갖춘 대규모 4K 멀티뷰 전신 인간 재구성 데이터셋 Human4K를 제안한다. Human4K는 전문 Vicon 모션 캡처 시스템과 동기화된 8뷰 고해상도 카메라 시스템으로 촬영한 600만 장 이상의 4K 이미지를 포함하며, 복잡하고 고도로 관절화되며 강한 자기 가림이 있는 전신 동작을 수행하는 11명의 피험자를 다룬다. 모든 시퀀스는 전신 및 말초부의 정밀한 정렬을 보장하기 위해 Motion-Retargeting and Refinement Module(MRRM)로 처리된다. 실험 결과 Human4K로 학습하면 표준 벤치마크에서 전신 재구성이 일관되게 향상되며, 특히 손, 발, 깊이 모호한 사지 구성에서 큰 폭의 개선을 보인다.

arXiv:2607.12993v2cs.CV

X-Lens: 이종 카메라를 이용한 실시간 메트릭 깊이 추정

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

본 논문은 가변 개수의 보정된 어안(fisheye) 및 핀홀(pinhole) 뷰로부터 메트릭 깊이를 추정하는 컴팩트한 순전파(feed-forward) 모델인 X-lens를 제안한다. 실시간 다운스트림 인식(perception)을 지원하기 위해 X-lens는 두 가지 핵심 구성 요소를 갖춘 기하학 인식(geometry-aware) 이종 카메라 공식화를 중심으로 설계되었다. 학습 가능한 보정(calibration) 토큰은 어안과 핀홀 투영 공간 사이의 거친 정렬을 제공하고, 교차 어텐션(cross-attention)에 주입된 야코비안 매개변수화 왜곡 바이어스는 국소 투영 변화를 모델링하고 카메라 간 일관성을 촉진하여, 단 0.04B개의 파라미터와 최대 41 FPS로 강건한 일반화를 가능하게 한다. 이 모델은 전역 메트릭 스�ale과 함께 밀집 깊이(dense depth)를 예측하며, 연산 및 최적화 복잡도를 증가시키는 보조 재구성 목표를 피한다. 이러한 카메라 간 일반화를 규모와 깊이 면에서 학습하기 위해 X-lens는 여러 공개 데이터셋과, 약 266K개의 동기화된 6뷰 프레임, 170만 개의 개별 이미지, 103개의 실내 및 실외 장면을 포함하는 새로 공개한 대규모 합성 데이터셋 OmniScene에서 학습된다. 실제 및 합성 실내·실외 데이터셋에 대한 광범위한 실험은 이종 카메라 메트릭 깊이 정확도가 우수함을 보여준다. OmniScene-Full에서 최강 기준선 대비 AbsRel을 25.4% 낮추면서 파라미터는 88.9% 더 적게 사용했으며, 기존 어안 전용 및 핀홀 전용 설정에서도 경쟁력 있는 성능을 보인다.

arXiv:2408.10581v3cs.CV공식 코드 · Papers with Code

포인트 임베딩 트랜스포머 기반 다중 뷰 손 재구성

Multi-view Hand Reconstruction with a Point-Embedded Transformer

본 연구는 실제 세계의 손 모션 캡처 시나리오에서 실용적으로 사용할 수 있도록 설계된, 새롭고 일반화 가능한 다중 뷰 손 메쉬 재구성(HMR) 모델인 POEM을 제안한다. POEM 모델의 진전은 두 가지 주요 측면으로 구성된다. 첫째, 문제 모델링 측면에서 다중 뷰 스테레오 공간 내에 정적 기준점(basis point)을 임베딩하는 방법을 제안한다. 점은 3D 정보의 자연스러운 표현 형태이며, 각 뷰에서 서로 다른 투영을 갖기 때문에 다양한 뷰 간 특징을 융합하는 이상적인 매개체 역할을 한다. 따라서 본 방법은 간단하면서도 효과적인 아이디어를 활용한다. 즉, 복잡한 3D 손 메쉬는 다음 세 가지 조건을 만족하는 3D 기준점 집합으로 표현할 수 있다. 1) 다중 뷰 스테레오에 임베딩되고, 2) 다중 뷰 이미지로부터 특징을 담으며, 3) 손을 감싼다. 둘째 진전은 학습 전략에 있다. 다섯 개의 대규모 다중 뷰 데이터셋을 결합하여 활용하고, 카메라의 수, 순서, 포즈에 대한 무작위화를 적용한다. 이처럼 방대한 데이터와 다양한 카메라 구성을 처리함으로써, 본 모델은 실제 응용에서 뛰어난 일반화 성능을 보여준다. 그 결과 POEM은 좌우 양손 모두에 대해 사용자 친화적이고 비용 효율적인 다중 뷰 모션 캡처를 가능하게 하는, 매우 실용적인 즉시 사용 가능한(plug-and-play) 솔루션을 제시한다. 모델과 소스 코드는 https://github.com/JubSteven/POEM-v2 에서 이용할 수 있다.

arXiv:2606.28049v1cs.CV

AirGroundBench: 이종 다중 시점 체현 협업 하에서 멀티모달 대규모 모델의 공간 지능 탐구

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

최근 멀티모달 대규모 언어 모델(MLLM)은 체현 지능(embodied intelligence)에서 큰 잠재력을 보여 왔으나, 이종 시점에 걸쳐 기하학적으로 일관된 공간 이해를 유지하는 능력은 아직 충분히 평가되지 않았다. 기존 벤치마크는 대체로 단일 에이전트·단일 시점 인식에 초점을 맞춰, 다중 스케일 관측이 상호 보완적이면서도 스케일 불일치, 비대칭 가림, 기준 좌표계 불일치를 야기하는 협업적 공중-지상 환경의 체계적 평가에는 공백이 있다. 본 논문은 이종 UAV-UGV 협업에서 다중 시점 공간 지능을 평가하기 위한 진단 벤치마크인 AirGroundBench를 제안한다. AirGroundBench는 11개의 고충실도 시뮬레이션 환경과 1,021개의 동기화된 공중-지상 관측 쌍으로 구성되며, 약 62,000개의 이중 시점 4지선다 시각 질의응답(VQA) 인스턴스와 115개의 폐루프 비전-언어 내비게이션 에피소드를 제공한다. 10가지 작업 유형을 네 가지 점진적으로 요구 수준이 높아지는 역량 차원—공간 인식, 교차 시점 정렬, 공간 변환 및 추론, 체현 의사결정—으로 구성한다. 기하학 기반 평가와 분석을 위해 교차 시점 객체 동일성 및 측정 가능한 2D·3D 바운딩 박스를 포함한 구조화된 공간 주석을 제공한다. UAV 단독, UGV 단독, 이중 시점 입력 설정에서 13개 대표 MLLM을 평가한 결과 일관된 병목이 드러났다. 모델은 공간 인식에서는 상대적으로 양호하나 교차 시점 정렬과 변환 집약적 추론에서 어려움을 보이며, 이러한 결함은 비전-언어 내비게이션의 순차적 의사결정으로 전파된다. 이중 시점 입력이 단일 시점 변형 대비 측정 가능한 이득을 제공하나, 인간 성능과의 지속적인 격차가 남아 있으며, 이는 현재 체현 MLLM의 핵심 한계가 기하학적 일관성임을 부각한다.

arXiv:2606.27660v1cs.CV

MVPruner: 자율주행에서 다중 뷰 비전-언어 모델 가속을 위한 동적 토큰 가지치기

MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving

비전-언어 모델(VLM)은 자율주행에서 일반화와 해석 가능성을 향상시키지만, 특히 표준 다중 뷰 설정에서 긴 시각 토큰 시퀀스로 인해 효율성 문제를 겪는다. 기존 토큰 가지치기 방법은 고정된 가지치기 비율 할당과 정적 중요도 지표를 사용하여, 뷰 간 동적 중요도 차이와 추론 중 변화하는 정보 중요도를 무시한다. 우리의 분석에 따르면, 다중 뷰 VLM은 본질적으로 더 깊은 층에서 작업 관련 뷰 사전(prior)을 인코딩하며 동적 정보 요구를 보인다. 이러한 발견에 영감을 받아, 우리는 모델의 동적 정보 요구와 가지치기 동작을 정렬하는 2단계 적응형 토큰 가지치기 방법인 MVPruner를 제안한다. 첫 번째 단계는 각 뷰의 정보 다양성에 기반하여 가지치기 예산을 할당하고, 단계 전반에 걸쳐 일관된 기여를 하는 토큰을 유지하여 의미 표현 용량을 보장한다. 두 번째 단계는 작업 정렬을 보장하기 위해 지시(instruction) 텍스트의 안내에 따라 예산을 할당하고 토큰을 선택한다. 4개 벤치마크에서의 실험 결과는 우리 방법의 우수한 성능을 보여준다. 예를 들어, MVPruner를 장착한 DriveMM은 FLOPs 87.3% 감소, prefilling 단계에서 4.97배 속도 향상을 달성하면서 DriveLM 벤치마크에서 98.5% 정확도를 유지한다.

arXiv:2606.24375v1cs.CV

MATCH: 다시점 이상 탐지를 위한 플로우 매칭

MATCH: Flow Matching for Multi-View Anomaly Detection

산업용 객체에서 이상을 탐지하는 것은 생산 효율성 향상을 위한 중요한 주제입니다. 보다 복잡한 객체는 여러 시점의 분석을 필요로 하는 경우가 많으며, 이로 인해 다시점 이상 탐지(multi-view anomaly detection) 분야가 발전하였습니다. 본 논문에서는 플로우 매칭(Flow Matching, FM)에 기반한 최초의 다시점 이상 탐지 방법인 MATCH를 제안합니다. 플로우 매칭의 ODE 공식화를 통해 가능도(likelihood)를 추정하고, 이를 바탕으로 다시점 이미지 데이터에서 객체, 이미지, 픽셀 수준의 이상을 탐지하는 이상 점수를 도출할 수 있습니다. FM 모델의 아키텍처적 유연성 덕분에 다양한 공간 크기의 특징을 정규 분포로 효율적으로 변환할 수 있습니다. 이미 확립된 Real-IAD 데이터셋에서 철저히 평가하였으며, MANTA-Tiny 데이터셋에 대해 널리 사용되는 이상 탐지 방법들의 종합적인 평가를 최초로 제공합니다. MATCH는 이상 탐지와 분할(segmentation) 모두에서 최첨단 성능을 달성하며, 일반 소비자용 하드웨어에서도 동작합니다. 가능도 추정에 필요한 비용이 큰 발산(divergence) 항을 생략함으로써 MATCH가 실시간 생산 환경에서도 활용 가능하도록 합니다. 마지막으로, 방법론적 선택의 타당성을 검증하기 위해 여러 절제 연구(ablation study)를 수행하였습니다.

arXiv:2606.19838v1cs.CV

OTCHA: 다중 뷰 의료 이미지 분류를 위한 최적 전송 기반 신뢰도 인지 잠재 허브 정렬

OTCHA: Optimal Transport-driven Confidence-aware Latent Hub Alignment for Multi-View Medical Image Classification

유방 조영술(mammography) 및 흉부 방사선 촬영(chest radiography)과 같은 다중 뷰 영상화는 임상 진료의 표준 구성 요소입니다. 그러나 의료 이미지는 종종 정렬되지 않은(unregistered) 상태이며, 진단적으로 관련된 소견을 모호하게 만들 수 있는 뷰 특이적 아티팩트(artifacts)나 관련 없는 배경 단서를 포함하고 있습니다. 많은 기존 방법들은 뷰별 표현(representation)을 직접 융합하여, 이러한 관련 없는 내용이 융합된 임베딩(embedding)을 오염시키고 다양한 뷰 구성에서의 견고성(robustness)을 저하시킵니다. 우리는 다중 뷰 분류를 위해 융합 전 패치 토큰(token)을 정제하는, 최적 전송(optimal transport, OT)을 기반으로 한 신뢰도 인지 잠재 허브 토큰 정렬 모듈인 OTCHA를 제안합니다. OTCHA는 뷰 간에 공유되는 학습 가능한 잠재 허브 토큰 세트를 도입합니다. 각 뷰에 대해 특징(feature) 유사성과 기하학(geometry)을 함께 고려하여 패치 토큰과 허브 토큰 사이의 OT 계획(OT plan)을 계산하고, 부분 일치를 가능하게 하며 관련 없는 토큰을 버리기 위해 토큰 조건부 더스트빈(token-conditional dustbins)으로 OT 공식을 보강합니다. 결과적으로 생성된 전송 계획은 토큰 수준의 일치 신뢰도를 제공하며, 이는 허브 매개 메시지 전달(message passing)을 게이팅(gating)하고 정제를 안정화하기 위해 새로운 최적 전송 기반 표현 정렬 손실(loss)에 가중치를 부여합니다. 세 가지 다중 뷰 의료 이미지 데이터셋(dataset)에 대한 실험은 다양한 해부학적 구조와 뷰 구성에 걸쳐 경쟁 기준선(baselines) 대비 일관된 개선을 입증합니다. 우리의 코드는 https://github.com/labhai/OTCHA 에서 확인할 수 있습니다.

arXiv:2606.17536v1cs.CV

OmniDrive: 다중 뷰 주행 비디오 생성을 위한 통합 잠재 공동 압축 기반 LLM 연출 다중 에이전트 월드 모델

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

자율 주행을 위한 생성형 월드 모델은 자유 형식 언어, HD 맵, 궤적, 카메라 포즈가 호환되지 않는 표현 공간에 존재하는 '이종 제어 주입(heterogeneous control injection)'과 카메라별 잠재 표현이 전역 3D 기하학을 인코딩하지 못하는 '사후 크로스 뷰 융합(post-hoc cross-view fusion)'이라는 두 가지 해결되지 않은 긴장 관계에 직면해 있습니다. 우리는 이 두 문제가 잠재 토큰 수준에서 언어, 기하학, 픽셀을 정렬하는 공유된 기호 중간 언어(symbolic interlingua)의 부재라는 단일 근본 원인에서 비롯됨을 추적했습니다. 우리는 제어 가능한 다중 뷰 비디오 생성을 잠재 안무(latent choreography)로 재정의하는 LLM 연출 다중 에이전트 월드 모델인 DRIVE-CHOREO를 제시합니다. 사용자 의도를 구조화된 WorldScript로 파싱하는 Director, 이를 공간적으로 고정된 레이아웃 토큰으로 그라운딩(grounding)하는 Cartographer, 그리고 크로스 뷰 비평을 보조 감독으로 피드백하는 Auditor 등 세 개의 Qwen2.5-VL 에이전트가 협력하여 단일 위치 인식 토큰 시퀀스를 작성합니다. 이 시퀀스는 3D VAE의 합성곱 수용장(convolutional receptive field) 내에서 카메라 간 기하학을 강제하는 뷰-시간 순열(view-time permutation)을 통해 다중 뷰 비디오와 공동 압축됩니다. nuScenes 데이터셋에서 DRIVE-CHOREO는 경쟁력 있는 FVD(45.7)를 유지하며 새로운 최첨단 다중 뷰 일관성과 BEV mAP(21.6)을 달성했습니다. 또한, 우리의 합성 데이터로만 학습된 탐지기(dector)가 실제 검증(validation) 세트에서 +2.4 NDS를 향상시켜 다운스트림 유용성을 입증했습니다.