PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.07704v2cs.CV

PARSE: 부분 인식 관계형 공간 모델링

PARSE: Part-Aware Relational Spatial Modeling

객체 간 관계는 공간 지능의 근간을 이루지만, 기존 표현 방식인 언어적 전치사나 객체 수준 장면 그래프는 어떤 영역이 실제로 서로를 지지하거나, 포함하거나, 접촉하는지를 구체적으로 명시하기에는 너무 조잡하여, 모호하고 물리적으로 일관성 없는 레이아웃을 초래한다. 이러한 모호성을 해소하기 위해서는 부분 수준의 정형화가 필요하며, 이에 우리는 PARSE를 소개한다. PARSE는 객체 부분들이 상호작용하여 실현 가능하고 공간적으로 근거 있는 장면 구성을 결정하는 방식을 명시적으로 모델링하는 프레임워크이다. PARSE는 특정 객체 부분들 간의 기하학적 관계를 인코딩하는 부분 중심 조립 그래프(PAG, Part-centric Assembly Graph)와, 이 관계를 기하학적 제약으로 변환하여 충돌 없는 물리적으로 유효한 장면을 조립하는 부분 인식 공간 구성 솔버(Part-Aware Spatial Configuration Solver)를 핵심으로 한다. PARSE를 활용하여 우리는 PARSE-10K를 구축하였다. 이는 실제 이미지 레이아웃 사전 정보와 정제된 부분 주석 형상 데이터베이스로부터 구성된 10,000개의 3D 실내 장면으로 이루어진 데이터셋으로, 각 장면은 밀집 접촉 구조와 부분 수준 접촉 그래프를 포함한다. 이처럼 구조화된 공간 기반 지도(supervision) 하에 PARSE-10K로 Qwen3-VL을 미세조정하면 더욱 향상된 객체 수준 레이아웃 추론과 더 정확한 부분 수준 관계 이해를 달성한다. 나아가, PAG를 3D 생성 모델의 구조적 사전 정보로 활용하면 물리적 사실성과 구조적 복잡성이 크게 향상된 장면이 생성된다. 이러한 결과들은 PARSE가 기하학 기반 공간 추론을 크게 발전시키고 물리적으로 일관된 3D 장면의 생성을 지원함을 보여준다.

arXiv:2511.06080v4cs.CV

AIDEN: 시각장애인을 위한 AI 어시스턴트 설계 및 파일럿 연구

AIDEN: Design and Pilot Study of an AI Assistant for the Visually Impaired

이 논문은 AIDEN을 소개한다. AIDEN은 객체 식별, 텍스트 읽기, 낯선 환경에서의 내비게이션에 어려움을 겪는 시각장애인의 자율성과 일상적인 삶의 질을 향상시키기 위해 설계된 인공지능 기반 어시스턴트이다. 스크린 리더나 오디오 기반 어시스턴트와 같은 기존 솔루션은 정보 접근을 용이하게 하지만, 청각적 과부하를 자주 유발하고 개방된 환경에서 프라이버시 우려를 야기한다. AIDEN은 실시간 객체 검출을 위한 YOLO(You Only Look Once)와 장면 설명 및 광학 문자 인식(OCR)을 위한 대형 언어-비전 어시스턴트(LLaVA)를 통합한 하이브리드 아키텍처로 이러한 한계를 해결한다. 시스템의 핵심적인 새로운 기능은 가이거 계수기 은유에 기반한 연속적인 햅틱 안내 메커니즘으로, 청각 채널을 점유하지 않고 객체 중심화를 지원하며, 개인 데이터가 저장되지 않도록 보장함으로써 프라이버시를 보호한다. 시각장애인 참가자를 대상으로 한 실증적 평가에서는 기술 수용 모델(TAM)을 사용하여 인지된 사용 편의성과 수용도를 평가하였다. 결과는 특히 직관성과 인지된 자율성 측면에서 높은 사용자 만족도를 나타낸다. 또한 '객체 찾기' 기능은 효과적인 실시간 성능을 달성하였다. 이러한 결과는 멀티모달 햅틱-시각 피드백이 전통적인 오디오 중심 방법에 비해 일상적인 사용성과 독립성을 향상시킬 수 있다는 유망한 증거를 제공하며, 더 대규모의 임상 검증을 촉진한다.

arXiv:2510.11014v2cs.RO

MatterDoor: 생성 모델을 활용한 제로샷 공간-의미 사전 샘플링

MatterDoor: Sampling Zero-shot Spatio-semantic Priors using Generative Models

자율 로봇은 종종 출입문을 통해 방을 부분적으로만 관찰하는데, 이때 벽과 장면 구조가 안전한 내비게이션과 목표 지향적 행동에 필요한 기하학적 정보와 작업 관련 의미 정보를 가린다. 본 연구에서는 기성 사전학습된 생성적 비전 모델이 로봇 추론을 위한 제로샷 오프라인 사전(prior)으로서 이러한 누락된 구조를 도출할 수 있는지 탐구한다. 이러한 사전은 관찰되지 않은 구조에 대한 공간-의미 쿼리를 지원해야 하며, 숨겨진 영역에서 목표 객체의 가능도(likelihood)와 해당 영역이 점유될 확률을 추정해야 한다. 자기중심적 RGB 관측값과 목표 쿼리가 주어지면, 본 파이프라인은 VLM 기반 아웃페인팅(outpainting), 단안 깊이 추정, 의미론적 분할(semantic segmentation)을 활용하여 숨겨진 방의 의미 레이블이 부착된 3D 포인트 클라우드 가설을 샘플링한다. 우리는 Matterport3D에서 파생된 출입문 차폐 실내 장면 벤치마크인 MatterDoor를 소개하고, 생성적 메트릭과 시뮬레이션된 Stretch 로봇의 객체 도달 과제를 통해 도출된 사전을 평가한다. 실험 결과, 문제별 미세조정(fine-tuning) 없이도 계획 수립에 유용한 공간-의미 사전을 도출할 수 있음을 시사한다.

arXiv:2606.07244v1cs.RO

웨이포인트를 넘어서: 비전-언어 내비게이션을 위한 궤적 중심 웨이포인팅 패러다임

Beyond Waypoints: A Trajectory-Centric Waypointing Paradigm for Vision-Language Navigation

연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 실제 환경과 유사한 공간에서 자연어 지시를 따라 탐색하도록 요구한다. 대부분의 VLN-CE 접근법은 3단계 프레임워크를 채택한다: 웨이포인트 예측기가 이동 가능한 웨이포인트를 제안하고, 내비게이터가 최적 웨이포인트를 선택하며, 저수준 컨트롤러가 해당 웨이포인트로의 이동을 실행한다. 그러나 이러한 분리된 패러다임은 도달 불가능한 웨이포인트를 생성하거나 계획과 제어 간의 불일치를 초래하는 경우가 많다. 본 연구에서는 고립된 웨이포인트를 예측하는 대신, 각 후보 웨이포인트를 실행 가능한 궤적에 기반하는 궤적 웨이포인트(Trajectory Waypoint)라는 새로운 패러다임을 제안한다. 이를 실현하기 위해, TSDF 기반 확산 정책(diffusion policy)으로 정식화된 궤적 웨이포인트 예측기를 설계하였으며, 이는 궤적 생성 시 장애물을 회피하도록 유도함으로써 예측된 웨이포인트의 도달 가능성을 본질적으로 보장한다. 나아가, 관련 궤적을 계획의 추가 정보로 주입하는 궤적 강화 내비게이터를 제안하여 고수준 의미론적 결정과 저수준 실행 간의 엄격한 일관성을 가능하게 한다. VLN-CE 벤치마크에 대한 광범위한 실험 결과, 궤적 웨이포인트 패러다임이 기준 모델 대비 우수한 성능을 달성함을 보인다.

arXiv:2606.07117v1cs.CV

Native3D: 통합 메시-텍스처 모델링 및 의미론적 정렬을 통한 엔드투엔드 3D 장면 생성

Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment

본 논문은 2D 중간 표현을 완전히 우회하는 최초의 엔드투엔드 3D 장면 생성 프레임워크인 Native3D를 제시한다. 기존 접근법은 일반적으로 사전학습된 확산 모델(diffusion model)을 활용하기 위해 3D 표현을 2D 도메인에 적응시켜야 하며, 이는 기하학적 구조 왜곡과 텍스처 세부 품질 저하를 포함한 도메인 적응 문제를 필연적으로 초래한다. 이러한 한계를 해결하기 위해, 우리는 트랜스포머 기반 장면 인코더를 통해 기하학적 구조와 텍스처 특징을 동시에 모델링하는 통합 메시-텍스처 결합 표현을 설계하여, 장면 내 객체들 간의 공간적 관계와 시각적 일관성을 효과적으로 유지한다. 나아가, 잠재 공간(latent space)에서 다단계 의미론적 표현을 정렬하기 위해 개선된 대조 학습(contrastive learning) 메커니즘을 적용하는 3D 표현 정렬 손실(3D REPA Loss)을 제안하여, 기하학적 및 텍스처 충실도를 크게 향상시킨다. 실험 결과, Native3D는 생성 품질과 편집 유연성 모두에서 기존 방법을 능가하며, 3D 장면 편집을 위한 새로운 해법을 제공함을 입증한다.

arXiv:2606.06761v1cs.RO

AxisGuide: RGB 관측에서 로봇 행동 좌표계를 그라운딩하여 강건한 비주모터 조작 실현

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

대규모 행동 복제(behavior cloning)를 통해 학습된 비주모터(visuomotor) 조작 정책은 강력한 의미론적 장면 이해 능력을 달성했지만, 분포 변화 하에서 올바른 저수준 행동을 안정적으로 실행하는 데 자주 실패한다. 예를 들어, 동일한 장면 배치, 카메라 시점, 조명 조건의 단순한 물체 집기 작업에서도 물체가 학습 시 보지 못한 위치에 놓이면 성능이 크게 저하될 수 있다. 우리는 이러한 격차가 불충분한 행동 이해, 즉 이미지 공간에서 로봇의 베이스 프레임 행동 좌표계를 해석하는 능력의 부재에서 비롯된다고 주장한다. 이 문제를 해결하기 위해, 우리는 의미론적 장면 이해와 행동 좌표 해석을 연결하는 경량 가이던스 방법인 AxisGuide를 제안한다. AxisGuide는 카메라 파라미터와 엔드이펙터 포즈를 활용하여 각 카메라 뷰에 로봇 베이스 프레임 축을 렌더링하고, 이미지 공간에서 +x, +y, +z 방향 움직임의 의미를 명시적으로 시각화하는 소수의 큐 채널로 RGB 관측을 보강한다. LIBERO 시뮬레이션과 실제 환경 모두에서 수행된 광범위한 평가를 통해 AxisGuide가 상당한 성능 향상과 향상된 일반화를 달성함을 입증하며, 이는 신뢰할 수 있고 전이 가능한 범용 비주모터 정책 학습에 있어 명시적 행동 좌표 큐의 효과를 부각시킨다.

arXiv:2606.06721v1cs.RO

SCOUT: 불확실성 기반 순회를 통한 시맨틱 장면 커버리지

SCOUT: Semantic scene COverage via Uncertainty-guided Traversal

장기간 운용되는 로봇은 단순히 공간을 방문하는 데 그치지 않고, 점진적으로 공간을 이해해야 한다. 그러나 대부분의 3D 장면 그래프 파이프라인은 고정된 데이터셋에 대한 후처리 단계로 인식을 다루며, 장면 표현을 애초에 무엇을 관찰할지 결정하는 의사 결정과 분리시킨다. 우리는 SCOUT를 제안한다. SCOUT는 능동적 순회와 확률적 장면 그래프 구성을 결합하여 이 루프를 닫는 온라인 시맨틱 탐험 프레임워크이다. 사전 2D 점유 지도와 포즈가 부여된 RGB-D 관측이 주어지면, SCOUT는 불확실성을 인식하는 3D 장면 그래프를 점진적으로 구축한다. 각 노드는 융합된 기하 정보와 오픈-보캐뷸러리 객체 레이블에 대한 사후 믿음(posterior belief)을 유지하며, 엣지는 on, inside, belong, next to와 같은 구조적 관계를 인코딩한다. 이 믿음들은 불확실성 기반 순회 플래너에 피드백되며, 플래너는 기대되는 시맨틱 확실성 획득, 기하학적 커버리지 획득, 이동 비용의 균형을 맞추어 시점을 선택한다. 이를 통해 로봇은 추가적인 증거가 중요할 때 모호한 객체를 재방문하고, 장면이 불완전할 때 미탐험 자유 공간으로 확장한다. 결과 시스템은 시맨틱 장면 완전성을 시맨틱 매핑의 수동적 부산물이 아닌 운용 목표로 다루며, 최소한의 인간 개입으로 변화하는 실내 환경을 순찰하고, 갱신하고, 추론할 수 있는 자율 에이전트를 향해 나아간다.