PyTorchKR Papers

최신 논문

총 50편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15846v1cs.CV

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.13790v1cs.CV

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2604.25065v2cs.CV

ShapeY: 최근접 이웃 매칭을 통해 형상 인식 능력을 측정하는 원리적 프레임워크

ShapeY: A Principled Framework for Measuring Shape Recognition Capacity via Nearest-Neighbor Matching

인간의 객체 인식(OR)은 형상(shape) 단서와 다양한 3D 시점 전반에서 객체를 인식하는 능력에 크게 의존합니다. 인간과 달리 딥 네트워크는 질감이나 배경과 같은 비형상(non-shape) 단서에 의존하는 경우가 많아, 일반화 및 강인성 측면에서 취약성을 보입니다. 이러한 격차를 해결하기 위해, 우리는 OR 시스템의 형상 기반 인식 능력을 평가하도록 설계된 새롭고 원리적인 벤치마킹 프레임워크인 ShapeY를 도입합니다. ShapeY는 여러 시점에서 렌더링되고 선택적으로 비형상 '외형(appearance)' 변화가 적용된 200개 3D 객체의 그레이스케일 이미지 68,200장으로 구성됩니다. ShapeY는 최근접 이웃(nearest-neighbor) 매칭 태스크를 활용하여, 다양한 3D 시점 및 기타 비형상 변화 전반에서 객체 뷰들이 3D 형상 유사도에 따라 군집화되는지 평가함으로써 OR 시스템의 임베딩 공간의 세밀한 구조를 구체적으로 탐색합니다. ShapeY는 오류율 그래프, 시점 튜닝 곡선, 양성 및 음성 매칭 점수의 히스토그램, 순서화된 최적 매칭을 보여주는 그리드를 포함하는 정량적 및 정성적 성능 분석 모음을 제공하며, 이를 통해 OR 시스템의 형상 이해 능력에 대한 종합적인 평가를 제공합니다. 다양한 아키텍처를 지닌 321개의 사전학습(pre-training) 네트워크를 테스트한 결과, 강인한 형상 기반 인식을 달성하는 데 중대한 난제가 드러났습니다. 최고 수준(state-of-the-art)의 모델조차 3D 시점 및 외형 변화 전반에서 일관되게 일반화하는 데 어려움을 겪으며, 드물지만 명백히 완전히 다른 형상의 객체를 잘못 매칭하는 심각한 오류를 범하기 쉽습니다. ShapeY는 인공 비전 시스템을 인간 수준의 형상 인식 능력으로 발전시키기 위한 원리적 프레임워크를 정립하며, 얽힘이 풀린(disentangled) 불변 객체 인코딩의 중요성을 강조합니다.

arXiv:2603.21565v3cs.CV

FSCE: 노이즈 강인한 SAR ATR을 위한 타깃 인식 주파수-공간 협업 강화 프레임워크

FSCE: A Target-Aware Frequency-Spatial Collaborative Enhancement Framework for Noise-Resilient SAR ATR

합성개구레이더 자동 표적 인식(SAR ATR)은 가간섭성 스페클 노이즈(speckle noise)로 인해 심각한 어려움을 겪고 있으며, 이러한 노이즈 간섭은 계층적 비선형 변환을 거치며 점진적으로 증폭되어 궁극적으로 고수준 의미론적 표현을 손상시킬 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 초기 특징 안정화를 위한 주파수-공간 모델링과 의미론적 정규화를 통합한 노이즈 강인 SAR ATR용 타깃 인식 주파수-공간 협업 강화(FSCE) 프레임워크를 제안합니다. 구체적으로는 네트워크 초입부에 주파수-공간 초기 적응형 강화(FS-EAE) 모듈을 설계하여, 협업적 공간-주파수 모델링을 통해 노이즈 전파를 억제하고 타깃 구조를 보존합니다. 안정화된 얕은 표현을 바탕으로 적응형 정책 기반 의미론적 정렬(APSA) 메커니즘을 추가로 도입하는데, 이는 온라인 티처 정책을 사용하여 스튜던트 모델에 하향식 의미론적 제약을 부여하고 학습 중 강화된 초기 특징에 의미론적 가이드를 피드백합니다. MSTAR, OpenSARShip, FUSARShip 데이터셋에서의 실험을 통해 이러한 시너지 효과의 유효성을 입증했습니다. 나아가 단 0.17M개의 파라미터만을 갖는 경량화 구현체 $\text{FSCE-Net}_μ$의 경쟁력 있는 성능은 제안된 프레임워크가 고용량 모델과 경량 아키텍처 모두에 적용 가능함을 보여줍니다.

arXiv:2610.03031v1cs.CV

CrowdOcc: 붐비는 실내 환경의 4족 보행 로봇을 위한 단안 시맨틱 장면 완성

CrowdOcc: Monocular Semantic Scene Completion for Quadruped Robots in Crowded Indoor Environments

사람과 장면 간의 가림(occlusion)으로 인해 정적 기하학적 구조가 훼손되고 사람의 점유(occupancy) 예측이 불완전하거나 공간적으로 잘못 배치되는 실제 혼잡한 실내 환경에서, 4족 보행 로봇을 위한 단안 시맨틱 장면 완성(Semantic Scene Completion, SSC)은 여전히 충분히 연구되지 않았습니다. 본 논문에서는 이러한 환경을 위해 RGB-D 데이터셋이자 단안 SSC 프레임워크인 CrowdOcc를 제시합니다. CrowdOcc는 11개의 실내 장면에서 얻은 25.1K 프레임으로 구성되며, 정적·동적 분리를 통해 구축된 시맨틱 점유 주석을 포함합니다. 본 프레임워크는 (i) 가림에 강건한 기하학적 구조를 위해 깊이 인식 리프팅을 표면 법선(surface-normal) 단서로 보완하는 법선 유도 장면 기하학 융합(Normal Guided Scene Geometry Fusion, NGSGF), 그리고 (ii) 3D 공간에서 사람 간 및 국소적 사람-장면 간 관계를 선택적으로 모델링하는 사람 중심 희소 상호작용(Human-Centric Sparse Interaction, HCSI)을 결합합니다. 본 연구의 방법론은 장면이 분리된 CrowdOcc 테스트 세트에서 15.80 IoU, 11.40 mIoU, 46.23 Human IoU를 기록하며 최첨단 SSC 성능을 달성하여, 이전에 보지 못한 실내 장면에 대한 일반화 성능을 입증합니다.

arXiv:2609.04381v2cs.CV

스캔 유래 클래스 프로토타입은 무엇을 더하는가? 동결된 파운데이션 모델 특징 기반 인식에서 감독, 프로토타입 내용, 쿼리 프로토콜 분리하기

What Do Scan-Derived Class Prototypes Add? Disentangling Supervision, Prototype Content and Query Protocol in Recognition over Frozen Foundation Features

스캔(scan)은 레이블이 지정된 이미지와 기하학적 참조(geometric reference)를 제공한다. 우리는 스캔 유래 프로토타입 행렬(prototype matrix)이 지도학습 헤드(supervised head)의 고정 출력층 역할을 하는 인식기(recognizer)에서 이들의 기여를 분리한다. T-LESS, HOPE, 그리고 직접 수집한 18개의 산업용 부품(industrial parts)에서, 우리는 실제(real), 무작위(random), 정확히 순열된(exactly permuted) 프로토타입, 매칭된 기하 정보 없는 분류기(geometry-free classifier), 더 강력한 외형 규칙(appearance rule), 그리고 쌍을 이룬 배경 프로토콜(paired background protocol)을 테스트한다. 실제 배경 쿼리(real-background query)를 사용한 DINOv2-giant와 MetaCLIP-H 전반에서, 실제 프로토타입이 두 대조군(control) 중 어느 쪽보다도 융합 정확도(fused accuracy)에서 앞서는 최대 우위는 1퍼센트포인트이다; 더 큰 차이는 대조군에 유리하게 나타나며, 암 평균(arm mean) 기준 최대 2.8포인트에 달한다. DINOv2-giant를 사용한 HOPE에서, 헤드만 단독으로는 정확한 순열(exact permutation) 대비 2.8포인트 높다(95% 구간: 0.8-4.7); 이 우위는 융합(fusion) 단계에서는 나타나지 않으며 MetaCLIP-H에서도 관찰되지 않는다. DINOv2-giant에서, 매칭된 로지스틱 회귀(logistic regression)는 T-LESS에서 융합 성능과의 차이가 0.5포인트 이내이며, HOPE와 직접 수집한 부품에서는 융합 성능을 초과한다. 흰색 컷아웃(white cutout)과 비교했을 때, 실제 HOPE 쿼리 배경은 이미지-프로토타입 정확도(image-prototype accuracy)를 DINOv2-giant에서 43포인트, MetaCLIP-H에서 13포인트 낮춘다. 이 감사(audit)는 프로토타입 내용, 레이블 감독(label supervision), 쿼리 프로토콜을 분리한다.

arXiv:2602.12486v2cs.CV

인간의 물리적 추론의 기초가 되는 객체 표상 모델링

Modeling The Object Representations Underlying Human Physical Reasoning

인간은 물리적 현상을 추론할 때 오목한 부분을 매끄럽게 다듬은 대략적인 부피 기반의 '바디(bodies)'로 객체를 표상하는 것으로 보이며, 이는 효율적인 물리적 예측을 위해 미세한 시각적 세부 정보를 절충한 결과입니다. 그러나 이러한 표상의 구조는 여전히 거의 알려지지 않았습니다. 반면 분할(segmentation) 모델은 픽셀 단위로 정확한 마스크를 생성하도록 학습(training)되므로 이러한 바디와 잘 일치하지 않을 수 있습니다. 본 연구에서는 그럼에도 불구하고 이러한 모델들이 인간과 유사한 객체 표상을 획득하는지, 그리고 언제 획득하는지 질문을 던집니다. 각각 178명과 50명의 인간 참가자 데이터가 포함된 충돌 시간(TTC) 및 변화 감지(CD) 행동 과제를 활용하여, 분할 모델의 시각적 표상을 인간의 시각적 표상과 비교할 수 있는 파이프라인과 정렬(alignment) 지표를 제안합니다. 다양한 모델 크기와 학습 시간을 적용하여 여러 아키텍처(DINOv2, SegFormer, DeepLabV3+, UPerNet)에서 체계적으로 이를 수행합니다. 연구 결과, 짧은 시간 동안 학습된 모델은 객체를 지나치게 거칠게 분할하여 인간과의 정렬 수준이 낮았으며, 완전히 학습된 모델은 객체를 지나치게 세밀하게 분할하는 것으로 나타났습니다. 각 모델마다 인간의 행동에서 관찰되는 대략적인 바디와 가장 잘 일치하는 중간 단계의 학습 구간이 존재하며, 모델 크기가 클수록 이 구간에 더 일찍 도달하는 경향이 있습니다. 우리는 이러한 바디가 범용 비전 모델의 자원 제약 조건 하에서 창발함을 보여주며, 이는 인간 인지에 대한 자원 합리성(resource-rational) 설명에 계산적 근거를 제공합니다. 본 연구는 비전 모델과 인간 간의 정렬을 검증하기 위한 기초적인 프레임워크를 제공하며, 모델 크기와 학습 스케일링(scaling)으로 인해 인공지능의 최신 기술과 인간 인지 사이의 격차가 점차 벌어지고 있음을 보여줍니다.

arXiv:2609.23450v1cs.CV

방송 스누커 큐볼 식별을 위한 규칙 제약 할당

Rule-Constrained Assignment for Cue-Ball Identification in Broadcast Snooker

정확한 큐볼 식별은 방송 스누커의 계량(metric) 분석에 필수적이다. 기존 시스템은 고정된 흰색 프로토타입에 대해 각 후보를 독립적으로 평가하고, 외관 임계값을 초과하는 후보를 배제한다. 방송 환경에서는 조명 변화로 유색 공이 흰색처럼 보일 수 있으며, 선수와 장비의 침입이 큐볼을 가리거나 경쟁 후보를 유발할 수 있다. 우리는 큐볼 식별을 규칙 제약 할당 문제로 formulation하여, 탐지된 후보를 한정된 스누커 인벤토리—큐볼 1개, 최대 15개의 레드, 알려진 위치의 6색 공—에 공동으로 할당한다. 큐볼은 각 후보를 흰색 슬롯에 할당할 때의 증분(incremental) 비용으로 선택되며, 기존의 외관 검사는 단일 슬롯 경우에 해당한다. 수작업 주석 419샷에서 본 방법은 식별 정확도를 88.1%에서 95.5%로, 홀드아웃(hold-out) 경기장에서는 80.5%에서 95.2%로 향상시킨다. 계량 상태 복구 시스템 CueLift 내에서 할당은 6,241개의 득점 가능 샷에 대해 커버리지를 36.2%에서 55.4%로 확대한다. 2,529샷에 대한 별도 평가에서 모든 샷에 추정치를 할당해도 이 이점이 유지된다.

arXiv:2609.22897v1cs.CV

Scout: 엣지 디바이스에서의 오픈월드 종 인식

Scout: Open-World Species Recognition on the Edge

대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.

arXiv:2503.03556v3cs.CV

Afford-X: 과업 지향적 조작을 위한 일반화 가능하고 경량화된 어포던스 추론

Afford-X: Generalizable and Slim Affordance Reasoning for Task-oriented Manipulation

물리적 특성을 바탕으로 물체의 기능을 추론하는 능력인 물체 어포던스 추론(object affordance reasoning)은 인간과 인공지능(AI) 모두의 과업 지향적 계획 수립 및 활동에 필수적입니다. 과업 지향적인 방식으로 일상 활동을 계획하고 실행하는 데 필요한 이 능력은 단순한 물체 인식을 넘어 물체의 물리적 특성과 기능에 대한 상식적 지식에 의존합니다. 시각적 인지로부터 어포던스를 추론하는 기존의 계산 모델들은 일반화 능력이 부족하여 새로운 시나리오에서의 적용이 제한적입니다. 한편, 뛰어난 추론 능력을 보이는 포괄적인 대규모 언어 모델(LLM)들은 과업 지향적 조작을 위해 로컬 기기에 배포하기가 어렵습니다. 본 논문에서는 시각적 인지 기반 어포던스 추론의 일반화 능력을 향상시키기 위해 설계된 1,496개의 과업과 119,000개의 이미지로 구성된 대규모 데이터셋인 LVIS-Aff를 소개합니다. 이 데이터셋을 활용하여, 우리는 멀티모달 이해도를 개선하기 위해 동사 어텐션(Verb Attention) 및 양방향 융합(Bi-Fusion) 모듈을 통합한 엔드투엔드(end-to-end) 학습 가능한 어포던스 추론 모델인 Afford-X를 개발했습니다. 이 모델은 비(non)-LLM 방식의 기존 최고 성능 대비 최대 12.1% 향상된 성능을 달성했으며, 이전 학술대회 논문과 비교해서도 1.2% 향상된 성능을 보였습니다. 또한 187M개의 컴팩트한 매개변수 크기를 유지하며 GPT-4V API보다 약 50배 빠른 추론 속도를 제공합니다. 본 연구는 과업 지향적 조작을 위해 로컬 기기에 배포할 수 있는 효율적이고 일반화 가능한 어포던스 추론 모델의 잠재력을 입증합니다. 우리는 다양한 과업과 환경에서 로봇의 과업 지향적 조작을 가능하게 하는 Afford-X의 효과를 제시하며, 실제 응용 분야에서 로보틱스 및 AI 시스템 발전을 위한 효율성과 광범위한 시사점을 강조합니다.

arXiv:2607.23580v1cs.CV

SketchMamba: 점진적 스케치 분류와 스트로크 자동 완성을 위한 경량 상태 공간 모델

SketchMamba: A Lightweight State-Space Model for Joint Progressive Sketch Classification and Stroke Auto-Completion

기존 벡터 스케치 모델은 인식과 생성을 별개의 작업으로 취급하여, 그리는 도중 그림을 이해해야 하는 스트리밍 인터페이스를 위한 공백을 남긴다. 우리는 어떤 부분 접두 문맥에서든 스케치를 연속적으로 분류하면서 동시에 그 연속을 생성하는 단일 인과적 시퀀스 모델인 SketchMamba를 제시한다. 이를 선택적 상태 공간(state-space) 백본에 단계별 밀집 분류 손실을 적용함으로써 달성한다. Quick, Draw! 데이터셋의 58개 클래스 부분집합에서 평가한 결과, SketchMamba는 최종 단계 정확도 94.93%와 점진적 정확도 곡선 아래 면적(AUC) 0.706을 달성하며, 스트로크의 70%가 그려질 때쯤 최종 정확도의 90%에 도달한다. 동일 예산(matched-budget) 비교에서, 155만 매개변수 백본은 인과적 트랜스포머와 동률을 기록하면서 순환(recurrent) 및 합성곱(convolutional) 기준선들을 능가한다. 절제 실험(ablation)은 조기 예측 능력을 아키텍처만이 아니라 밀집 감독(dense supervision) 체계가 주도함을 확인한다. 결과는 단일 인과적 은닉 상태가 보조 인코더나 작업별 분기 없이 점진적 인식과 자기회귀(autoregressive) 생성을 통합할 수 있음을 보여준다.

arXiv:2607.24074v1cs.AI

MiSS: 포인트 클라우드 분류기를 위한 최소 충분 연합의 논리 기반 설명

MiSS: A Logic-Driven Explanation of Minimal Sufficient Coalitions for Point Cloud Classifiers

MiSS를 제안한다. MiSS는 교란 상대적 충분성 추론을 통해 3D 포인트 클라우드 분류기를 설명하는 블랙박스, 쿼리 기반 프레임워크이다. MiSS는 슈퍼포인트 분할을 해석 가능한 추상화 층으로 취급하며, 지정된 교란 분포 하에서 기하학적 영역의 최소 연합으로부터 원래 예측을 인증할 수 있는지를 묻는다. 예측기의 불리언 특징 공간 또는 화이트박스 논리 인코딩을 요구하는 가역적(abductive) 설명기와 달리, MiSS는 후보 제안과 검증을 분리한다: 가중 MaxSAT 절차는 휴리스틱 적응형 카디널리티 하한, 인증된 정확 크기 폴백, 안전하게 조여진 상한, 차단 절, 그리고 이전 오라클 평가로부터 학습된 대리 획득 휴리스틱을 사용하여 연합을 제안하고, 블랙박스 통계 오라클은 예측 쿼리로부터 충분성을 결정한다. 이 시스템은 통계적으로 검증된 충분 연합을 이진 기여도(attribution)로 반환하며, 인증된 탐색이 완료되면 최소 카디널리티가 보장된다. PointNet 및 PointMLP 분류기를 사용한 ModelNet40과 ShapeNet에서의 실험은 대부분의 설정에서 규칙 기반 베이스라인보다 더 높은 정밀도와 커버리지를 보이며, 전수 탐색보다 낮은 설명 시간을 보인다.

arXiv:2607.14514v2cs.CV

VTM-Nav: 계층적 시각-위상 메모리를 통한 객체 목표 내비게이션에서의 에피소드 간 경험 활용

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

학습 없는(training-free) ObjectNav 에이전트는 점점 더 비전-언어 모델(VLM)을 사용하지만, 일반적으로 각 요청 후 획득한 장면 지식을 버립니다. 우리는 에피소드 간 ObjectNav를 연구하며, 여기서 각 요청은 독립적으로 초기화된 단일 목표 에피소드이고 에피소드 간에 유지되는 것은 자체적으로 획득한 장면 범위 메모리뿐입니다. 고정된 모델 파라미터와 내비게이션 구성 요소를 가진 에이전트가 재학습이나 오라클 정보 없이 이러한 경험을 재사용할 수 있는지 묻습니다. 우리는 지속적인 계층적 시각-위상 메모리(Hierarchical Visual-Topological Memory, VTM)를 갖춘 학습 없는 프레임워크인 VTM-Nav를 제안합니다. VTM은 거친 방 위상 구조를 사용하여 방별 시각 메모리를 색인하고, 방 내부와 원격 가시 증거를 구분하며, 성공적인 접근 단서를 유지합니다. 각 요청에 대해 VTM-Nav는 누적된 장면 구조에서 에이전트를 재위치시키고, 그럴듯한 방에서 목표 관련 기록을 검색하며, 현재 관측에서 도출된 후보에 메모리 안내를 그라운딩(grounding)합니다. 보수적인 실행 가드(execution guard)는 추가로 국소적 실패를 처리합니다. 일치하는 40스텝 비교에서 VTM-Nav는 HM3D v0.1, HM3D v0.2, MP3D에서 각각 메모리 리셋 WMNav 대조군보다 SR 4.6, 2.0, 0.8 포인트 높으며, SPL은 유사하거나 더 높습니다. HM3D에서는 텍스트 메모리를 활용한 WMNav보다 SR 3.1 및 5.5 포인트 높기도 합니다. 이 결과는 계층적 시각-위상 메모리를 통한 에피소드 간 장면 경험의 효과적인 재사용을 보여줍니다.

arXiv:2607.21155v1cs.CV

CRAG-MM-Diagnostics: 지식 집약형 VQA의 단계별 분석 지원

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

지식 집약형 시각 질의응답(KI-VQA) 벤치마크는 제공된 이미지를 넘어서는 외부 정보를 요구하여 질문에 답함으로써, 비전-언어 모델(VLM)을 멀티모달 지식 어시스턴트로 평가한다. KI-VQA는 지시 표현(referring expression) 이해, 시각적 그라운딩(visual grounding), 객체 인식, 지식 검색, 추론 등 여러 하위 문제를 포함하지만, 기존 벤치마크는 일반적으로 최종 과제 정확도만 보고하여 실패가 어디에서 발생하는지를 가리는 경우가 많다. 전체 KI-VQA 파이프라인을 분석하기 위해, 우리는 1) 언어 기반 시각적 그라운딩, 2) 객체 식별, 3) 지식 검색 및 추론을 분리하는 단계별 데이터 어노테이션이 포함된 진단 벤치마크인 CRAG-MM-Diagnostics를 제안한다. 우리는 완전 파라미터형 및 검색-증강 VLM을 평가하고, 대상 ROI, 개체 이름, 시각적 복잡도 점수 등 새로 수집한 메타데이터를 활용하여 세밀한 분석을 제공한다. 우리의 결과는 지식 검색 및 추론이 주요 병목임을 시사하지만, VLM이 대상 객체 식별에 어려움을 겪거나 이미지 검색기가 텍스트 단서를 통합하는 데 어려움을 겪는 등 KI-VQA 파이프라인의 다른 부분에서도 문제가 있음을 강조한다. 이러한 발견은 현재 KI-VQA 시스템의 근본적 한계를 드러내고 단계 인식 평가(stage-aware evaluation)의 필요성을 촉진한다. 마지막으로, 우리는 이러한 발견을 활용하여 이미지 검색 전에 시각적 그라운딩 모듈을 통합해 대상을 크롭하는 그라운딩 기반 이미지-텍스트 RAG 파이프라인을 제안하며, GPT-5와 Qwen의 정확도를 각각 13.3 및 8.5 퍼센트포인트 향상시킨다.

arXiv:2607.19767v1cs.AI

에이전트 기반 인식 및 생성을 통한 전자 부품 심볼·풋프린트 데이터베이스

Symbol and Footprint Database for Electronic Components by Agentic Recognition and Generation

풍부하고 식별 가능한 부품 라이브러리는 인쇄 회로 기판(PCB) 설계 및 생성의 초석이다. 전통적으로 엔지니어들은 심볼과 풋프린트를 수동으로 생성하고 PCB 회로도를 설계하는데, 이는 시간이 많이 소요되고 오류가 발생하기 쉽다. 다중모달 대규모 언어 모델(MLLM)을 활용하여, 우리는 전자 부품의 심볼 및 풋프린트에 대한 에이전트 기반 인식 및 생성 플로우인 SFgen을 개발한다. SFgen은 심볼 생성에서 86%의 정확도, 풋프린트 생성에서 80%의 정확도를 달성한다. 우리는 SFgen 방법을 사용하여 심볼과 풋프린트 데이터베이스인 SFnet을 구축한다. SFnet은 현재 1000개의 부품을 포함하고 있으며 지속적으로 확장 중이며, 이는 PCB 설계의 자동 생성을 위한 기반을 마련한다.

arXiv:2607.19711v1cs.CV

강건한 포인트 클라우드 분류를 위한 포인트 선택 미세조정 프레임워크

Point-Selection Fine-Tuning Framework for Robust Point Cloud Classification

노이즈가 있거나 손상된 포인트는 포인트 클라우드 인식 성능을 크게 저하시킬 수 있으며, 특히 까다로운 손상 설정에서 두드러진다. 특히 3D 사전학습 모델의 전체 미세조정은 이상치의 영향을 증폭하고 사전학습 중 학습된 강건성 사전 지식을 덮어쓸 수 있으며, 단순한 매개변수 효율적 적응은 손상된 토큰에 여전히 민감하다. 이 문제를 해결하기 위해, 우리는 강건성을 향상하면서 매개변수 효율성을 유지하는 포인트 선택 미세조정 프레임워크인 PSFT를 제안한다. PSFT는 먼저 풀링 전 특징으로부터 포인트별 영향력을 추정하고, 이상치를 억제하기 위해 영향력이 최소인 포인트를 적응적으로 유지한다. 선택된 부분집합을 기반으로 프롬프트 생성 분기는 층별 프롬프트 토큰을 예측하고 이를 고정된 백본에 주입하여 경량 하류 적응을 수행한다. 선택 이후 잔존 노이즈를 더 완화하기 위해, 예측 전 패치-토큰 표현을 정제하기 위해 병목 MLP 변환과 Beta 게이트 잔차 블렌딩을 갖춘 경량 특징 필터를 추가한다. 광범위한 실험 결과 PSFT는 테스트된 모든 3D 사전학습 백본에서 ModelNet-C 및 ModelNet40-C의 손상 오류를 일관되게 감소시키며, 평가된 튜닝 전략 중 ULIP-2와 Uni3D-B로 ScanObjectNN-C에서 최고 성능을 달성한다. 구현은 https://github.com/CVChMA/PSFT/tree/master 에서 확인할 수 있다.

arXiv:2603.15403v2cs.CV

포인팅 기반 객체 인식

Pointing-Based Object Recognition

이 논문은 RGB 이미지를 사용하여 사람의 포인팅 제스처로 지목된 객체를 인식하기 위한 포괄적인 파이프라인을 제시한다. 휴먼-로봇 상호작용이 더 직관적인 인터페이스를 향해 발전함에 따라, 비언어적 의사소통의 대상을 식별하는 능력이 중요해진다. 제안하는 시스템은 객체 검출, 신체 자세 추정, 단안 깊이 추정, 비전-언어 모델을 포함한 여러 기존 최첨단 방법들을 통합한다. 단일 이미지에서 재구성된 3D 공간 정보의 영향과 분류 오류를 수정하는 데 있어 이미지 캡셔닝 모델의 유용성을 평가한다. 맞춤형 데이터셋에 대한 실험 결과, 깊이 정보를 통합하면 특히 겹치는 객체가 있는 복잡한 장면에서 대상 식별이 크게 향상됨을 보여준다. 이 접근법의 모듈성 덕분에 전용 깊이 센서를 사용할 수 없는 환경에서도 배포할 수 있다.

arXiv:2607.13830v2cs.RO

재귀 ArUco 마커: 무인항공기 착륙 패드를 위한 확장 가능한 피듀셜 마커 설계

Recursive ArUco Markers: A Scalable Fiducial Marker Design for Unmanned Aerial Vehicle Landing Pads

무인항공기(UAV)는 자율 항법 및 정밀 착륙을 위해 시각적 피듀셜 마커(fiducial marker)에 점점 더 의존하고 있다. 그러나 표준 마커는 운용 거리가 제한적이라, 카메라가 너무 멀거나 너무 가까울 때 탐지되지 않는다. 재귀 및 프랙탈(fractal) 마커가 이 문제를 해결하기 위해 제안되었지만, 기존 접근법은 마커의 중심이 계속 보여야 하여 가려짐(occlusion)에 취약하거나, 재귀 깊이와 배치에 제한이 있다. 우리는 새로운 재귀 ArUco 마커 설계를 제안한다. 우리 방법은 임의의 깊이를 갖는 재귀 마커로 어떤 표준 피듀셜 마커든 변환할 수 있게 한다. 탐지 시 수정된 비트 샘플링(bit-sampling) 전략을 사용하여, 부모 마커의 검은색과 흰색 비트 모두에 완전한 마커를 내장한다. 이 접근법은 마커의 중심이 보이는 것에 의존하지 않으므로, 부분적 가림이 있어도 무제한 재귀 깊이와 견고한 탐지를 보장한다. 또한 모든 재귀 스케일에서 단일 고유 식별자를 유지함으로써, 본 제안은 다수의 고유 착륙 패드를 포괄하는 광범위한 사전(dictionary)을 제공한다. 이 기능은 각 드론이 지정된 위치에 착륙하면서 UAV 무리가 동시에 운용되도록 하며, 이는 구조적 및 사전 제약으로 인해 기존 Fractal 및 Harco 마커가 지원하지 않는 기능이다.

arXiv:2607.14419v1cs.LG

HyperShadow: 고차원 공간 객체의 3D 투영 탐지 벤치마크

HyperShadow: A Benchmark for Detecting 3D Projections of Higher-Dimensional Spatial Objects

머신러닝에서 "4D"로 표기된 데이터셋은 보편적으로 세 개의 공간 차원과 시간을 의미한다. 우리는 HyperShadow를 제안한다. 이는 네 번째, 다섯 번째, 여섯 번째 차원이 공간 차원인 최초의 공개 벤치마크로, 3D 포인트 클라우드가 원래의 3차원 형상인지, 아니면 R^N(N = 4-6)에 존재하는 강체 객체의 투영, 즉 "그림자(shadow)"인지를 판별하는 과제를 다룬다. 이 과제가 고유 차원(intrinsic-dimension) 추정과 근본적으로 다름을 보인다. 그림자는 여전히 최대 3차원 데이터이며, 표준 추정기(TwoNN, Levina-Bickel MLE)는 71-73%의 정확도에 그친다. 대신 탐지에는 투영 시그니처, 밀도 접힘(density folds), 특징적인 방사형 프로파일을 갖는 채워진 부피, 위상 변화가 필요하며, 190k-매개변수 포인트 네트워크가 네 가지 손상(corruption) 등급에서 96.6% 정확도로 이를 회복하고, 학습에서 한 번도 보지 못한 객체 패밀리에 대해 79-91%로 일반화한다. 강체로 회전하는 객체의 시간적(temporal) 트랙에서, 우리는 매개변수 없는 강체성 증인(rigidity witness)을 도입한다. 이는 연속 프레임 간 최적 강체 3D 정렬(Kabsch)의 잔차(residual)로, 어떤 강체 3D 운동에 대해서도 0이 되어야 하지만 R^N에서의 강체 회전 그림자에 대해서는 0이 될 수 없다. 이 단일 해석 가능한 통계량은 AUROC 0.982로 클래스를 분리한다. 모든 데이터는 시드(seed)로부터 재현 가능하게 생성되며, 데이터셋, 모델, 코드는 공개적으로 배포된다. HyperShadow는 물리적 현실에 대한 주장을 하지 않으며, 순수하게 3차원적 설명과 양립할 수 없음을 어떤 관측 가능 통계가 증명할 수 있는지 연구하기 위한 통제된 도구이다.

arXiv:2607.13624v1cs.RO

언어에서 내비게이션 목표로: RGB-D 인식을 이용한 이동 로봇 의미 내비게이션을 위한 비전-언어 접근법

From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception

자연어 상호작용은 비전문 사용자가 로봇 플랫폼과 소통하는 직관적인 방법을 제공한다. 그러나 사용자 요청을 실행 가능한 내비게이션 동작으로 변환하는 것은 여전히 어려운 과제이며, 언어 이해, 환경 인식, 자율 내비게이션의 통합을 필요로 한다. 본 연구는 자연어로 사용자 요청을 해석하여 로봇을 목적지로 이동시키고 자율적으로 해당 목적지까지 내비게이션할 수 있게 하는 언어 기반 내비게이션 프레임워크를 제시한다. 이 프레임워크는 자연어 지시를 내비게이션 동작으로 변환하기 위해 협력하는 모듈형 ROS 2 구성 요소로 이루어져 있다. 환경 내 목표를 지칭하는 자연어 요청(예: "go to the mail box")이 주어지면, 시스템은 참조된 객체를 식별하고 RGB-D 데이터를 사용하여 그 위치를 추정한 뒤 내비게이션 목표를 생성하며, 이는 ROS 2 Nav2 내비게이션 스택을 통해 실행된다. ROS 2 기반 구현은 해당 토픽과 서비스의 설정만으로 다양한 로봇 플랫폼에 이식성을 제공한다. 시스템은 TurtleBot3 Waffle과 RealSense 카메라를 탑재한 Unitree Go2 로봇을 사용하여 시뮬레이션과 실제 환경 시나리오 모두에서 평가된다. 실험 결과, 프레임워크가 직접 명령과 문맥적 요청을 모두 성공적으로 해석하고, 의미 있는 자연어 피드백을 생성하며, 원하는 목표로 내비게이션함을 보여준다. 이러한 결과는 의미 인식과 자율 내비게이션을 결합하여 직관적인 인간-로봇 상호작용 패러다임을 제공하는 것의 실현 가능성을 입증한다. 코드는 논문 채택 시 오픈 소스로 공개될 예정이다.