PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13361v3cs.CV

검출기 신뢰도는 복잡한 조작 환경에서 가림이 아닌 존재를 신호한다

Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

Detector confidence is often used to decide whether a robot needs another view of a target. We test this signal against detector-free visibility from geometry segmentation. In controlled clutter, Grounding DINO confidence remains nearly constant as target visibility falls from all scenes to one in eight. OWLv2 and SAM 3 retain positive correlations with visibility, but all three detectors lose target-instance localization under heavy occlusion. Grounding DINO reports a hidden target present in about nine of ten scenes by detecting same-category distractors. Consequently, confidence understates the benefit of additional views ($8$ versus $88$ percentage points). In a $40$-scene localization comparison, additional-view selection and fusion increase target localizability from $5\%$ to $100\%$. Experiments cover nine categories, two simulators, and real video. On DAVIS, confidence correlates positively with visible area, yet $99\%$ of occluded frames yield a detection and $94\%$ of those detections miss the tracked target. These results distinguish category presence from target visibility and motivate target-grounded evaluation of active perception.

arXiv:2605.30557v2cs.CV

보는 것이 아는 것은 아니다: 비전-언어 모델은 언제 공간적 질문에 답하지 말아야 하는지(그리고 그 이유는 무엇인지) 알고 있는가?

Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)?

공간 추론 벤치마크는 일반적으로 비전-언어 모델(VLM)이 시각적 관측으로부터 정답을 도출할 수 있는지를 평가합니다. 그러나 실제 3D 환경에서는 관측 자체가 신뢰할 수 없을 수 있습니다. 가림(occlusion)은 태스크 관련 증거를 없앨 수 있으며, 원근법적 시점(perspective)은 보이는 기하학적 구조를 오도할 수 있습니다. 따라서 신뢰할 수 있는 공간 추론을 위해서는 질문에 올바르게 답하는 것 이상이 요구됩니다. 모델은 또한 현재의 관측이 해당 답변에 대해 충분하고 신뢰할 수 있는 증거를 제공하는지 평가해야 합니다. 본 연구에서는 시점에 따른 관측 불확실성을 연구하기 위한 통제된 평가 프레임워크인 SPATIALUNCERTAIN을 소개합니다. 우리는 상호 보완적인 두 가지 실패 모드, 즉 가림으로 인해 발생하는 증거 누락과 시점으로 인해 발생하는 오도적 증거를 연구합니다. 나아가 모델이 현재의 시점이 신뢰할 수 없는 시점임을 인식하고 더 많은 정보를 제공하는 관측을 식별할 수 있는지 평가합니다. 8개의 오픈소스 및 상용 비전-언어 모델에 걸쳐 분석한 결과, 모델의 동작이 시각적 증거의 신뢰성을 따르지 않음을 발견했습니다. 모델은 증거가 사라짐에 따라 안정적으로 더 신중해지지 않으며, 시점 충돌 상황에서 모델의 판단은 변하지 않는 물리적 3D 관계 대신 투영된 외형을 점차 더 따르게 됩니다. 내부 분석은 이에 상응하는 표현 비대칭성을 시사합니다. 즉, 투영된 2D 관계는 쉽게 활용 가능한 반면 기저의 물리적 3D 관계는 거의 디코딩되지 않습니다. 더욱이 명시적으로 요청받았을 때 유익한 시점을 식별할 수 있는 모델조차도 언제 그러한 추가 시점이 필요한지 인식하는 데는 자주 실패합니다. 이러한 실패는 프롬프트나 미세조정으로 완전히 해결되지 않으며, 동일한 오도적 관측에 깊이 정보를 추가하는 것보다 더 나은 시점을 제공하는 것이 실질적으로 훨씬 더 효과적입니다. 우리의 결과는 시각적 관측의 신뢰성을 평가하는 것이 현재 공간 추론 평가에서 뚜렷이 구별되는 누락된 구성 요소임을 보여줍니다.

arXiv:2609.22706v1cs.CV

DOA-SORT: 분포적 관측을 활용한 방향성 가림 인지 다중 객체 추적

DOA-SORT: Directional Occlusion-Aware Multi-Object Tracking with Distributional Observations

다중 객체 추적(MOT)에서 객체 식별 연관(identity association)은 부분적 가림(partial occlusion), 잘린 탐지(truncated detection), 변동하는 신뢰도 점수에 취약합니다. 기존의 모션 위주 트래커들은 흔히 가림을 스칼라 페널티로 표현합니다. 이러한 방식은 가림으로 인해 발생하는 방향성 관측 바이어스(bias)를 놓치게 됩니다. 즉, 좌, 우, 상, 하 가림은 탐지된 객체의 위치와 형태를 서로 다른 방식으로 왜곡합니다. 본 논문에서는 이러한 바이어스를 명시적으로 모델링하는 온라인 기반의 무학습(training-free) 트래커인 DOA-SORT(Directional Occlusion-Aware SORT)를 제안합니다. 먼저, 바운딩 박스 중첩과 상대적인 하단 위치로부터 소프트한 앞뒤 순서를 추론하고 방향별 가림 범위 및 깊이를 추정합니다. 그런 다음 깨끗한 관측 요소 하나와 네 가지 방향성 가림 관측 요소의 혼합을 구성합니다. 해당 모델은 박스 중심, 면적, 신뢰도, 종횡비로 구성된 5차원 관측을 사용하며, 예측된 가림과 탐지 신뢰도에 맞춰 관측 노이즈를 적응시킵니다. 이 방향성 혼합 가능도(likelihood)는 높은 신뢰도 연관, 낮은 신뢰도 연관, 트랙 복구에 사용되며, 모호성 페널티와 국소 순서 일관성 교환(local order-consistency swap)을 통해 인접한 객체 간의 식별 오류를 더욱 줄입니다. DanceTrack 검증(validation) 분할에서 DOA-SORT는 동일한 탐지기 및 평가 프로토콜을 사용한 OA-SORT 대비 HOTA를 63.00에서 66.34로, AssA를 45.10에서 49.57로, IDF1을 62.19에서 65.28로 향상시켰습니다. 탐지 정확도는 안정적으로 유지되는 반면 성능 향상은 연관 품질에 집중되었습니다. MOT17 및 MOT20 학습(train) 분할에 대한 추가적인 국소 평가는 동일한 no-ReID 추적 프로토콜 하에서 데이터셋 간 동작 특성을 보여줍니다.