Reasoning with shapes: profiting cognitive susceptibilities to infer linear mapping transformations between shapes
원문 초록
Visual information plays an indispensable role in our daily interactions with environment. Such information is manipulated for a wide range of purposes spanning from basic object and material perception to complex gesture interpretations. There have been novel studies in cognitive science for in-depth understanding of visual information manipulation, which lead to answer questions such as: how we infer 2D/3D motion from a sequence of 2D images? how we understand a motion from a single image frame? how we see forest avoiding trees? Leveraging on congruence, linear mapping transformation determination between a set of shapes facilitate motion perception. Present study methodizes recent discoveries of human cognitive ability for scene understanding. The proposed method processes images hierarchically, that is an iterative analysis of scene abstractions using a rapidly converging heuristic iterative method. The method hierarchically abstracts images; the abstractions are represented in polar coordinate system, and any two consecutive abstractions have incremental level of details. The method then creates a graph of approximated linear mapping transformations based on circular shift permutations of hierarchical abstractions. The graph is then traversed in best-first fashion to find best linear mapping transformation. The accuracy of the proposed method is assessed using normal, noisy, and deformed images. Additionally, the present study deduces (i) the possibility of determining optimal mapping linear transformations in logarithmic iterations with respect to the precision of results, and (ii) computational cost is independent from the resolution of input shapes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.
로봇 렌더링을 통한 로봇 요인 분리 월드 모델
Robot-Factored World Models via Robot Rendering
행동 조건부 비디오 월드 모델은 초기 관측과 행동 신호로부터 미래 관측을 예측한다. 우리는 행동 실현과 장면 반응 예측을 분리하기 위해 두 가지 로봇 특유의 요인을 월드 모델 밖으로 옮기는 로봇 분해형 월드 모델(RoFacto)을 제안한다. 첫째는 행동 실현으로, 각 명령 시퀀스를 장면 접촉 없이 로봇 자체의 제어기와 기구학을 통해 전개하여, 미래의 실현된 상태를 요구하지 않는 배포 가능한 공칭 궤적을 얻는다. 둘째는 로봇 렌더링으로, 이 공칭 궤적을 로봇 URDF를 통해 렌더링함으로써 로봇의 형상, 기구학, 외형을 모델에서 분리하여 명시적인 렌더링된 로봇 기하로 옮긴다. 쌍을 이루는 엔드 이펙터 및 장면 깊이는 접촉과 가림에 대한 기하학적 단서를 제공하며, 카메라를 고려한 정적 RGB 문맥과 렌더링된 로봇 기하는 시점과 형태를 가로지르는 공유 시각 인터페이스를 이루고, 모델은 이를 통해 장면 반응을 학습한다. 실험 결과, 렌더링 인터페이스는 벡터 조건부 기준선을 능가하고, 보지 못한 로봇 형태로의 전이를 지원하며, 리타기팅된 인간 시연으로부터 로봇 조작 비디오를 생성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.