PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.01989v4cs.CV

정지 상태의 어텐션은 계속 정지해 있다: 관계 환각 완화를 위한 시각적 관성 깨기

Attention at Rest Stays at Rest: Breaking Visual Inertia to Mitigate Relation Hallucinations

멀티모달 대규모 언어 모델(MLLM)은 강력한 개체 수준의 인지 능력을 보여주지만, 객체 간의 관계적 상호작용을 충실하게 그라운딩(grounding)하는 것은 여전히 지속적인 과제로 남아 있습니다. 기존의 시각적 그라운딩 기법들은 시각적 어텐션(attention)을 증폭하여 환각(hallucination)을 해결하려 시도하지만, 전반적인 시각 신호를 강화하는 것만으로는 관계 오류를 안정적으로 바로잡지 못합니다. 관계 설명에서 시각적 어텐션을 추적한 결과, 올바른 응답은 여러 영역에 걸쳐 초점을 동적으로 전환하는 경향이 있는 반면, 환각이 발생한 응답은 이전에 지배적이었던 근거에 계속 머무르는 바람직하지 않은 \textit{시각적 관성(visual inertia)}을 보이는 것으로 나타났습니다. 추가 분석에 따르면 이전 단계의 시각적 어텐션이 현재 디코딩 단계로 더 많이 전달될수록 관계 예측 성능이 지속적으로 저하됩니다. 이에 따라 저자들은 토큰(token) 수준의 어텐션 이력을 활용하여 시각적 값을 동적으로 재보정하는 MLLM 디코딩 기법인 Inertia-aware Visual Excitation(IVE)을 제안합니다. IVE는 현재 어텐션을 최근 이동 평균과 대조함으로써 관련성이 높아지는 창발적 토큰과 지속적으로 지배적인 관성 토큰을 분리하고, 반복적으로 참조된 영역의 기여도를 완만하게 감쇠시키는 동시에 새로 필요한 근거를 선택적으로 강화합니다. 세 가지 MLLM 및 디코딩 전략 전반에서, IVE는 더 넓은 멀티모달 성능을 보존하면서 관계 환각을 줄입니다.

arXiv:2607.15227v1cs.CV

예술 감상에서의 이질적 시선 패턴: 자폐 개인, 예술가, 신경전형적 관찰자 집단 간 어텐션의 공간·시간적 특징

Divergent Gaze Patterns in Artistic Viewing: Spatial and Temporal Signatures of Attention Across Autistic Individuals, Artists, and Neurotypical Observers

서로 다른 집단이 작품을 시각적으로 어떻게 탐험하는지는 인지과학과 접근성 설계와 밀접한 관련이 있다. 그러나 자폐 관련 안구 추적 연구의 대부분은 예술이 아닌 사회적 장면을 사용해 왔으며, 눈이 어디에 머무는지만 분석하고 언제·어떤 순서로 시선이 이동하는지는 간과해 왔다. 우리는 자폐 성인(ASD), 훈련된 예술가, 신경전형적 관찰자 세 집단을 대상으로 한 비교 자유 관람(free-viewing) 연구를 제시한다. 각 참가자는 15초 동안 30점의 그림을 관람했다. 우리는 두 상보적인 축을 따라 집단을 비교하는 지표 기반 방향성 프레임워크를 도입한다. 공간 축에서는 한 집단의 고정 밀도(fixation-density) 맵이 여섯 가지 saliency 지표(AUC-Judd, NSS, CC, SIM, KL, Information Gain) 하에서 다른 집단의 고정을 얼마나 예측하는지를 비교하고, 시간 축에서는 개별 스캔패스(scanpath)를 MultiMatch, ScanMatch, foveal-disc IoU 점수(FDISS), 동적 시간 경합(dynamic time warping, DTW)으로 비교한다. 모든 집단의 고정은 분산 임계값(dispersion-threshold) 알고리즘으로 균일하게 추출한다. 세 가지 결과가 수렴한다. (i) 예술가와 신경전형적 관찰자는 공간(밀도 맵 상관 CC=0.96)과 시간(가장 정렬 가능한 스캔패스 쌍을 형성) 모두에서 거의 구분되지 않는 반면, ASD 시선은 둘 모두에서 이탈한다. (ii) ASD 어텐션은 분리(dissociated)되어 있다: 예술가의 넓은 공간적 탐험(분산, 탐험 영역)과 일치하지만, 더 짧은 고정, 더 적은 체류(dwell), 그리고 모든 집단 중 가장 특이(idiosyncratic)(자기 일관성이 가장 낮은)한 스캔패스라는 독특한 시간적 특징을 지닌다. (iii) ASD 시선은 어떤 지표에서도 선택적으로 예술가와 유사하지 않으며, 오히려 신경전형에 근접한 편이다. 이러한 발견은 예술에 대한 자폐적 관람이 공간과 시간 모두에서 뚜렷한 집단 특이적 어텐션 프로파일임을 나타내며, 미적 어텐션의 집단 조건(population-conditioned) 모델을 촉진한다. 우리는 모든 분석 코드와 자극별(per-stimulus) 결과를 공개한다.

arXiv:2607.09827v1cs.CV

TDSal: 태스크 기반 하향식 현저성 예측 모델

TDSal: Task-Based Top-Down Saliency Prediction Model

시각적 현저성(visual saliency)은 이미지에서 인간의 시각적 주의를 끌 가능성이 가장 높은 영역을 예측하는 것을 목표로 한다. 대부분의 현저성 모델은 자유 시청(free-viewing) 조건을 가정하지만, 인간의 어텐션은 명시적인 태스크 목표에 의해 형성되는 경우가 많다. 본 연구에서는 자연어 태스크 설명에 따라 시각적 어텐션을 조건화하는 모델을 제안함으로써 태스크 기반 현저성 예측 문제를 다룬다. 해당 모델은 서로 다른 시청 의도 하에서 어텐션이 어떻게 변화하는지를 반영하는 태스크 의존적 현저성 맵을 생성한다. 정량적 및 정성적 분석을 통해, 명시적인 태스크 의미론(task semantics)을 통합하면 목표 지향적 시각적 어텐션을 보다 충실하게 모델링할 수 있음을 보인다.

arXiv:2606.30035v1cs.CV

자유 시청 시선 데이터의 합의 클러스터링: 인간-정보 상호작용에 대한 새로운 통찰

Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

자유 시청 시선 데이터는 인간의 시각적 어텐션에 대한 풍부하고 과제 비종속적인 창을 제공한다. 데이터에 대한 기존의 탐색적 데이터 분석은 고정(fixation)과 관심 영역(area of interest)을 통해 사용자 어텐션 패턴을 제공한다. 그러나 이 시선 데이터의 풍부함에도 불구하고, 인간-정보 상호작용(HII) 패턴은 충분히 연구되지 않았다. 우리는 사용자 및 자극 특성에 대한 시선 데이터의 합의 클러스터링을 사용하여 이 격차를 해소한다. 우리는 자유 시청 시선 데이터셋의 합의 클러스터링을 위한 새로운 종단간 비지도 앙상블 학습 시스템인 EnsembleGaze를 제시한다. 사용자 행동과 자극 유형을 특성화하는 것을 목표로, 고정 기반 분포의 통계적 서술자(descriptor)를 기반으로 한 특징 엔지니어링 단계를 제안한다. EnsembleGaze는 공동 연관 행렬(co-association matrix)을 계산하기 위해 특징 벡터에 구현된 선택된 클러스터링 방법들의 합의 투표를 포함한다. 사용자와 자극의 별도 합의 클러스터링을 기준선으로 사용하여, 사용자와 이미지의 공동 특성화를 기반으로 시선 클러스터를 결정하기 위한 두 가지 고차원 클러스터링 전략을 추가로 제안한다. 이는 합의 부분공간 클러스터링(consensus subspace clustering)과 스펙트럴 바이클러스터링(spectral biclustering)이다. 클러스터링 성능은 선택된 표준 메트릭을 사용하여 평가되며, 이미지 수준의 속성을 통해 추가로 해석된다. 우리의 시스템은 장면 인식 연구에서 고정 행동의 비지도 분석을 위한 재현 가능한 방법을 제공한다. 우리의 결과는 이미지 자극 그룹화가 방법 간에 높은 일관성을 보이며 강건한 주변적-대-초점적(ambient-versus-focal) 시청 모드 구분을 반영하는 반면, 사용자 그룹화는 이미지 맥락 의존적임을 보여준다. 이 구조는 바이클러스터링과 2단계 조건부 접근법만이 아키텍처적으로 복원할 수 있다. 공개 데이터셋에 대한 테스트는 데이터셋별 패턴을 드러냈으며, 각각은 서로 다른 클러스터링 전략을 통해 상호 보완적인 통찰을 제공한다.

arXiv:2606.26964v2cs.AI

Look-Before-Move: 동적 3D 스토리 월드에서의 내러티브 기반 월드 시각 어텐션

Look-Before-Move: Narrative-Grounded World Visual Attention in Dynamic 3D Story Worlds

동적 3D 스토리 월드에서 카메라가 이동 전에 어떤 시각 증거를 확보할지 결정해야 하는 내러티브 기반 월드 시각 어텐션(Narrative-Grounded World Visual Attention) 문제를 다루며, 관측 명세와 모션 실행을 분리하는 Look-Before-Move 프레임워크를 제안한다. StoryBlender 기반 동적 3D Story World Benchmark에서 주체 인식, 의도 일관성, 궤적 품질이 대표 베이스라인보다 향상되어, 카메라 모션 생성 전 시각적 어텐션을 구성하는 것이 중요함을 보인다.

arXiv:2606.25066v1cs.AI

Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Visual search has been one of the most productive paradigms in the study of visual attention: the way reaction time scales with the number of items distinguishes parallel, "pop-out" search from serial, attention-demanding search. I ask whether vision-language models (VLMs) exhibit the same behavioral signatures. I adapt four classic paradigms: feature versus conjunction search, spatial-configuration (T-vs-L) search, enumeration, and the tilted/vertical search asymmetry; and present them to current frontier and mid-tier models. Because a single model call has no reaction time, I use the number of reasoning ("thinking") tokens a model spends per trial as a within-model analog of search effort, and I compare against a large public human benchmark (Wolfe et al., 2010). The models reproduce several human signatures: feature search costs flat effort while conjunction effort climbs with set size; frontier models hold accuracy where mid-tier models collapse to chance; and a resolution control shows the conjunction cost is genuine search rather than difficulty resolving small shapes. They also diverge from humans in informative ways. The target-present effort slope exceeds the target-absent slope, reversing the human ordering; enumeration remains accurate where humans would lose count; and a reasoning model with adaptive deliberation declines to deliberate on detection tasks altogether, so that a single search expresses itself as an effort gradient in one model and as an accuracy cliff in another. I argue that psychophysical paradigms, applied behaviorally, are a sharp and inexpensive probe of machine visual cognition, and that the points of divergence are as informative as the points of agreement.

arXiv:2606.20491v1cs.RO

자율 내비게이션에서 시점 유도 능동 인식을 위한 빠른 인간 어텐션 예측

Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation

인간의 시각 어텐션(attention)은 장면을 효율적으로 처리하기 위해 구조화된 스캔패스(scanpath)에 의존하지만, 이러한 행동을 로봇 자율성에 부여하는 것은 아직 초기 단계에 있으며 기존 예측 모델의 높은 계산 비용으로 인해 제약받고 있습니다. 이를 해결하기 위해 본 논문에서는 GazeLNN을 소개합니다. GazeLNN은 순환 엔진으로 액체 신경망(Liquid Neural Networks)을 활용하고 특징 추출(feature extraction)을 위해 MobileNetV3를 사용하는 계산적으로 가벼운 스캔패스 예측 모델입니다. 자기회귀(auto-regressive)적으로 작동하는 이 아키텍처는 현재 시각 자극과 시점(fixation) 이력에 조건화된 순차적 시점 히트맵을 예측합니다. 단 0.61 GFLOPs만을 요구함에도 불구하고, GazeLNN은 0.47의 ScanMatch 점수를 달성하여 MIT Low Resolution 데이터셋(dataset)에서 최첨단(SOTA) 성능을 보여주었습니다. 이 모델은 다양한 평가 지표에서 기존 순환 기준 모델(baseline)들을 능가하는 동시에, 계산 비용을 99.40% 절감하고 추론(inference) 속도를 최대 6배까지 향상시켰습니다. 로봇 자율성에서 인간 어텐션 모델링의 역할을 조사하고 이 고효율 아키텍처의 실용적 유용성을 입증하기 위해, 강화학습(Reinforcement Learning)을 통해 학습된 능동 카메라-로봇 제어 정책에 GazeLNN을 통합했습니다. 이러한 통합을 통해 자율 내비게이션 중 인간 시점 유도 인식이 가능해졌으며, 이는 공중 로봇(aerial robot)에 대한 성공적인 실제 배포를 통해 검증되었습니다.

arXiv:2603.28251v3cs.CV

DiffAttn: LLM 강화 의미적 추론을 통한 확산 기반 운전자 시각 주의 예측

DiffAttn: Diffusion-Based Drivers' Visual Attention Prediction with LLM-Enhanced Semantic Reasoning

운전자의 시각 주의(attention)는 잠재적 위험을 예측하기 위한 중요한 단서를 제공하며, 의사결정 및 제어 조작을 직접적으로 결정짓습니다. 이것이 부재할 경우 교통 안전이 저해될 수 있습니다. 지능형 차량을 위한 운전자의 지각 패턴을 모방하고 시각 주의 예측을 고도화하기 위해, 본 연구에서는 DiffAttn이라는 확산 기반 프레임워크를 제안합니다. DiffAttn은 이 작업을 조건부 확산-노이즈 제거(denoising) 과정으로 공식화하여 운전자의 주의를 더 정확하게 모델링할 수 있게 합니다. 국소 및 전역 장면 특징(feature)을 모두 포착하기 위해 Swin Transformer를 인코더로 채택하고, 층 간 상호작용을 위한 특징 융합 피라미드(Feature Fusion Pyramid)와 밀집된 다중 스케일 조건부 확산을 결합하는 디코더를 설계했습니다. 이를 통해 노이즈 제거 학습과 세밀한 국소 및 전역 장면 맥락 모델링을 공동으로 향상시킵니다. 또한, 대규모 언어 모델(LLM) 층(layer)을 통합하여 하향식 의미적 추론을 강화하고, 안전에 중요한 단서에 대한 민감도를 개선했습니다. 4개의 공개 데이터셋(dataset)에 대한 광범위한 실험을 통해 DiffAttn이 최첨단(SoTA) 성능을 달성함을 입증했으며, 이는 대부분의 비디오 기반, 하향식 특징 기반, 그리고 LLM 강화 기준 모델(baseline)을 능가하는 결과입니다. 본 프레임워크는 해석 가능한 운전자 중심의 장면 이해를 추가로 지원하며, 지능형 차량 내 차량 내 인간-기계 상호작용, 위험 지각, 그리고 운전자 상태 측정을 개선할 잠재력을 가지고 있습니다.