PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10162v2eess.AS

인간처럼 들을 수 있는가? 음성 언어 모델에서의 음성 상징과 지각적 정렬

Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models

음성 상징(sound symbolism)은 음성 소리를 둥글거나 날카로움과 같은 지각적 특성에 대응시키는 인간의 경향으로, 철자보다는 주로 음성의 음향적 특성에서 비롯됩니다. 음성 언어 모델(SLM)이 이러한 경향을 공유하는지는 이전 평가들이 실제 음성이 아닌 텍스트나 이미지에 의존했기 때문에 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 실제 인간의 음성 녹음을 활용하여, 해당 효과의 청각적, 교차감각적, 시각적 구성 요소 전반에 걸쳐 모델의 판단을 인간 데이터와 비교 분석합니다. 그 결과, SLM의 청각적 판단은 인간의 지각과 잘 일치하지 않으며 스펙트럼 기울기(spectral tilt)와 같이 인간의 직관을 유도하는 음향 단서를 포착하지 못하는 것으로 나타났으며, 공개 가중치(open-weight) 모델은 들리는 소리를 그에 대응하는 형태와 신뢰성 있게 연결하지 못했습니다. 형태 지각 요인을 배제한 시각 전용 대조 실험을 통해 이러한 한계가 음성이 표현되는 방식에 기인함을 밝혔으며, 이는 지각적 정렬(perceptual alignment)이 더 강력한 비전 능력이 아니라 인간이 듣는 단서를 포착하는 음성 표현에 달려 있음을 시사합니다.

arXiv:2603.13994v3cs.CV

자기지도 비전 트랜스포머에서의 인간과 유사한 객체 그룹화

Human-like Object Grouping in Self-supervised Vision Transformers

자기지도 학습으로 훈련된 비전 트랜스포머가 인간의 객체 그룹화 지각과 얼마나 잘 정렬되는지를 측정하기 위해, 자연 장면에서 두 점이 동일 객체 위에 있는지를 판단하는 1,000회 이상 규모의 행동 벤치마크를 구축하고 다양한 비전 모델을 평가했다. DINO 목표로 훈련된 트랜스포머 모델이 가장 강한 인간 정렬을 보였으며, 패치 간 유사도 기반의 객체 중심성 메트릭과 Gram 행렬 구조가 이 정렬을 이끄는 핵심 요인임을 확인했다.