PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10162v2eess.AS

인간처럼 들을 수 있는가? 음성 언어 모델에서의 음성 상징과 지각적 정렬

Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models

음성 상징(sound symbolism)은 음성 소리를 둥글거나 날카로움과 같은 지각적 특성에 대응시키는 인간의 경향으로, 철자보다는 주로 음성의 음향적 특성에서 비롯됩니다. 음성 언어 모델(SLM)이 이러한 경향을 공유하는지는 이전 평가들이 실제 음성이 아닌 텍스트나 이미지에 의존했기 때문에 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 실제 인간의 음성 녹음을 활용하여, 해당 효과의 청각적, 교차감각적, 시각적 구성 요소 전반에 걸쳐 모델의 판단을 인간 데이터와 비교 분석합니다. 그 결과, SLM의 청각적 판단은 인간의 지각과 잘 일치하지 않으며 스펙트럼 기울기(spectral tilt)와 같이 인간의 직관을 유도하는 음향 단서를 포착하지 못하는 것으로 나타났으며, 공개 가중치(open-weight) 모델은 들리는 소리를 그에 대응하는 형태와 신뢰성 있게 연결하지 못했습니다. 형태 지각 요인을 배제한 시각 전용 대조 실험을 통해 이러한 한계가 음성이 표현되는 방식에 기인함을 밝혔으며, 이는 지각적 정렬(perceptual alignment)이 더 강력한 비전 능력이 아니라 인간이 듣는 단서를 포착하는 음성 표현에 달려 있음을 시사합니다.

arXiv:2607.02214v1cs.CL

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

음성 시퀀스가 텍스트 대비 최대 20배 길어 인스트럭션 튜닝 데이터 확장이 극히 어려운 문제를 해결하기 위해, SpeechCombine은 텍스트 대규모 언어 모델(LLM)의 인스트럭션 튜닝 가중치 차분(Δθ_inst)과 30k 시간 음성 사전학습으로 얻은 음성 적응 가중치 차분(Δθ_speech)을 파라미터 공간에서 선형 결합하는 모델 병합(model merging) 방식을 제안한다. 별도의 인스트럭션 튜닝 없이도 텍스트 지향, 음성 이해, 음성 생성 등 세 가지 범주의 인스트럭션 팔로잉 능력이 음성 도메인으로 효과적으로 전이됨을 실험으로 입증했다.

arXiv:2606.27627v1cs.LG

HybridCodec: 효율적인 음성 언어 모델을 위한 이산 및 연속 표현 모델링

HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models

이산 오디오 표현은 멀티모달 텍스트-오디오 시스템 구축과 대규모 언어 모델(LLM)에 오디오 기능을 통합하는 데 점점 더 널리 사용되고 있다. 그러나 많은 연구에서는 이산화 과정에서의 정보 손실로 인해 다양한 다운스트림 작업에서 성능 저하가 보고되고 있다. 이를 해결하기 위해, 시간적으로 압축된 이산 토큰과 차원 축소된 연속 잔차를 결합하는 새로운 접근법을 제안한다. 우리의 프레임워크는 이산-연속 초점 변조(focal modulation) 코덱을 하이브리드화한 구조와 하이브리드 트랜스포머로 구성된다. 이 아키텍처는 이산 영역에서 자기회귀(autoregressive) 추론을 수행하며, 비자기회귀(non-autoregressive) 예측과 연속 잔차 업샘플링을 함께 결합한다. 실험 결과, 제안 방법은 이산 방식만 사용하는 방법과 비교하여 화자 특성 보존을 크게 개선하는 동시에 필요한 자기회귀 단계 수를 줄인다.

arXiv:2606.22473v1cs.CL

교차 음성-텍스트 언어 모델은 잠재적으로 텍스트 공간에서 작동한다

Interleaved Speech Language Models Latently Work In Text

로짓 렌즈(logit lens)로 다양한 교차(interleaving) 음성-텍스트 SLM을 분석한 결과, 음성 인식을 위한 학습 없이도 중간 레이어에서 발화 단어가 텍스트 토큰으로 암시적 전사되고, 이후 텍스트 공간에서 다음 단어를 예측한 뒤 다시 음성 영역으로 되돌아가는 내부 동작이 확인되었다. 이 전사는 최대 77%의 사례에서 상위 후보로 나타나며, 텍스트 LM 초기화와 교차 학습 데이터가 모두 필요하고 구어적 사실 지식 능력과도 양의 상관을 보인다.

arXiv:2510.01157v4cs.CL

백도어는 어디에 존재하는가? 음성 언어 모델에서의 백도어 전파에 대한 구성 요소 수준 분석

Where Do Backdoors Live? A Component-Level Analysis of Backdoor Propagation in Speech Language Models

음성 언어 모델(SLM)의 구성 요소 수준 분석을 통해 백도어(backdoor)가 파이프라인 전체로 전파되며 그 지속성이 타겟 구성 요소에 의존함을 확인했다. 아울러 공유 멀티태스크 임베딩(embedding)에서 중독 샘플과 정상 샘플의 분리가 어려워 기존 필터링 방어의 가정이 성립하지 않음을 입증했다.