은닉 표현 스티어링과 희소 오토인코더를 통한 Whisper 환각 탐지 및 완화
Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders
한국어 초록
널리 사용되는 자동 음성 인식(ASR) 모델인 Whisper는 환각(hallucination) 문제로 알려져 있는데, 이는 입력과 전혀 무관한 비음성 오디오에 대해 일관된 전사가 생성되는 현상이다. 우리는 Whisper의 내부 표현을 통해 환각을 탐지하고 완화할 수 있는지 조사한다. 오디오 인코더의 활성화를 추출하고 두 가지 표현 공간, 즉 Whisper의 원시 활성화와 희소 오토인코더(SAE) 잠재 표현을 평가한다. 두 공간 모두 선형 분리 가능한 환각 관련 정보를 인코딩하며, 판별력이 희소한 특징 부분집합에 집중되어 있고 더 깊은 인코더 레이어로 갈수록 증가함을 보인다. 우리는 활성화 공간 스티어링과 SAE 잠재 공간 스티어링의 두 가지 스티어링 전략을 제안한다. SAE 기반 스티어링은 전체 비음성 테스트 세트에서 Whisper small의 환각률을 72.63%에서 14.11%로, Whisper large-v3의 환각률을 86.88%에서 27.33%로 감소시키며, 음성 데이터에서는 단어 오류율(WER)의 소폭 저하만 발생하여 미세조정 기반 방법의 성능에 근접한다.
원문 초록
Whisper, a widely adopted ASR model, is known to suffer from hallucinations - coherent transcriptions generated for non-speech audio entirely disconnected from the input. We investigate whether hallucinations can be detected and mitigated through Whisper's internal representations. We extract audio encoder activations and evaluate two representation spaces: raw Whisper activations and Sparse AutoEncoder (SAE) latents. We show that both spaces encode linearly separable hallucination-related information, with discriminative power concentrated in a sparse feature subset and increasing toward deeper encoder layers. We propose two steering strategies: activation-space steering and SAE latent-space steering. SAE-based steering reduces hallucination rate from 72.63% to 14.11% for Whisper small and from 86.88% to 27.33% for Whisper large-v3 on the full non-speech test set, with small WER degradation on speech data, approaching the performance of fine-tuning-based methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07473v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
경로 지정 희소 오토인코더를 통한 언어적 정보와 준언어적 정보의 얽힘 분리
Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.
비전 트랜스포머에서 레지스터 및 고노름 패치 토큰의 기능적 역할 규명
Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers
DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.
외부 관찰자가 더 명확하게 볼 수 있다: 은닉 상태 프로빙을 통한 대규모 언어 모델(LLM)의 교차 모델 스팬 수준 환각 탐지
External Observers May See More Clearly: Cross-Model Span-Level Hallucination Detection in Large Language Models via Hidden State Probing
대규모 언어 모델(LLM)이 기반 추론 엔진으로 점점 더 많이 활용됨에 따라, 모델의 환각(hallucination) 경향은 여전히 치명적인 취약점으로 남아 있다. 최근의 내부 상태 프로브는 속도가 느린 외부 검색 시스템의 유망한 대안을 제시하지만, 환각 탐지를 토큰별 이진 분류(classification) 태스크로 축소하여 의미적 표류(semantic drift)의 구조화된 순차적 경계를 포착하지 못하는 경우가 많다. 본 연구에서는 세분화된 스팬(span) 수준의 환각 탐지를 위한 내부 은닉 상태 프레임워크를 소개한다. 층(layer)별 활성화 패턴을 조사하여 LLM 생성물에서 정확한 환각 시작 토큰과 지속 토큰을 탐지하고자 한다. 실험 결과, 본 접근 방식은 극단적인 클래스 불균형에도 불구하고 환각 시작 지점을 성공적으로 분리해 내며, 무작위 베이스라인 대비 정밀도(precision)-재현율(recall) AUC에서 상당한 향상을 달성함을 보여준다. 최종적으로, 한 모델이 다른 모델의 생성으로 인해 유도된 내부 표현을 관찰하는 새로운 교차 모델(cross-model) 탐지 프레임워크를 제안한다. 외부 관찰자 모델은 관찰자가 더 작은 모델인 경우를 포함하여, 생성기 모델이 스스로 자신의 환각 시작 지점을 자체 탐지하는 성능과 일치하거나 이를 능가할 수 있음을 발견했으며, 이는 자체 탐지가 시작 지점 위치 특정의 상한선이 아님을 시사한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
토론
이 논문과 연결된 포럼 글이 아직 없습니다.