독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.
플로우 매칭(flow-matching) 기반 비전-언어-행동(VLA) 모델은 로봇 조작을 위한 강력한 정책으로 부상했지만, 한 가지 중요한 능력은 여전히 충분히 탐구되지 않았다: 세밀한 행동 제어, 즉 내부 표현에 개입하여 로봇이 작업을 수행하는 방식을 통제하는 능력이다. 표현 조향(representation steering)은 언어 및 비전-언어 모델에서 널리 자리 잡은 해석 가능성 도구이며, 행동 특징은 일반적으로 선형 방향으로 인코딩되지만, 우리는 이러한 고전적 방법이 VLA에서는 한계를 보인다는 것을 보여준다. 우리는 플로우 매칭 VLA에 맞춤화된 분포 매칭 조향(Distribution-Matching Steering) 전략인 DiMaS를 제안한다. 이는 고정된 방향을 따라 이동하는 대신 표현 분포 사이를 수송하며, 두 최신 VLA에서 행동을 효과적으로 제어함을 보인다. 또한 학습과 평가에 사용되는 과제가 점점 더 상이해질수록 이 전략의 일반화 가능성을 검토하여, 행동 제어가 전이되는 지점과 약화되는 지점을 특성화한다. 마지막으로, 액션 전문가(action expert)의 표현 구조 분석을 통해 시각-운동(visuomotor) 설정에서 고전적 선형 조향이 부족한 이유를 설명한다: 행동 특징은 선형적으로 디코딩 가능하지만 선형적으로 조향 가능하지는 않으며, 이는 DiMaS의 분포 매칭 설계를 동기 부여한다. 코드는 https://github.com/pegah-kh/dimas 에서 공개되어 있으며, 추가 결과와 영상은 https://pegah-kh.github.io/dimas/ 에서 확인할 수 있다.
널리 사용되는 자동 음성 인식(ASR) 모델인 Whisper는 환각(hallucination) 문제로 알려져 있는데, 이는 입력과 전혀 무관한 비음성 오디오에 대해 일관된 전사가 생성되는 현상이다. 우리는 Whisper의 내부 표현을 통해 환각을 탐지하고 완화할 수 있는지 조사한다. 오디오 인코더의 활성화를 추출하고 두 가지 표현 공간, 즉 Whisper의 원시 활성화와 희소 오토인코더(SAE) 잠재 표현을 평가한다. 두 공간 모두 선형 분리 가능한 환각 관련 정보를 인코딩하며, 판별력이 희소한 특징 부분집합에 집중되어 있고 더 깊은 인코더 레이어로 갈수록 증가함을 보인다. 우리는 활성화 공간 스티어링과 SAE 잠재 공간 스티어링의 두 가지 스티어링 전략을 제안한다. SAE 기반 스티어링은 전체 비음성 테스트 세트에서 Whisper small의 환각률을 72.63%에서 14.11%로, Whisper large-v3의 환각률을 86.88%에서 27.33%로 감소시키며, 음성 데이터에서는 단어 오류율(WER)의 소폭 저하만 발생하여 미세조정 기반 방법의 성능에 근접한다.