arXiv:2606.11400v1 cs.SD

청취 위치 조종: 인스트럭션 기반 활성화 조종은 대규모 오디오-언어 모델의 시간적 어텐션을 재지향한다

Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models

Tsung-En Lin, Hung-Yi Lee

제출 2026-06-09

한국어 초록

대규모 오디오-언어 모델(LALMs)은 오디오 이해에 탁월하지만, 오디오 신호 내에서 어디에 어텐션을 기울이는지는 거의 드러내지 않습니다. 우리는 오디오를 고정한 상태에서 서로 다른 인스트럭션이 포함된 프롬프트들의 활성화(activation)를 대조하여 조종 벡터를 구축하는 인스트럭션 기반 벡터 조종을 소개합니다. LALM 어텐션에 대한 체계적인 탐색을 통해, 우리는 표준 프롬프팅이나 오디오 기반 조종과 달리 이 개입이 오디오 토큰에 할당된 시간적 어텐션을 상당히 재분배하여 음향적으로 관련 있는 영역에 집중시킨다는 것을 발견했습니다. 그 후 우리는 이 어텐션 변화가 행동적으로 의미 있음을 보여줍니다: 제어된 세 가지 사건 설정에서, 조종에 의해 유발된 최대 어텐션 변화의 시간적 위치를 읽어오는 것은 추가 학습 없이 질의된 사운드 이벤트의 위치를 복원하며, Qwen2-Audio 및 Audio Flamingo 3에서 각각 60.87%와 68.72%의 정답 구간(ground-truth intervals)과의 중첩률을 달성하여 직접 프롬프팅(31.84%, 46.75%) 및 무작위 기준선(27.74%)보다 훨씬 높은 성능을 보였습니다. 우리의 결과는 LALM에서 인스트럭션 기반 조종의 기계적 속성을 특성화하고, 이 모델들이 인코딩하는 잠재적 시간 구조를 위한 학습이 필요 없는 프로브(probe)를 제공합니다.

원문 초록

Large Audio-Language Models (LALMs) excel at audio understanding but expose little about where in an audio signal they attend. We introduce instruction-based vector steering, which constructs a steering vector by contrasting activations from differently instructed prompts while keeping the audio fixed. Through a systematic probe of LALM attention, we find that - unlike standard prompting or audio-based steering - this intervention significantly redistributes the temporal attention allocated to audio tokens, concentrating it on acoustically relevant regions. We then show that this attention shift is behaviorally meaningful: in a controlled three-event setting, reading out the temporal position of maximal steering-induced attention change recovers the location of a queried sound event without any training, attaining 60.87% and 68.72% overlap with ground-truth intervals on Qwen2-Audio and Audio Flamingo 3, far above direct prompting (31.84%, 46.75%) and random baselines (27.74%). Our results characterize a mechanistic property of instruction-based steering in LALMs and provide a training-free probe for the latent temporal structure these models encode.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11400v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24576v1cs.RO공통 태그 Instruction Following, activation steering

VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종

What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.

arXiv:2607.10517v1cs.LG공통 태그 Instruction Following, activation steering

리만 활성화 조종을 위한 조건부 최적 브릿지

Conditional Optimal Bridge for Riemannian Activation Steering

활성화 조종(Activation steering)은 추론(inference) 시점에 대규모 언어 모델(LLM)을 제어하기 위한 미세조정(fine-tuning)의 경량 대안을 제공합니다. 기존의 많은 방법들은 원하는 활성화 분포와 원하지 않는 활성화 분포 사이의 로그-밀도비 목적함수를 암묵적으로 최적화하지만, 이를 원리적인 최적화 문제에서 유도하는 것이 아니라 휴리스틱하게 수행합니다. 더불어 이러한 방법들은 쿼리 독립적인 조종 방향을 생성하여 분포 내(in-distribution) 및 분포 외(OOD) 입력 모두에서 성능을 저하시킬 수 있습니다. 저희는 잔차 스트림 초구면 위의 슈뢰딩거 브릿지(Schrödinger Bridge)로 활성화 조종을 재정립함으로써 두 가지 한계를 모두 해결하는 \textsc{Cobras}(Conditional Optimal Bridge for Riemannian Activation Steering)를 소개합니다. 이 공식화는 저희가 알기로는 적합하게 정의된 최적화 문제로부터 로그-밀도비 조종 목적함수에 대한 최초의 원리적 유도를 제공합니다. 엔트로픽 최적 수송(entropic optimal transport)을 통해 브릿지를 풀고 확률 흐름 ODE(probability flow ODE)를 추출하면, 싱크혼 포텐셜이 균일한 특수한 경우에 널리 사용되는 밀도비 그래디언트(gradient)가 복원됩니다. 핵심적으로, 슈뢰딩거 포텐셜은 현재 활성화값에서 평가되므로 결과적으로 생성된 조종 방향이 본질적으로 쿼리 적응형이 됩니다. 실험적으로, 네 가지 모델과 세 가지 정렬(alignment) 축(유용성, 진실성, 무독화)에 걸쳐, \textsc{Cobras}는 기존 방법들에서 흔히 관찰되는 OOD 성능 저하를 피하면서 이전 활성화 조종 기준선들을 지속적으로 능가합니다. 코드는 https://github.com/arshandalili/cobras 에서 확인할 수 있습니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2607.24743v4cs.CV공통 태그 Instruction Following

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.