Safety-aligned language models are trained to refuse harmful requests, yet refusal behavior can be suppressed by steering their internal representations. Existing methods do so by ablating a refusal direction from model activations, aiming to remove refusal from the model's residual stream. Despite their empirical success, these methods lack a principled account of the latent-space transformation they induce and why it suppresses refusal. In this work, we recast refusal suppression as a latent-space evasion attack against linear probes trained to separate refused from answered prompts. Under this view, prior work's difference-in-means direction naturally defines such a probe, and its ablation is exactly a projection onto its decision boundary, i.e., a minimum-confidence evasion attack. This perspective not only explains the empirical success of prior work but also admits a key limitation: evasion stops at the decision boundary, motivating the need to push representations further into the compliant region, i.e., where the model answers. We leverage this by proposing a Controlled Latent-space Evasion attack that projects representations past the boundary with an optimized confidence. Across 15 instruction-tuned, multimodal, and reasoning language models, we achieve higher attack success rates than existing refusal-ablation baselines, also outperforming jailbreak attacks.
연속 제어 정책의 추론을 자기회귀 잠재 분포를 이용한 변분 추론으로 정식화한 Latent Memory Palace(LMP)를 제안하며, EOS 토큰으로 가변 길이 잠재 시퀀스를 생성해 적응적 테스트 시간 연산을 구현한다. LMP-π는 시뮬레이션과 실세계 로봇 태스크에서 강력한 성능을 달성했으며, 동일 프레임워크에서 파생된 가변 길이 행동 토크나이저 LMP-tok는 하위 자기회귀 정책의 성능을 크게 향상시켰다.
멀티모달 대규모 언어 모델(MLLM)은 눈부신 발전을 이루었지만, 다단계 지각과 논리적 추론을 요구하는 복잡한 시각적 추론 과제에서는 여전히 어려움을 겪고 있습니다. 명시적 시각 생성은 과도한 계산 비용을 수반하며, 기존의 잠재적 접근 방식은 외부 전문가 모델에 의존하거나 엄밀한 인지 논리가 부족한 경우가 많습니다. 본 논문에서는 MLLM이 연속적인 잠재 공간에서 구조화된 시각적 추론을 수행할 수 있도록 하는 프레임워크인 ProLaViT(Progressive Latent Visual Thought)를 제안합니다. 이종 외부 모델에 의존하는 기존 연구와 달리, ProLaViT는 내생적 자기 증류(self-distillation) 메커니즘을 활용하여 모델 자체의 시각 인코더로 잠재 사고를 지도합니다. 이를 위해 모델이 추론 시 도구 없이 알고리즘적 정밀도를 내재화할 수 있도록 하는 확장 가능한 프로그래밍 방식의 합성 파이프라인을 구축합니다. 두 가지 추론 패러다임을 설계합니다: (1) 공간적 과제를 위한 Coarse-to-Fine 인과 연쇄로, 전역 문맥에서 지역 대상으로 어텐션을 유도합니다. (2) 논리적 과제를 위한 변증법적 추론 연쇄로, 검증을 위한 반사실적(counter-factual) 사고를 통합합니다. 나아가, 위상 인식 제약을 부과하여 의미론적 고유성을 강제함으로써 특징 퇴화를 방지하는 거리 가중 다양성 손실(Distance-Weighted Diversity Loss)을 제안합니다. 광범위한 실험을 통해 ProLaViT가 시각 중심 벤치마크에서 기준 모델들을 능가하며, 높은 효율성을 유지하면서 우수한 정확도와 해석 가능성을 달성함을 입증합니다.
X-VAE는 변분 오토인코더(VAE)의 고정된 등방성 가우시안 사전분포를 사전학습된 오토인코더의 잠재 표현에서 추정한 데이터 적응형 가우시안 혼합 사전분포로 대체하여 사전분포-사후분포 불일치 문제를 완화한다. 추가 학습 파라미터 없이 KL 발산의 해석적 계산 가능성을 유지하면서, 생성 시 잠재 스케일링 인수 α를 통해 다양성과 충실도 간의 균형을 재학습 없이 제어할 수 있음을 MNIST, CelebA 벤치마크에서 검증하였다.
Language models have changed from unreliable text generators to highly-capable large models with trillions of parameters. Capability increases come hand-in-hand with increases in scale, making understanding the internal representations of models more challenging. Since millions of users increasing rely on language models to interact with external tools or make decisions in medium or high-stakes scenarios, we need to establish control over model behavior and know when to trust model outputs. In this paper, we discuss our contributions on harnessing the latent spaces by proposing steering vectors for control and developing latent space-based model calibrators for trust. Together, our contributions help demystify the latent spaces of language models and offer new insights into how to harness model internals to build more trustworthy language technology.
3D 의류 복원과 2D 재봉 패턴 추론을 물리 시뮬레이션 없이 단일 양방향 잠재 공간으로 통합하는 최초의 프레임워크 Stitched Embeddings(StEm-Net)를 제안하며, BoxMesh를 중간 표현으로 활용해 2D 패널을 3D 형상으로 정렬한다. 사전학습된 3D 기반 모델의 기하학적 사전 지식을 활용하여 데이터 부족 문제를 극복하고, 3D 포인트 클라우드 기반 재봉 패턴 예측에서 최대 15%의 오차 감소로 최고 성능을 달성했다.
변분 오토인코더(VAE)를 독립 모델이 아닌 VAELinear 신경망 층으로 통합하고, 역전파 없이 층별로 학습하는 IFFCL과 다중모달 MVAE 목적함수를 결합한 학습 전략을 제안한다. MNIST 실험에서 세 층 모두 손실이 빠르게 감소했고, 10 에포크 기준 학습·테스트 정확도는 각각 53%와 55%에 도달했다.
결정 기반 블랙박스 적대적 공격은 심각한 보안 위협을 제기하지만, 현재 방법론들은 근본적인 한계를 갖고 있다. 픽셀 단위 공격은 부자연스러운 고주파 시각적 아티팩트를 자주 유발하는 반면, 잠재 공간(latent-space) 프레임워크는 저차원 매니폴드의 제한된 탐색 공간과 내재된 재구성 결함에 의해 제약받는다. 이러한 한계를 해결하기 위해, 우리는 쿼리 효율적 결정 기반 적대적 공격을 위한 Latent Geometric Chords(LGC)와 변형인 LGC-H를 제안한다. LGC의 핵심은 압축된 의미적 매니폴드 내에서 곡률 인식 기하학적 탐색을 수행함으로써 결정 경계(decision boundary)를 탐색하는 것이다. 높은 시각적 충실도를 보장하고 차원 병목을 우회하기 위해, 우리는 Residual-based Adversarial Generation(RAG) 메커니즘을 도입한다. RAG는 의미적 교란(perturbation)을 기하학적 chord로 분리하여 원본 소스 이미지에 직접 중첩한다. RAG는 기준선 재구성 결함을 실질적으로 해결하고 허용 가능한 탐색 공간 차원을 효과적으로 두 배로 늘린다. 실험 결과는 LGC가 강건한 교차 데이터셋 전이성을 달성하고 최신 기준선들을 실질적으로 능가함을 보여준다. 특히 우리 방법 LGC는 교란 크기를 최소화하면서도 최신 수준의 시각적 충실도를 달성한다--5000회 쿼리에서 Structural Similarity Index Measure(SSIM)이 0.99를 초과하고 Learned Perceptual Image Patch Similarity(LPIPS)가 0.01 미만--엄격한 지각(perceptual) 제약 하에서도 높은 공격 성공률을 유지하며, 적대적 학습으로 훈련된 강건(robust) 모델을 성공적으로 무력화한다. 소스 코드는 https://github.com/eihmuekhine/Latent-Geometric-Chords 에서 이용할 수 있다.
언어 기반 모델의 내부 계산을 이해하는 방식은 최근 명시적 토큰 생성에서 연속적 잠재 표현(latent representation)을 중심으로 한 접근으로 빠르게 이동하고 있으며, 이 논문은 이러한 변화를 잠재 공간(latent space)이라는 관점에서 체계적으로 정리합니다. 기존의 토큰 수준 추론은 언어적 중복, 이산화 병목, 순차적 비효율, 의미 손실이라는 구조적 제약을 지니는 반면, 잠재 공간은 모델이 더 압축적이면서도 풍부한 내부 계산을 수행할 수 있게 하는 계산 서브스트레이트로 제시됩니다. 특히 저자들은 잠재 공간을 단순한 중간 표현이 아니라, 추론, 계획, 기억, 인식, 협업, 체화된 행동을 함께 포괄할 수 있는 차세대 지능의 핵심 기반으로 재정의합니다. 이를 위해 서베이는 기초(Foundation), 진화(Evolution), 메커니즘(Mechanism), 능력(Ability), 전망(Outlook)의 다섯 축으로 연구 지형을 조직하며, 잠재 공간이 어떤 문제의식에서 출발했고 어떤 방식으로 확장되어 왔는지를 일관된 흐름으로 보여 줍니다. 먼저 Foundation에서는 잠재 공간을 명시적 언어 공간과 구분하고, 생성형 비전 모델에서의 latent space와도 다른 언어 기반 모델 내부의 계산 공간으로 명확히 정의함으로써 논의의 범위를 정돈합니다. 이어지는 Evolution에서는 연구가 압축적 계산에서 확장적 탐색, 적응형 제어, 그리고 명시적 토큰과 잠재 계산을 교차시키는 방식으로 발전해 왔음을 추적하며, 이 과정에서 효율성과 표현력의 균형이 점차 정교해졌음을 강조합니다.
메커니즘 관점에서 이 논문은 잠재 공간 연구를 Architecture, Representation, Computation, Optimization이라는 네 가지 축으로 나누어 분석하며, 각 축이 어떻게 시스템의 추론 방식과 학습 가능성을 결정하는지를 설명합니다. 아키텍처는 반복 깊이, 루프 구조, 병렬 경로, 계층적 흐름을 통해 잠재 계산의 토폴로지를 규정하고, 표현은 잠재 상태가 어떤 의미를 담아야 하는지를 정합니다. 계산은 반복적 정제, 선택적 중단, 분기와 샘플링을 통해 잠재 사고의 전개 방식을 제어하며, 최적화는 이러한 구조가 효율성과 일반화를 동시에 만족하도록 학습되게 만듭니다. 능력 관점에서는 잠재 공간이 추론과 계획을 넘어, 시각 인식과 기억 유지, 검색과 모델링, 다중 에이전트 협업, 체화된 의사결정까지 넓은 범위의 기능을 강화하는 공통 기반으로 제시됩니다. 특히 복잡한 문제에서는 모든 계산을 표면 언어로 외화하지 않고도 내부에서 고밀도 정보를 조작할 수 있기 때문에, 잠재 공간은 긴 문맥 처리와 장기 계획, 다단계 추론에서 뚜렷한 장점을 보입니다. 마지막으로 Outlook에서는 해석 가능성과 제어 가능성의 부족, 효율성과 정확성의 균형, 평가 지표의 미성숙, 안전성과 정렬(alignment) 문제를 주요 과제로 제시하면서도, 명시적 경로와 잠재 경로를 결합한 하이브리드 시스템이 미래의 유력한 방향임을 제안합니다. 결과적으로 이 서베이는 잠재 공간을 단순한 기법이 아니라, 다음 세대 언어 및 멀티모달(multimodal) 지능을 조직하는 일반적 계산 패러다임으로 이해하도록 돕는 통합적 출발점이 됩니다.