Isometric Autoencoders
원문 초록
High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩
Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces
침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.
루프형 잠재 어텐션: 루프형 Transformer를 위한 루프 간 KV 압축
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.
DecodeShare: LLM 디코드 시점 결정의 공유 부분공간 추적
DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions
대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.
교차 피험자 디코딩을 위한 빠른 전뇌(Whole-Brain) 기하학 인식 기능적 정렬
Fast Whole-Brain, Geometry-Aware Functional Alignment for Cross-Subject Decoding
뇌 활동 디코딩은 뇌 과정을 특성화하고 인지의 기반이 되는 기능적 구조를 이해하는 데 유용하다. 그러나 뇌 반응 패턴의 개인 간 변동성은 개인을 넘어 일반화되는 디코더 개발을 제한한다. 이 문제의 해결책은 기능적 정렬(functional alignment)로, 집단 수준 디코더를 학습하기 전에 개인 간 기능 데이터를 정렬하는 것이다. 핵심 과제는 계산 효율성을 유지하면서 기능적 특징을 정렬하고 해부학적 구조를 보존하는 균형을 맞추는 것이다. 우리는 fMRI를 위한 새로운 기능적 정렬 방법인 SpectralOT를 소개하며, 이는 정렬을 정규화하기 위해 기능 데이터를 따라 Laplace-Beltrami 고유 모드에 피질 기하학을 임베딩한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.