arXiv:2610.13881v1 cs.LG

예측은 충분한 메모리 상태가 아니다

Prediction Is Not a Sufficient Memory State

Robert Jenkinson Alvarez

제출 2026-10-09

저자 비고

arXiv Comments

35 pages

한국어 초록

현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.

원문 초록

A memory that reproduces every current prediction may still have forgotten how to learn from the next observation. We characterize this distinction for exact cumulative learning and attention. For smooth convex residual losses with unrestricted real features and labels, a continuous recurrent state of fixed dimension exists exactly when the loss is polynomial. With ordinary, unweighted observations, degree $D$ requires precisely $r=\binom{d+D}{D}-1$ coordinates; even among histories with one fixed current predictor, exactly $r-d$ coordinates can remain necessary for continuation. Nonpolynomial losses have unbounded requirements on such equal-prediction histories. Bounded scalar logistic examples retain this obstruction after fixing any finite derivative jet. For ridge regression, the hidden evidence is the design matrix: the exact state costs $dp+d(d+1)/2$, versus $dp$ for the predictor. On a well-conditioned zero-prediction family, optimal $B$-bit compression has average one-update error of order $d^{-1}2^{-2B/s_d}$, $s_d=d(d+1)/2$, even with arbitrary randomized codes. Kernel attention gives a second exact closure classification. The results identify what future updates reveal, rather than proposing a new regression algorithm or asserting trained-model gains.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13881v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20760v2stat.ME공통 태그 regression, Dimensionality Reduction

공편도(coskewness) 기반 차원 축소를 활용한 투블록 클러스터링 트리: 구간별 다변량 선형 체제 복원

Twoblock clustering trees with coskewness-based dimension reduction: recovering piecewise multivariate linear regimes

다변량 반응변수를 위한 해석 가능성이 매우 높은 회귀 트리인 투블록 클러스터링 트리(twoblock clustering tree, \tbtree)를 소개합니다. 투블록 트리는 리프(leaf) 노드에 국소 다변량 선형 모델을 배치하고, 국소 리프 모델 및 불순도(impurity) 계산에 조밀(dense) 또는 희소(sparse) 투블록 차원 축소를 사용하는 결정론적 의사결정 트리입니다. 이를 통해 도출된 모델은 연산 효율성이 높으며 매우 뛰어난 해석력을 가질 수 있습니다. 본 추정기의 주요 목표는 데이터에 대한 해석 가능하고 체제(regime)에 정렬된 구간별 선형(piecewise-linear) 설명을 제공하는 것이며, 분할과 리프의 분리(split/leaf decoupling)를 통해 제약 조건으로서 예측 경쟁력을 유지합니다. 본 논문은 의사결정 트리 추정기 자체를 제안하는 것 외에도 공편도(coskewness) 극대화에 기반하여 데이터 내 비정규 클러스터 식별을 용이하게 하는 투블록 차원 축소 공간 추정기를 소개합니다. 이 트리는 본질적으로 국소 선형 모델들의 집합을 생성하므로 구간별 선형 체제를 복원하는 데 적합하며, 이는 시뮬레이션을 통해 입증됩니다. 아울러 두 가지 실제 데이터 예시를 통해 투블록 트리가 더 복잡한 비선형 의존성을 모델링할 수도 있으며, 랜덤 포레스트(random forests)와 같은 블랙박스 모델링 기법과 대등한 성능을 보일 수 있음을 보여줍니다. 각 단계에서 분할을 생성하는 투블록 모델과 리프에 있는 모델 모두를 직접 점검하고 해석할 수 있습니다.

arXiv:2610.03651v1cs.AI공통 태그 Dimensionality Reduction, Quantization

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2609.27441v1cs.LG공통 태그 regression, Dimensionality Reduction

과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩

Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces

침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.

arXiv:2609.28248v1cs.LG공통 태그 Dimensionality Reduction, Quantization

hyperbolix: JAX 기반 쌍곡 심층 학습 라이브러리

hyperbolix: Hyperbolic Deep Learning in JAX

본 논문에서는 Flax NNX 기반으로 구축된 JAX용 오픈소스 쌍곡 심층 학습(hyperbolic deep learning) 라이브러리인 hyperbolix를 소개합니다. 우리가 아는 한, 이는 JAX에서 구현된 최초의 포괄적이고 범용적인 쌍곡 심층 학습 라이브러리입니다. 본 라이브러리는 공통 인터페이스를 갖춘 6개의 다양체(유클리드 공간, 푸앵카레 볼, 쌍곡면, $\kappa$-입체투영 모델, 혼합 곡률 곱 공간, 고유 속도 공간)를 포함합니다. 또한 선형 층, 합성곱, 어텐션, 정규화, 위치 인코딩, 회귀 및 벡터 양자화를 아우르는 층 군(layer family)을 구현합니다. 이러한 구성 요소들은 Ganea의 초기 쌍곡 신경망부터 Hypformer 및 Lorentzian ResNet과 같은 최신 완전 쌍곡 아키텍처에 이르는 방법론들을 포괄합니다. 아울러 hyperbolix는 optax 변환으로 구현된 리만 최적화기, 래핑된 분포, 쌍곡 차원 축소 기법을 포함합니다. 이 API는 관용적 JAX 스타일을 따릅니다. 다양체는 상태를 갖지 않고(stateless) 호출 시 곡률이 전달되며, 다양체 연산은 단일 점에 작용하고 jax.vmap을 통해 배치 연산이 가능합니다. 검증된 모든 연산의 정밀도는 원 논문의 폐쇄형(closed-form) NumPy/SciPy 구현 또는 유한 차분을 기준으로 float32 및 float64 모두에 대해 테스트되었습니다. 쌍곡면에서 거리 계산과 같은 표준 2점 연산 공식은 거의 동일한 두 큰 항을 빼기 때문에 원점에서 멀어질수록 정밀도를 잃습니다. hyperbolix는 기존 구현들이 NaN을 반환하는 거리에서도 float32에서 정확도를 유지하는 소거 오차 없는(cancellation-free) 공식으로 이러한 뺄셈을 대체합니다. hyperbolix는 MIT 라이선스 하에 https://github.com/timoklein/hyperbolix 에서 이용할 수 있습니다.

arXiv:2607.20559v1cs.LG공통 태그 regression, Dimensionality Reduction

인도 사회경제적 지표의 오토인코더 보조 다운스케일링(JUGAAD)을 위한 지리공간 및 인구조사 프록시의 공동 활용

Joint Utilization of Geospatial and census proxies for Autoencoder-Assisted Downscaling (JUGAAD) of socioeconomic indicators in India

개발도상국의 사회경제적 과제를 해결하기 위해 빈곤 및 식량 안보 지표를 모니터링하는 것은 필수적이다. 한계는 데이터 소스 간의 공간 규모 불일치에 있다. 인구조사 데이터는 지리적 커버리지를 제공하는 반면, 사회경제적 지표는 드물게 실시되는 조사에서 거친 해상도로 도출되어 방법론적 과제를 야기한다. 본 연구는 2001년 및 2011년 인도 인구조사 및 조사 데이터를 사례 연구로 활용하여 심층 학습 프레임워크 JuGAAD를 제안한다. 우리는 3단계 절차를 사용한다. 인구조사 및 지리공간 데이터를 중간 수준의 마을-클러스터 규모 테셀레이션(tessellation)으로 평균화하여 노이즈를 줄이고 행정 경계 변경을 정규화한다. 오토인코더가 고차원 National Sample Survey Office(NSSO) 데이터를 저차원 잠재 표현(latent representation)으로 압축한다. 회귀 모델이 업스케일된 인구조사 및 지리공간 데이터를 이 표현에 매핑한다. 이 함수는 고해상도 예측을 생성하기 위해 세밀한 인구조사 데이터에 적용되며, 실측(ground-truth) 구(district) 수준 NSSO 지표에 대해 검증된다. 결과는 해당 방법론이 세밀한 규모에서 사회경제적 지표를 높은 정확도로 예측함을 확인한다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.