Representational Analysis of Binding in Language Models
원문 초록
Entity tracking is essential for complex reasoning. To perform in-context entity tracking, language models (LMs) must bind an entity to its attribute (e.g., bind a container to its content) to recall attribute for a given entity. For example, given a context mentioning ``The coffee is in Box Z, the stone is in Box M, the map is in Box H'', to infer ``Box Z contains the coffee'' later, LMs must bind ``Box Z'' to ``coffee''. To explain the binding behaviour of LMs, existing research introduces a Binding ID mechanism and states that LMs use a abstract concept called Binding ID (BI) to internally mark entity-attribute pairs. However, they have not captured the Ordering ID (OI) from entity activations that directly determines the binding behaviour. In this work, we provide a novel view of the BI mechanism by localizing OI and proving the causality between OI and binding behaviour. Specifically, by leveraging dimension reduction methods (e.g., PCA), we discover that there exists a low-rank subspace in the activations of LMs, that primarily encodes the order (i.e., OI) of entity and attribute. Moreover, we also discover the causal effect of OI on binding that when editing representations along the OI encoding direction, LMs tend to bind a given entity to other attributes accordingly. For example, by patching activations along the OI encoding direction we can make the LM to infer ``Box Z contains the stone'' and ``Box Z contains the map''.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확률 측도의 PCA: 희소 및 조밀 표본추출 영역
PCA of probability measures: Sparse and Dense sampling regimes
확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
비선형 행렬 분해를 위한 교차 방향 승수법
Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions
우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.
추론의 기하학적 특징: 과제 난이도에 대한 스펙트럼적 관점
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고의 연쇄(CoT) 추론은 대규모 언어 모델(LLM)이 중간 추론 단계를 생성하여 복잡한 문제를 풀 수 있게 한다. 이러한 추론 사슬의 길이와 내용에는 많은 관심이 기울여져 왔지만, 그 내부 기하에 대해서는 훨씬 덜 알려져 있다. 우리는 트랜스포머 모델의 은닉 상태 공간에서 CoT 궤적의 기하를 연구하며, 각 추론 사슬을 $\mathbb{R}^d$ 상의 이산 곡선으로 형식화하고 스펙트럼, 위치, 운동학적 기하 범함수를 통해 특성화한다. 궤적 복잡도의 척도로 유효 차원 $d_\rho$를 도입하고, 더 어려운 과제일수록 더 큰 유효 차원을 보임을 실험적으로 보인다. 마지막으로 궤적의 운동학적 특징, 즉 평균 위치, 위치 분산, 초기 및 최종 은닉 상태, 평균 속도, 평균 속력, 속력 분산이 생성이 완료되기 전에 풀이의 정답 여부를 예측하는 데 사용될 수 있음을 탐구하며, 이는 향후 조기 종료 전략에 활용될 수 있다. 실험적으로 MATH500 데이터셋의 86개 수학 추론 문제와 세 가지 Qwen2.5 모델 규모(0.5B, 1.5B, 7B)에서 $d_\rho$는 각각 $0.90$, $0.94$, $0.96$의 난이도 예측 AUROC를 달성한다. 일곱 가지 운동학적 및 위치 특징은 생성된 토큰의 처음 $20\%$만으로 정답 여부를 예측하며, 규모 전반에서 AUROC는 $0.77$에서 $0.88$ 사이이다. 이러한 정답성 특징은 보류된 질문 간에도 전이되어, 모델의 내부 추론 궤적의 형태가 과제 난이도와 풀이 품질 모두를 들여다볼 수 있는 원리적 창임을 확립한다.
타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크
Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis
우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.
HomID: 비등방성 임베딩을 갖는 동차 다양체 기반 내재적 차원 추정기 벤치마킹
HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings
다양체 가설은 데이터가 주변 차원보다 작은 내재 차원(ID)을 갖는 다양체 위에 놓여 있다고 본다. 그러나 현실적인 데이터셋에 대해 서로 다른 추정기가 내놓는 ID 추정값에는 경험적 합의가 없다. 따라서 표적화된 스트레서(stressor)로 ID 추정기(IDE)를 시험하는 것이 중요하다. 본 연구에서는 비등방성의 역할을 고려한다. 이를 위해 ID 추정기를 벤치마킹하기 위한, 비등방성 임베딩을 갖는 동차 공간의 모음인 HomID를 제안한다. 표준 벤치마크에서 우수한 성능을 보이는 방법들이 동일한 자원 할당 하에서 HomID에서는 체계적으로 성능이 저하됨을 관찰한다. 또한 이러한 벤치마크에 비등방성 왜곡을 가해도 성능 저하가 발생함을 관찰한다. 마지막으로, 제어된 비등방성 왜곡이 이들 방법이 의존하는 분포에 체계적인 변화를 유발함을 보이며, 이를 통해 두 가지 특정 IDE에서 나타나는 추정 오차의 구체적인 메커니즘을 제시한다. 프로젝트 코드는 https://github.com/a-writes-code/homid 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.