arXiv:2603.04317v2 cs.CL

세계 모델 없는 세계 속성: 분포적 연관성과 언어 모델의 디코딩 결과 해석

World Properties without World Models: Distributional Associations and the Interpretation of Decoding Results from Language Models

Elan Barenholtz

제출 2026-03-04

저자 비고

arXiv Comments

22 pages, 3 figures, 10 tables. Substantially revised to include analyses of full released Gurnee & Tegmark datasets with Llama-2 and Pythia comparisons; replaces the earlier 100-city, 194-figure analysis; also includes entity-level vectors, and pain and emotion decoding

한국어 초록

대규모 언어 모델(LLM)의 활성화(activation)로부터 변수들을 선형적으로 디코딩할 수 있음을 보여주는 연구가 점점 늘어나고 있습니다. 이러한 변수는 도시의 위치나 역사적 인물의 생애와 같은 세계의 속성부터 감정과 고통에 이르기까지 다양합니다. 이러한 발견은 종종 언어 모델이 표면적인 텍스트 통계를 넘어 세계에 대한 내부 모델을 형성한다는 증거로 받아들여집니다. 본 연구에서는 동일하거나 대응되는 자극에 대한 정적 단어 임베딩(말뭉치 통계로부터 학습된 고정적이고 문맥에 무관한 표현) 역시 동일한 디코딩의 상당 부분을 지원함을 보입니다. 발표된 4가지 사례(장소, 시간, 고통, 감정) 전반에서 정적 벡터는 좌표와 사망 연도를 예측하고(R^2 = 0.42-0.59), 대응되는 대조군 문장에서 고통을 분리하며(홀드아웃 AUC 0.85-0.88), 해당 감정을 직접 언급하지 않도록 작성된 이야기에서 12가지 감정을 분류합니다(AUC 0.84-0.88). 정적 임베딩은 각 단어에 문맥 독립적인 단일 벡터를 할당하므로, 이러한 결과는 단어 연관성만으로 지원할 수 있는 하한선에 해당합니다. LLM은 표현력 테스트에서 분명한 우위를 유지하며, 인과적 및 행동적 발견은 여전히 기준선의 범위를 벗어납니다. 원저자들의 엔티티에 대해 Llama-2 결과를 재현한 실험에서, 트랜스포머의 우위는 주로 역사적 인물을 올바른 세기에 배치하고 장소를 올바른 국가에 배치하는 등 더 풍부한 단어 연관성을 통해 향상될 것으로 기대되는 대략적인 분류에 있었습니다. 해당 그룹 내에서는 모든 표현이 항목들을 제대로 순서화하지 못했습니다. 이름의 단어가 아닌 특정 장소나 인물의 연관성을 담고 있는 모호성이 해소된 위키백과 엔티티에 대한 정적 벡터는 좌표에서는 Pythia-2.8B와 일치하고 사망 연도에서는 Llama-2-7B와 일치하며 남은 격차의 대부분을 좁힙니다. 이러한 결과는 디코딩 가능성만으로는 속성에 대한 표현과 고정된 분포적 연관성에서 이미 얻을 수 있는 정보를 구별할 수 없음을 나타냅니다.

원문 초록

A growing literature shows that variables can be linearly decoded from the activations of large language models (LLMs). These range from properties of the world, such as the locations of cities and the lifetimes of historical figures, to emotions and pain. Such findings are often taken as evidence that language models go beyond surface text statistics and form internal models of the world. We show that static word embeddings (fixed, context-insensitive representations learned from corpus statistics) of the same or matched stimuli support much of the same decoding. Across four published cases (place, time, pain and emotion), static vectors predict coordinates and year of death (R^2 = 0.42-0.59), separate pain from matched control sentences (held-out AUC 0.85-0.88), and classify twelve emotions in stories written to avoid naming them (AUC 0.84-0.88). Because static embeddings assign each word a single, context-independent vector, these results are a lower bound on what word associations alone can support. The LLMs retain clear advantages on representational tests, and causal and behavioral findings remain outside the scope of the baseline. On the original authors' entities, where we reproduce their Llama-2 results, the transformer's advantage lies mostly in placing historical figures in the right century and places in the right country, coarse sorting that richer word associations would be expected to improve; within those groups every representation orders items poorly. Static vectors for disambiguated Wikipedia entities, which carry the associations of a particular place or person rather than of the words in its name, close most of the remaining gap, matching Pythia-2.8B on coordinates and Llama-2-7B on year of death. These results indicate that decodability alone cannot distinguish a representation of a property from information already available in fixed distributional associations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.04317v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13819v1cs.LG공통 태그 Representation Learning, model interpretability

전문가 뷰를 넘어서는 공유 정준 성분 제거

Shared Canonical Component Removal Beyond Expert Views

임상 현장에서 전문가들은 종종 결정을 내리기 전에 원시 입력(raw input)을 일련의 전문가 특징(expert feature)으로 변환하는 작업부터 시작합니다. 원시 입력을 기반으로 학습된 블랙박스 모델이 전문가 뷰(expert view)로 학습된 모델보다 우수한 성능을 보일 수 있지만, 원시 모델이 전문가 뷰가 포착하는 것 이상으로 어떤 예측 신호를 활용하는지는 여전히 불분명합니다. 본 논문에서는 공유 정준 성분 제거(Shared Canonical Component Removal, SCCR)를 사용하여 이러한 격차를 정량화하는 감사 프레임워크를 제안합니다. 표준 잔차화(residualization)나 개념 소거(concept erasure)와 달리, SCCR은 학습된 원시 임베딩과 전문가 임베딩 사이에서 강하게 공유되는 방향만을 선택적으로 제거합니다. 합성 데이터, 관상동맥 질환(CAD) 감지, 항우울제 치료 중단(dropout) 예측, 그리고 SkinCon 주석을 활용한 피부 병변 분류에 대한 평가를 통해, SCCR이 전문가 뷰가 불충분한 방식을 식별하고 전문가 뷰와의 중복성을 최소화하면서 잔여 예측 신호를 복원함을 보여줍니다.

arXiv:2609.26853v1cs.LG공통 태그 Representation Learning, Word Embeddings

COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation

대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.

arXiv:2609.27074v1cs.CY공통 태그 Representation Learning, Word Embeddings

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2610.10850v2cs.LG공통 태그 Representation Learning

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.