arXiv:2606.23394v1 cs.CL

LLM 임베딩 공간은 전문가 구조를 복원하는가?

Do LLM Embedding Spaces Recover Expert Structure?

Yixuan Zhu, Zhenke Duan, Fanghen Li

제출 2026-06-22

한국어 초록

사전학습된 텍스트 임베딩은 점점 표현 지도로 사용되고 있지만, 높은 범주 분리성이 그 기하학이 전문가가 정의한 구조를 복원한다는 뜻은 아니다. 우리는 증상 관계가 외부 기준을 제공하고 온라인 커뮤니티가 강한 도메인, 정서적, 문체적, 담화적 교란 요인을 도입하는 정신 건강 관련 언어에서 이 문제를 연구한다. Reddit 커뮤니티 28개를 사용해 두 규모(0.6B 및 4B)에서 사전학습된 Qwen3 임베딩 공간과 지도 미세조정 Qwen3 임베딩 공간을 비교한다. 범주 프로토타입을 구성하고, 표현적 유사성 분석(representational similarity analysis)으로 표현적 비유사도 행렬을 전문가 증상 행렬과 대조해 평가하며, 이 전역 검증을 프로토타입 기반 전형성(typicality) 및 다중 기준선 교란 요인 통제로 보완한다. 사전학습된 임베딩은 정신 건강 부분집합 내에서 전문가 구조와 측정 가능한 정렬(alignment)을 보이며, 미세조정은 가장 세밀한 범주 수준에서 이 정렬을 가장 크게 강화하고, 더 큰 규모는 제로샷(zero-shot) 정렬과 지도 학습으로 유도된 향상 모두를 개선한다. VAD, LIWC, 어휘 문체, 주제 분포 구조에 대한 통제 후에도 잔여 정렬은 여전히 상당하다. 이 결과는 LLM 임베딩이 전문가 관련 범주 기하학을 복원할 수 있음을 시사하지만, 이 복원은 수준에 의존적이며 분류만으로 추론하기보다 명시적 교란 요인에 대해 검증해야 함을 나타낸다.

원문 초록

Pretrained text embeddings are increasingly used as representational maps, yet high category separability does not imply that their geometry recovers expert-defined structure. We study this problem in mental-health-related language, where symptom relations provide an external reference and online communities introduce strong domain, affective, stylistic, and discourse confounds. Using 28 Reddit communities, we compare pretrained and supervised fine-tuned Qwen3 embedding spaces at two scales (0.6B and 4B). We construct category prototypes, evaluate their representational dissimilarity matrices against an expert symptom matrix with representational similarity analysis, and complement this global test with prototype-based typicality and multi-baseline confound controls. Pretrained embeddings show measurable alignment with expert structure within the mental-health subset; fine-tuning strengthens this alignment most at the finest category level; and larger scale improves both zero-shot alignment and supervision-induced gains. Residual alignment remains substantial after controlling for VAD, LIWC, lexical style, and topic-distribution structure. These results suggest that LLM embeddings can recover expert-relevant category geometry, but this recovery is level-dependent and should be tested against explicit confounds rather than inferred from classification alone.

요약

Reddit 정신 건강 커뮤니티 28개에서 Qwen3 임베딩(0.6B·4B)의 표현 유사성 분석(RSA)과 교란 요인 통제를 통해, 범주 분리성만으로는 전문가 증상 구조 복원을 보장할 수 없음을 보인다. 사전학습 임베딩은 전문가 구조와 측정 가능한 정렬을 보이고 미세조정·대규모 모델이 세밀한 수준의 정렬을 강화하며, VAD·LIWC·문체·주제 분포를 통제한 뒤에도 잔여 정렬이 남아 LLM 임베딩이 전문가 관련 범주 기하학을 부분적으로 복원할 수 있음을 시사한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.23394v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27074v1cs.CY공통 태그 Representation Learning, Word Embeddings, Semantic Similarity

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2610.13476v1cs.CL공통 태그 Representation Learning, representational similarity analysis

더 나은 지표로는 소용없다: 무엇을 비교하느냐가 어떻게 비교하느냐보다 중요하다

A Better Metric Will Not Save You: What You Compare Beats How You Compare It

표현 유사도 측도(RSA, CKA, Procrustes)는 자신이 무관하다고 취급하는 변환에 따라 선택되며, 이들 모두는 조건들의 집합을 주어진 것으로 받아들인다. 그 집합은 두 가지 결정, 즉 어떤 입력을 허용할지와 그것들을 어떻게 그룹화할지에 의해 고정되는데, 둘 다 측도가 작동할 행렬이 존재하기 전에 이루어진다: 어떤 불변성(invariance) 속성도 이 결정들에는 미치지 못한다. 우리는 조건들이 가져야 할 배열이 비교 대상 시스템과 독립적으로 알려져 있는 설정, 즉 15개 언어와 27개 표현(representation)에 걸친 모음(vowel)의 음향적 조직(acoustic organisation)에서 이 측도들의 가치를 측정한다. 범주의 개수를 고정한 채 어떤 범주를 비교하는지를 바꾸면 두 표현 간의 격차가 측정 대상 효과의 두 배 이상 움직이지만, 범주의 개수를 바꾸는 것은 전혀 영향을 주지 않는다. 이 설정에서는 이러한 선택에 따라 모델의 순위는 식별 가능하지만, 언어 간 순위는 그렇지 않다.

arXiv:2609.28290v1cs.CL공통 태그 Representation Learning, Semantic Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.26853v1cs.LG공통 태그 Representation Learning, Word Embeddings

COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation

대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.

arXiv:2609.27252v1cs.LG공통 태그 Representation Learning, Semantic Similarity

플라톤적 표현 가설에서 무엇이 수렴하는가? 기하학보다 구조

What Converges in the Platonic Representation Hypothesis? Structure over Geometry

플라톤적 표현 가설(Platonic Representation Hypothesis)은 모델의 능력이 향상될수록 공유된 표현으로 수렴(convergence)한다고 제안합니다. 최근 연구에서는 이 주장을 공유된 국소적 이웃 관계로 좁히며, 보정(calibration)을 거치고 나면 여러 전역적 유사도 측정치에서 나타나는 용량 의존적 경향이 대체로 사라진다는 점을 발견했습니다. 본 연구에서는 기존의 국소-전역 비교가 구조적 스케일(국소적 대 전역적)과 비교 대상 자체를 혼동하고 있음을 보여줌으로써 이러한 해석에 의문을 제기합니다. 즉, 어떤 샘플들이 연관되어 있는지를 정의하는 '관계적 구조(relational structure)'와 거리, 유사도, 상관관계와 같은 정량적 관계로 특징지어지는 '계량적 기하학(metric geometry)'을 혼동했다는 것입니다. 이러한 요인들을 분리하기 위해, 국소 및 전역 스케일 모두에서 관계적 구조와 계량적 기하학을 평가하는 통제된 $2\times2$ 프레임워크를 구축합니다. 상호 $k$-최근접 이웃(mutual $k$-nearest neighbors)의 전역적 대응물로서 $H_0$ 스켈레톤 중첩(skeleton overlap)을 도입하고, 이에 대응하는 거리 인식(distance-aware) 변형들도 함께 제시합니다. 비전-언어 모델 전반에 걸쳐, 관계적 구조는 보정 후 두 스케일 모두에서 강력한 표현 수렴을 보이는 반면, 거리에 대한 일치 기준이 엄격해질수록 정렬(alignment)이 크게 약화되며 용량 의존적 경향도 점차 평탄화됩니다. 나아가 리만 계량 근사(Riemannian metric approximation) 하에서 거리 일치도를 평가함으로써 주변 유클리드 기하학을 넘어서는 분석으로 확장하였으며, 동일한 구조-기하학 패턴을 재현해 냈습니다. 이 패턴은 비디오-텍스트 표현에서도 동일하게 재현됩니다. 종합적으로, 이러한 결과는 관계적 수렴이 국소적 이웃을 넘어 전역적 스패닝 구조(global spanning structure)로까지 확장되는 반면, 계량적 기하학은 현저히 약한 수렴을 보임을 명백히 드러냅니다.

arXiv:2609.26218v1cs.IR공통 태그 Representation Learning, Semantic Similarity

학술 출판 네트워크에 대한 시맨틱 접근법: OpenAlex 데이터 기반 문서 벡터 표현 및 하이브리드 구조적-시맨틱 융합

A Semantic Approach to the Academic Publishing Network: Document Vector Representations and Hybrid Structural-Semantic Fusion over OpenAlex Data

학술 출판 네트워크에 대한 구조적 그래프 분석은 엔티티 간의 위상학적 관계를 포착하지만 연구 저작물의 내용은 파악하지 못합니다. 본 연구는 기존 구조적 접근법을 바탕으로 시맨틱 층(layer)과 매개변수화된 구조적-시맨틱 융합을 통해 이를 보완합니다. 우리는 과학 문헌을 인용 정보 기반 벡터 임베딩(SPECTER2)으로 표현하고, 고유한 OpenAlex ID를 키로 하여 임베디드 벡터 데이터베이스에 저장함으로써 그래프 층과 직접 연결되도록 합니다. 또한 시맨틱 유사도(임베딩의 코사인 유사도)와 구조적 유사도(서지 결합)를 특정 태스크에 따라 값이 선택되는 조정 가능한 가중치(weight) 알파(alpha)로 결합하는 모듈형 후기 융합 함수를 정의합니다. VSB - Technical University of Ostrava 코퍼스를 대상으로 두 가지를 보여줍니다. 즉, 인용 정보 기반 임베딩은 TF-IDF 기준선(baseline)보다 전문가가 구축한 OpenAlex 주제 분류 체계와 더 잘 일치하며, 추천 활용 사례에서는 가용 데이터에 따라 구조적, 시맨틱 및 결합된 신호가 서로 다른 체계에서 정보를 전달한다는 점입니다. 여기서 하이브리드 융합은 보편적으로 더 우수한 방법이라기보다는 태스크에 맞추어 상호 보완적인 신호를 제어하기 위한 명시적 메커니즘입니다. 우리는 재현 가능한 워크플로와 함께 전체 접근법을 apnet 라이브러리의 오픈 소스 확장으로 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.