arXiv:2607.05416v1 cs.CL

중첩 및 계층적 반복으로부터의 텍스트 거리: 압축 기반 관점

Text Distance from Nested and Hierarchical Repetitions: A Compression-Based Perspective

Xiaojun Hu, Jing Wang, Jingwen Zhang, Fengyao Zhai, Xiao Xie, Hao Liao, Zengru Di, Yu Liu

제출 2026-06-23

한국어 초록

우리는 알고리즘 정보 이론(AIT)에 기반한 구조적 시퀀스 분석을 위한 새로운 방법을 제시한다. 핵심은 Ladderpath 접근법으로, 언어 시퀀스 내 반복되는 하위 구조들 사이의 중첩 및 계층적 관계를 추출한다. 이는 최소 생성 프로그램을 통해 데이터를 기술하는 AIT 원리의 구체적 구현이다. 이러한 구조를 기반으로 세 가지 거리 측도를 정의한다: 정규화 압축 거리(NCD)와 Ladderpath 표현에서 직접 도출된 두 가지 대안적 거리이다. $k$-최근접 이웃 분류기와 결합하여, 이 거리들은 분포 내(in-distribution), 분포 외(OOD), 퓨샷(few-shot) 텍스트 분류 태스크 전반에 걸쳐 강력하고 일관된 성능을 달성한다. 특히, 세 가지 방법 모두 OOD 및 저자원(low-resource) 환경에서 gzip 기반 NCD와 BERT를 능가한다. 이 결과는 Ladderpath가 포착하는 구조적 표현이 시퀀스의 본질적 속성을 보존하며, 텍스트 모델링을 위한 경량화되고 해석 가능한 학습 불필요(training-free) 대안을 제공함을 보여준다. 본 연구는 구조적이고 도메인 불가지론적인 시퀀스 이해를 위한 AIT 기반 접근법의 잠재력을 부각한다.

원문 초록

We present a new method for structural sequence analysis grounded in Algorithmic Information Theory (AIT). At its core is the Ladderpath approach, which extracts nested and hierarchical relationships among repeated substructures in linguistic sequences -- an instantiation of AIT's principle of describing data through minimal generative programs. These structures are then used to define three distance measures: a normalized compression distance (NCD), and two alternative distances derived directly from the Ladderpath representation. Integrated with a $k$-nearest neighbor classifier, these distances achieve strong and consistent performance across in-distribution, out-of-distribution (OOD), and few-shot text classification tasks. In particular, all three methods outperform both gzip-based NCD and BERT under OOD and low-resource settings. These results demonstrate that the structured representations captured by Ladderpath preserve intrinsic properties of sequences and provide a lightweight, interpretable, and training-free alternative for text modeling. This work highlights the potential of AIT-based approaches for structural and domain-agnostic sequence understanding.

요약

Ladderpath 접근법을 활용해 언어 시퀀스 내 반복 하위 구조 간의 중첩·계층적 관계를 추출하고, 이를 기반으로 정규화 압축 거리(NCD) 및 Dice·Jaccard 계수에서 영감을 받은 두 가지 거리 측도를 정의한다. $k$-최근접 이웃 분류기와 결합한 세 가지 거리 측도는 분포 외(OOD) 및 퓨샷(few-shot) 설정에서 gzip 기반 NCD와 BERT를 모두 능가하며, 학습 없이도 효과적인 텍스트 분류가 가능함을 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05416v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10920v1cs.LG공통 태그 Representation Learning, Information Retrieval

전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델

Language Models for Page-Level Layout Decisions in E-commerce Search

전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.

arXiv:2609.28290v1cs.CL공통 태그 Representation Learning, Information Retrieval

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27784v1cs.IR공통 태그 Representation Learning, Information Retrieval

EidosDoc: 비용 효율적인 반구조화 문서 QA를 위한 암시적 구조 인코딩

EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA

반구조화 문서는 과학 보고서, 재무제표, 기술 매뉴얼 등에서 흔히 등장한다. 이러한 문서에 대한 질의응답(QA)은 텍스트, 표, 차트, 복잡한 계층적 레이아웃을 동시에 이해해야 한다. 기존 방법은 구조 파싱과 검색을 위해 대규모 언어 모델(LLM)을 반복 호출하여 높은 비용과 큰 지연을 초래하거나, 문서를 평탄화하여 레이아웃과 계층 정보를 잃고 답변 정확도를 희생한다. 이를 해결하기 위해 최소한의 계산 비용으로 최고 수준의 정확도를 달성하는 새로운 시스템 EidosDoc을 제안한다. 우리 접근법은 세 가지 핵심 혁신을 도입한다. (1) 대조 학습(contrastive learning)과 구조 일관성 손실(structure consistency loss)으로 학습되는 암시적 구조 인코더(Implicit Structure Encoder). 이 모듈은 계층적 관계, 공간적 위치, 텍스트 내용을 밀집 벡터 공간에 공동 임베딩하여, 수동으로 정의하고 오류가 발생하기 쉬운 구조 없이 문서 구조를 전체적으로 포착한다. (2) BM25, 레이아웃 핑거프린트, 경량 cross-encoder를 활용해 LLM을 전혀 호출하지 않고 고정밀도 검색을 수행하는 하이브리드 검색 파이프라인으로, 비용과 지연을 크게 줄인다. (3) 공간적으로 인접하고 구조적으로 관련된 증거를 적응적으로 검색하여 고정 경로 검색 방법에서 흔한 증거 누락을 극복하는 동적 증거 확장(Dynamic Evidence Expansion) 메커니즘. 네 개의 벤치마크에서 EidosDoc을 평가했으며, 종합 평가 결과 EidosDoc은 네 벤치마크 모두에서 새로운 최고 수준의 정확도를 달성한다. 특히 이전 최고 수준 방법 대비 비용은 50배 감소하고 지연은 4배 낮다. 이 결과는 EidosDoc이 정확도, 비용, 속도 사이의 새로운 최적 절충을 확립하며, 정확한 반구조화 문서 분석을 위한 실용적이고 확장 가능한 경로를 제공함을 보여준다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.