PyTorchKR Papers

최신 논문

총 2,732편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05790v1cs.AI

헤딩별 활성화 조향을 이용한 도구 사용 제어

Controlling Tool Use with Heading-Specific Activation Steering

헤딩 앵커(heading-anchor) 위치에서 추출한 활성화 조향(activation steering) 벡터를 이용해 도구가 증강된 대규모 언어 모델(LLM)의 불필요한 도구 호출을 추론 시점에 양방향으로 제어할 수 있음을 5개의 오픈소스 모델과 3개의 도메인에서 검증했다. 파라메트릭 추론으로 충분한 도메인에서 억제 효과가 가장 뚜렷했으나, 기하학적 분석에서는 도구 사용 조향 벡터가 선형 표현 가설(linear representation hypothesis)에서 예측하는 깔끔한 구조가 아닌 확산된 이봉형(bimodal) 분포를 보여, 이러한 비선형 구조와 인과적 효과 사이의 관계는 미해결 문제로 남는다.

arXiv:2607.05708v1cs.AI

Akashic: MemAttention을 활용한 저오버헤드 LLM 추론 서비스

Akashic: A Low-Overhead LLM Inference Service with MemAttention

LLM 기반 에이전트의 멀티턴 상호작용에서 누적되는 긴 컨텍스트 문제를 해결하기 위해, 컨텍스트를 고정 크기 청크로 구조화하고 청크 간 의미 관계를 모델링하는 MemAttention을 핵심으로 한 저오버헤드 메모리 시스템 Akashic을 제안한다. 하드웨어-소프트웨어 공동 설계 메모리 배치를 통해 검색 단편화와 I/O 오버헤드를 줄였으며, 4가지 벤치마크 실험에서 기존 메모리 베이스라인 대비 태스크 정확도 최대 10.2포인트, 처리량 최대 1.21배, 지속 가능한 요청 처리율 최대 1.88배 향상을 달성했다.

arXiv:2510.07364v4cs.AI

기반 모델은 추론 방법을 알고, 사고 모델은 추론 시점을 학습한다

Base Models Know How to Reason, Thinking Models Learn When

RL 학습된 사고 모델(thinking model)과 SFT 증류 모델이 기반 모델 대비 무엇을 다르게 학습하는지 분석하기 위해, 희소 오토인코더(Sparse Autoencoder)로 추론 분류 체계를 비지도 방식으로 발견하고 구성적 모델 차분(constructive model diffing) 프레임워크를 제안한다. 9개의 기반/사고 모델 쌍 실험 결과, RL 학습은 기반 모델에 이미 존재하는 추론 메커니즘을 언제 활용할지 결정하는 휴리스틱을 주로 학습하는 반면, SFT 증류는 새로운 메커니즘 자체를 설치함을 보이며, 이는 효율적인 추론 모델 개발에 중요한 시사점을 제공한다.

arXiv:2607.04809v1stat.ML

데이터 증류를 통한 표 형식 기반 모델의 컨텍스트 제약 전이학습

Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation

표 형식 기반 모델(TFM)의 전이학습에서 컨텍스트 크기 제약과 분포 이동으로 인한 부정적 전이(negative transfer) 문제를 해결하기 위해, 예산 제약 최적 수송(optimal transport) 기반 앵커 선택과 로컬 지식 증류(distillation)를 결합한 TL-ANDI 프레임워크를 제안한다. TL-ANDI는 소스 데이터에서 타겟 공변량 커버리지와 사후분포 호환성을 동시에 고려해 대표 샘플을 선별하고 잔차 보정을 적용함으로써, 회귀 및 분류 태스크 모두에서 부정적 전이 없는 안전한 전이학습을 이론적·실증적으로 보장한다.

arXiv:2607.03660v1stat.ML

순차적 상관관계가 문맥 내 학습을 변화시킨다: 유효 컨텍스트 길이와 아키텍처 불일치

Sequential Correlations Change In-Context Learning: Effective Context Length and Architectural Mismatch

현대 시퀀스 모델은 문맥 내 학습(ICL)에 대한 놀라운 능력을 갖추고 있으며, 프롬프트에 주어진 예시만을 기반으로 새로운 태스크를 수행할 수 있다. 이 능력이 어떻게 창발하는지 이해하려면 자연 데이터의 중요한 속성을 포착하는 이론이 필요하다. 선형 회귀는 ICL 이론의 유용한 실험 환경으로 활용되어 왔으나, 기존 연구는 대부분 독립적인 예시로 구성된 프롬프트에 초점을 맞추어 왔다. 본 연구에서는 이 설정을 실제 시퀀스의 기본적 특성인 순차적으로 상관된 데이터로 확장한다. 우리는 선형 어텐션 기반의 풀 수 있는 모델을 제시하고, 현실적인 트랜스포머 아키텍처에서 우리의 예측을 검증한다. 두 가지 뚜렷한 효과를 확인하였다: 첫째, 쿼리 토큰이 컨텍스트와 독립적인 경우, 컨텍스트 내 상관관계는 유효 컨텍스트 길이를 유발한다—즉, 상관된 프롬프트는 더 짧은 i.i.d. 프롬프트처럼 동작한다. 둘째, 쿼리가 컨텍스트와 상관되어 있는 경우 테스트 오류가 감소하며, 이는 특히 선형 어텐션과 비교했을 때 소프트맥스 어텐션에서 두드러진다. 이러한 결과는 상관된 프롬프트가 문맥 내 학습의 유효 샘플 크기뿐만 아니라, 태스크에 가장 적합한 어텐션 아키텍처도 변화시킴을 시사한다.

arXiv:2607.04846v1cs.LG

사전학습 커리큘럼이 선택적 미세조정을 가능하게 한다

Pretraining Curricula Enable Selective Fine-tuning

불균형 사전학습 커리큘럼(imbalanced pretraining curricula)이 트랜스포머의 태스크 표현을 분리된 신경 회로(separable neural circuits)로 유도하여 문맥 내 학습(ICL) 일반화를 향상시키고 거부 미세조정(refusal fine-tuning)의 선택성을 높이는 반면, 균형적 커리큘럼은 두 태스크를 공유 경로로 처리해 과도한 거부(overrefusal) 문제를 유발함을 보인다. 합성 언어 학습 실험에서도 불균형 커리큘럼이 더 국소화된 규칙 표현과 강건한 규칙 준수 행동을 이끌어내어, 사전학습 커리큘럼 설계가 AI 안전성(safety) 파인튜닝의 정밀도와 신뢰성에 직접적인 영향을 미침을 시사한다.

arXiv:2607.04081v1cs.LG

인과적 언어 모델과 마스킹 언어 모델을 아우르는 문맥 내 학습의 통합 프레임워크

A Unified Framework for In-Context Learning with Causal and Masked Language Models

자기회귀 목적 함수(autoregressive objective)에 주로 집중되어 온 문맥 내 학습(ICL) 이론을 마스킹 언어 모델(masked language model)까지 확장하기 위해, 본 연구는 문맥 예시를 경험적 측도로 표현하는 통합 통계적 학습 프레임워크를 제안하고 Wasserstein 조건 하에서 두 사전학습 목적 함수에 대한 동일 차수의 초과 위험(excess risk) 상한을 도출한다. 함수 학습 실험에서 Masked Pair Encoder(MPE)가 GPT-2 계열 인과적 트랜스포머에 필적하는 성능을 달성함으로써, ICL 능력이 인과적 언어 모델에만 국한되지 않음을 이론적·실험적으로 뒷받침한다.

arXiv:2607.04013v1cs.LG

소규모 데이터는 언제 효과적인가? 하지·우므라 군중 상태 분류를 위한 표 형식 파운데이션 모델과 전통적 방법 간의 정확도 및 효율성 트레이드오프

When Does Small Data Work? Accuracy and Efficiency Trade-offs Between Tabular Foundation Models and Conventional Methods for Crowd-State Classification at Hajj and Umrah

하지·우므라 군중 모니터링처럼 레이블 비용이 높은 환경에서 테이블 형식 파운데이션 모델과 전통적 머신러닝 방법 간의 정확도 및 효율성 트레이드오프를 비교한 연구로, 3개의 실제 데이터셋을 활용해 레이블 예산별 성능을 분석했다. 레이블이 극히 적을 때는 파운데이션 모델이 우세하지만, 레이블이 늘어날수록 튜닝된 그래디언트 부스팅 모델이 이를 따라잡거나 능가하며, 두 접근법은 계산 비용 면에서도 뚜렷한 차이를 보였다.

arXiv:2607.03932v1cs.LG

MPSelectTune: 미세조정을 위한 프롬프트 유형 선택이 LLM의 개념 언러닝을 향상시킨다

MPSelectTune: Prompt-type Selection for Fine-tuning improves Concept Unlearning in LLMs

MPSelectTune은 LLM에서 성별 편향이나 생물무기 관련 유해 개념을 언러닝(unlearning)할 때 프롬프트 유형 변화의 영향을 간과하는 기존 방법의 한계를 해결하기 위해, 개념 예측 정확도가 가장 높은 '최악의 프롬프트 유형'을 선택적으로 활용하는 2단계 파인튜닝 방식을 제안한다. 4개 벤치마크 실험에서 주요 태스크 정확도를 최대 15% 향상시키면서 최악의 경우 개념 정확도를 최대 17%까지 낮추는 성능을 달성했다.

arXiv:2607.03453v1cs.LG

Best-of-Better-$N$: 문맥 내 학습을 통한 사전 정렬 응답 생성

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

참조 LLM의 샘플링 분포가 고보상 영역을 충분히 커버하지 못해 Best-of-N 같은 추론 시점 정렬(inference-time alignment) 방법이 실패하는 문제를 해결하기 위해, BoBN(Best-of-Better-N)은 입력 쿼리와 관련된 고보상 예시를 검색하고 참조 LLM이 이를 대상 태스크의 형식에 맞게 재작성(restyling)한 뒤 문맥 내 학습(ICL)으로 샘플링 분포를 이동시키는 프레임워크를 제안한다. 안전성 정렬 및 수학적 추론 벤치마크 실험에서 BoBN은 파인튜닝 없이 여러 참조 LLM의 응답 품질을 향상시켜 고정된 샘플 수 N에서 더 높은 성능을 달성하거나 동일 성능에 필요한 N을 줄이는 것을 증명 가능한 이론적 근거와 함께 실증적으로 보였다.

arXiv:2607.02800v1cs.LG

유도 헤드는 N-그램을 보간한다

Induction Heads Interpolate N-Grams

유도 헤드(induction heads)는 트랜스포머의 문맥 내 학습(in-context learning)을 뒷받침하는 것으로 여겨지는 어텐션 회로이지만, 이들이 구현하는 추정기에 대한 정확한 특성 규명은 아직 이루어지지 않았다. 우리는 order-$k$ 마르코프 체인으로 학습된 트랜스포머를 연구하고 두 가지 상보적인 스무딩 메커니즘을 규명한다. 첫째, 유한한 어텐션 가중치 스케일에서, 해당 회로는 소프트 컨텍스트 매칭 추정기를 구현한다: 완전 및 부분 컨텍스트 매칭의 기여를 중첩도에 따라 지수적으로 가중하여 집계하며, Jelinek-Mercer 스무딩과 유사하게 데이터 의존적인 컨텍스트 차수 간 보간을 유도한다. 둘째, 시퀀스 시작(BOS) 토큰이 가법적 유사 카운트(pseudo-counts)를 유도하여 디리클레 방식 스무딩을 복원한다. 우리는 두 메커니즘을 모두 구현하는 분리된 트랜스포머를 구성하고, 학습된 트랜스포머가 예측된 어텐션 패턴을 복원함을 보인다. 유사 카운트 스무딩이 최적이거나 저차 컨텍스트가 구조화된 근거를 제공하는 설정에서, 학습된 트랜스포머는 고전적인 카운트 기반 기준선과 동등하거나 이를 능가한다. 우리의 결과는 유도 헤드의 기계적 해석 가능성(mechanistic interpretability)을 고전적 통계 스무딩과 연결하며, 트랜스포머가 단순히 카운팅하는 것이 아니라 문맥 내 추정을 정규화하도록 학습됨을 밝힌다.

arXiv:2607.04890v1cs.CL

반유대주의 사건 분류를 위한 대규모 언어 모델 평가

Evaluating Large Language Models for Antisemitic Incident Classification

사회 내 혐오 및 폭력 문제에 대응하기 위해서는 공개 보고로부터 혐오 사건을 적시에 탐지해야 하지만, 혐오 사건의 자동 식별은 아직 충분히 연구되지 않은 분야이다. 본 연구에서는 혐오 사건 탐지(hateful event detection) 태스크를 새롭게 제안하고, AI 시스템, 특히 대규모 언어 모델(LLM)이 반유대주의 사건 보고를 세분화된 레이블로 발견·분류하는 능력을 탐구한다. 우리는 뉴스 기사, 시민 사회 보고서, 공식 기록에서 수집한 반유대주의 사건 설명이 담긴 다수의 전문가 주석 데이터셋을 대상으로 OpenAI의 GPT-4o와 Meta의 Llama-3.2-3B-Instruct를 평가한다. 실험 결과, LLM, 특히 GPT-4o는 이 태스크에 잠재력을 보이지만 상당한 개선이 필요함을 확인하였다. 프롬프트에 명확한 용어 정의와 문맥 내 학습(ICL) 예시를 제공하면 성능이 향상되는데, 정의는 수사적 사건(예: 전통적인 반유대주의 논조)에, 예시는 행동 지향적 사건(예: 물리적 폭행)의 레이블 분류에 더 효과적이었다. 대학 신문을 대상으로 한 사례 연구에서는 LLM이 관련 실세계 사건을 발굴하여 조기 모니터링 및 개입을 지원할 수 있음을 보였다. 종합적으로, 본 연구의 결과는 복잡한 피해를 인식하는 AI의 능력에서 기회와 중요한 한계를 동시에 부각하며, 혐오를 효율적이고 효과적으로 정의·대응하기 위한 모델 설계, 강건한 평가 체계 구축, 정책 프레임워크 개발을 위해 AI 개발자, 정책 입안자, 시민 사회 간 협력이 필요함을 강조한다.

arXiv:2607.04523v1cs.CL

언어 통계로부터 핵심 개념적 구분을 학습하는 것의 실패와 성공

Failures and Successes to Learn a Core Conceptual Distinction from the Statistics of Language

"호랑이는 줄무늬가 있다"와 "자동차에는 라디오가 있다"와 같은 일반적 진술은 대체로 사실인 정보를 전달한다. 그러나 첫 번째 진술은 원칙적으로 참인 반면, 두 번째 진술은 통계적으로만 참이다. 사람들은 이 원칙적 참과 통계적 참의 구분에 매우 민감하다. 어떤 것이 범주 구성원이기 때문에 참인 경우와 단순한 통계적 규칙성 때문에 참인 경우를 구별하는 이 능력은 인간 개념 체계의 일반적 속성이며, 그 자체로는 학습될 수 없다는 주장이 있어 왔다. 본 연구에서는 원칙적 속성과 통계적 속성 간의 구분이 언어 자체로부터 학습될 수 있는지를 탐구한다. 만약 그렇다면, 언어 경험이 핵심 개념적 구분을 부트스트랩할 수 있으며 언어로부터 직접 정교한 인과 모델을 학습하는 것이 가능하다는 가능성이 제기된다. 우리는 언어 모델들이 모두 통계적 유병률(prevalence)에 민감하지만, 유병률을 통제한 상태에서 원칙적-통계적 구분을 표상하는 데 어려움을 겪는다는 것을 발견했다. GPT-4에 이르러서야 비로소 이 구분에 성공한다.

arXiv:2607.03726v1cs.CL

SelfMem: Self-Optimizing Memory for AI Agents

While current AI agents support increasingly long context windows, tool use, and skill execution for long-horizon tasks, they still require memory systems to effectively leverage historical experience. Existing memory frameworks typically rely on fixed storage, retrieval, and summarization mechanisms, which can be rigid across different tasks and often require manual tuning. To address this limitation, we propose SelfMem, a self-optimizing memory framework. Inspired by prior work on self-improving AI, we follow the principle of "teaching an agent to fish rather than giving it a fish." Instead of forcing the model to follow a predefined memory strategy or format, SelfMem provides an environment with memory tools and feedback signals that allow the agent to explore, evaluate, and refine its own memory strategy. Our results show that SelfMem consistently outperforms retrieval, compression, and agent-memory baselines on BEAM across conversation scales from 100K to 1M tokens. Compared with the strongest baseline, SelfMem improves the official score by 48.7%, 40.8%, and 41.9% at 100K, 500K, and 1M, respectively. Further question-type analysis shows broad robustness across diverse memory demands, and our optimization study shows that model-guided strategy refinement further improves performance.

arXiv:2607.03160v1cs.CL

대규모 언어 모델에서 프롬프트 언어와 번역 이론 기반 프롬프트의 역할: 스페인어-중국어 저널리즘 번역 사례 연구

The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish-Chinese Journalistic Translation

본 연구는 프롬프트 언어와 번역 이론 기반 프롬프트 설계가 GPT-5.2가 생성하는 스페인어-중국어 저널리즘 번역의 품질에 미치는 영향을 조사한다. El Pais의 사설 4편으로 구성된 병렬 코퍼스를 48가지 실험 조건(프롬프트 유형 4종, 프롬프트 언어 3종, 기사 4편)에서 번역하였다. 번역 품질은 자동 평가를 위해 BLEU와 BERTScore-F1을 사용하고, 다차원 품질 메트릭(MQM) 프레임워크에 기반한 인간 평가를 병행하였다. 자동 평가 지표는 기준선 프롬프트(BASE)를 최고 성능 조건으로 식별한 반면, 인간 평가에서는 브리프 지향 프롬프트(BRIEF)가 가장 높은 순위를 기록하였다(MQM: 8.66 대 7.84). 이러한 역전 현상은 자동 평가 방식에 내재된 단일 참조 제약에 기인할 가능성이 높다. 하위 오류 유형 분석 결과, 번역 이론 기반 프롬프트는 어색한 문체(Awkward style) 오류를 선택적으로 감소시킨 반면, 비관용적 문체(Unidiomatic style) 오류는 모든 조건에서 지속되었다. 프롬프트 언어는 두 평가 패러다임 모두에서 무시할 수 있는 수준의 영향만 미쳤다. 이러한 결과는 번역 이론 기반 프롬프트가 저널리즘 번역의 전문가 평가에서 측정 가능한 품질 향상을 가져올 수 있음을 시사하지만, 언어 학습자를 위한 교육적 함의는 시사적 수준에 머물며 사용자 기반 연구를 통한 검증이 필요하다.

arXiv:2607.02881v1cs.CL

PraMem: 장기 행동 예측을 위한 실전 기반 경험적 메모리

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

장기 행동 예측(long-horizon behavior prediction)은 긴 이력 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 담당한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측에 유망한 방향을 제시하지만, LLM은 장기 행동 예측에 있어 잠재적 행동 패턴 귀납 및 모델 내재적 인지 편향 문제를 겪는다. 기존의 메모리 관리 방법들은 이력 시퀀스의 부담을 완화하여 이 문제를 해결하려는 컨텍스트 압축 패러다임을 따르지만, 핵심 과제를 해결하지 못한다. 본 논문에서는 긴 이력 시퀀스를 부담이 아닌 활용 가능한 가치 있는 자원으로 재정의하는 패러다임 전환을 제안하며, 이에 따라 PraMem을 제안한다. PraMem은 긴 이력 시퀀스에 대해 사전 실전 훈련(practice)을 수행하여 경험적 메모리(experiential memory)를 구축하고, 이를 정확한 장기 행동 예측을 위한 보조 입력으로 활용한다. 다양한 태스크에 걸친 광범위한 실험을 통해 PraMem이 기존 방법보다 우월한 성능을 달성함을 입증하며, 심층 분석을 통해 경험적 메모리의 메커니즘과 발전 과정에 대한 유의미한 인사이트를 제공한다. 코드: https://github.com/icip-cas/PraMem.

arXiv:2602.06358v3cs.CL

SHINE: 단일 순전파로 컨텍스트를 LoRA에 매핑하는 확장 가능한 인-컨텍스트 하이퍼네트워크

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

우리는 다양한 의미 있는 컨텍스트를 대규모 언어 모델(LLM)을 위한 고품질 LoRA 어댑터로 매핑할 수 있는 확장 가능한 하이퍼네트워크인 SHINE(Scalable Hyper In-context NEtwork)을 제안한다. 동결된 LLM 자체의 매개변수를 인-컨텍스트 하이퍼네트워크 설계에서 재사용하고 아키텍처 혁신을 도입함으로써, SHINE은 기존 하이퍼네트워크의 핵심 한계를 극복하고 상대적으로 적은 수의 매개변수로 강력한 표현력을 달성한다. 우리는 사전학습 및 인스트럭션 미세조정 파이프라인을 도입하고, 단일 순전파로 다양한 의미 있는 컨텍스트에서 고품질 LoRA 어댑터를 생성하도록 하이퍼네트워크를 학습시킨다. 이 방법은 어떠한 미세조정 없이도 LLM 매개변수를 업데이트하며, 컨텍스트에 직접 접근하지 않고도 컨텍스트와 관련된 복잡한 질의응답 작업을 즉시 가능하게 하여, 단일 순전파로 컨텍스트 내 지식을 매개변수 내 지식으로 효과적으로 변환한다. 우리의 연구는 다양한 작업에서 뛰어난 결과를 달성하고, SFT 기반 LLM 적응 방식에 비해 시간, 연산 및 메모리 비용을 크게 절감하며, 스케일링에 대한 큰 잠재력을 보여준다. 코드는 https://github.com/MuLabPKU/SHINE 에서 확인할 수 있다.

arXiv:2602.04853v2cs.CL

분해 프롬프팅은 지식 격차를 해결하지 못하지만, 모델이 "모르겠다"고 말하도록 돕는다

Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know"

대규모 언어 모델(LLM)은 클로즈드북 질의응답에서 자신의 지식 한계를 인식하는 데 어려움을 겪는 경우가 많으며, 이로 인해 자신감 있는 환각(hallucination)이 발생한다. 분해 프롬프팅(decomposed prompting)은 일반적으로 정확도 향상을 위해 사용되지만, 본 연구에서는 신뢰성에 미치는 영향을 조사한다. 우리는 서로 다른 모델 규모와 다중 홉(multi-hop) QA 벤치마크에 걸쳐 과제 동등한 세 가지 프롬프팅 방식인 Direct, Assistive, Incremental을 평가한다. 분해를 통한 정확도 향상은 최전선 모델(frontier model)에서 감소하지만, 프롬프팅 방식 간 불일치가 잠재적 오류의 강력한 지표로 남아있음을 발견하였다. 사실적 지식은 일반적으로 안정적인 반면 환각은 확률적이기 때문에, 방식 간 합의(cross-regime agreement)는 내부 불확실성에 대한 정밀한 신호를 제공한다. 우리는 이 신호를 활용하여 검색이나 미세조정(fine-tuning) 없이 학습(training) 없는 기권 정책(abstention policy)을 구현한다. 실험 결과, 불일치 기반 기권이 표준 불확실성 기준선보다 오류 탐지기로서 우수한 성능을 보이며, 다양한 설정에서 F1과 AUROC를 모두 향상시키는 것을 확인하였다. 이는 분해 기반 프롬프팅이 클로즈드북 QA에서 모델 신뢰성을 위한 실용적인 진단 프로브로 활용될 수 있음을 보여준다.

arXiv:2511.16893v3cs.CL

언어 모델 사전학습에서 유도 헤드의 창발 예측

Predicting the Emergence of Induction Heads in Language Model Pretraining

유도 헤드(induction heads, IH)라 불리는 특화된 어텐션 헤드는 현대 언어 모델의 놀라운 문맥 내 학습 능력의 근간을 이룬다고 주장되어 왔으나, 특히 언어 모델링 맥락에서 그 창발에 대한 정확한 특성 규명은 여전히 미흡한 실정이다. 본 연구에서는 자연어 및 합성 학습 데이터 설정 모두에서 학습 데이터의 통계적 특성과 IH 형성 간의 관계를 조사한다. 우리는 다음을 보인다: (1) 배치 크기와 컨텍스트 크기를 결합한 간단한 방정식이 IH가 형성되는 시점을 예측하며, 이 창발 시점은 모델 크기와 무관하다; (2) 표면 바이그램 반복 빈도와 신뢰도가 IH 형성에 강하게 영향을 미치며, 이 두 값의 관점에서 유효한 결정 경계를 발견한다; (3) 높은 바이그램 반복 빈도와 신뢰도를 가진 지역 의존성은 IH 형성에 충분하지만, 범주성과 주변 분포의 형태는 결정 경계 근방에서 IH 형성을 조절하는 것으로 나타난다.

arXiv:2509.19228v2cs.CL

CompLLM: 긴 컨텍스트 Q&A를 위한 압축

CompLLM: Compression for Long Context Q&A

대규모 언어 모델(LLM)은 셀프 어텐션의 이차 복잡도로 인해 긴 컨텍스트를 처리할 때 상당한 계산적 어려움에 직면한다. 입력 텍스트를 더 작은 잠재 표현으로 매핑하는 소프트 컨텍스트 압축 방법이 가능성을 보여왔으나, 실제 환경에서의 채택은 제한적이다. 기존 기법들은 일반적으로 컨텍스트를 단일 단위로 압축하며, 이로 인해 이차 압축 복잡도가 발생하고 컨텍스트가 겹치는 쿼리 간 계산 재사용이 불가능하다. 본 연구에서는 실용적인 배포를 위해 설계된 소프트 압축 기법인 CompLLM을 소개한다. CompLLM은 컨텍스트를 전체적으로 처리하는 대신 이를 세그먼트로 분할하여 각각 독립적으로 압축한다. 이 단순한 설계 선택은 세 가지 핵심 속성을 제공한다: 압축 단계가 컨텍스트 길이에 선형적으로 확장되는 효율성, 짧은 시퀀스(예: 1k 토큰)로 학습된 모델이 100k 토큰의 컨텍스트로 일반화할 수 있는 확장성, 그리고 압축된 세그먼트를 캐싱하여 서로 다른 쿼리에 재사용할 수 있는 재사용성이다. 실험 결과, 2배 압축률에서 긴 컨텍스트 길이의 경우 CompLLM은 첫 번째 토큰 생성 시간(TTFT)을 최대 4배 단축하고 KV 캐시 크기를 50% 감소시킨다. 또한 CompLLM은 비압축 컨텍스트와 비교 가능한 성능을 달성하며, 매우 긴 시퀀스에서는 이를 능가하여 그 효과성과 실용적 유용성을 입증한다.