PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01792v1cs.CL

PARTREP: Learning What to Repeat for Decoder-only LLMs

디코더 전용 대규모 언어 모델(LLM)의 인과적 어텐션(causal attention)은 초기 토큰에 대한 문맥 정보가 부족한 비대칭 정보 흐름 문제를 유발하며, 이를 해결하기 위한 프롬프트 반복(prompt repetition) 기법은 KV 캐시 및 연산 비용이 두 배 이상 증가하는 한계가 있다. PartRep은 토큰별 negative log-likelihood(NLL)를 중요도 신호로 활용하여 가장 정보 밀도가 높은 토큰만 선택적으로 반복하고, 경량 게이팅 모듈로 조기 종료(early exit)를 통해 토큰을 선별함으로써 MMLU, GSM8K, RULER 등 8개 벤치마크에서 전체 반복의 성능을 유지하면서 KV 캐시를 59.4%, prefill FLOPs를 79.0% 수준으로 절감한다.

arXiv:2607.01727v1cs.CL

When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling

Synthetic data can be scaled along two routes: Source Expansion (SE), which enlarges the source by adding seed materials or generators, and Fixed-Source Synthesis (FSS), which holds the source fixed and scales the generation budget. Existing scaling studies typically expand the source as the data grows, conflating SE with FSS and leaving FSS underexplored. We isolate FSS by holding the seed-question pool and teacher model fixed, varying only the per-question response budget under Rejection Sampling (RS). We adapt the rectified scaling law to FSS, deriving it from how repeated sampling covers a fixed source. Empirically, the derived form, fit on low budgets, predicts performance at the held-out highest budget for every evaluated teacher--student pair. At matched total-sample budgets, SE and FSS are comparable at small budgets; at large budgets, adding seed questions outperforms spending the same budget on more responses. Within FSS, however, neither synthesizing additional questions from the existing seeds nor varying the synthesis protocol outperforms plain RS at matched budgets. FSS is thus a bounded scaling axis and a controlled setting for comparing synthesis protocols. We will release our code and data to facilitate further research.

arXiv:2607.01585v1cs.LO

ADVENT: LLM-Driven Automatic Predicate Invention for ILP

ADVENT는 귀납적 논리 프로그래밍(ILP)의 핵심 병목인 술어 발명(predicate invention)을 자동화하기 위해 대규모 언어 모델(LLM)의 귀추적 생성과 Prolog의 연역적 검증을 반복 루프로 결합한 메커니즘이다. 7개 LLM 대상 실험에서 LLM 단독 PI가 58%, 형식 검증 추가 시 80%의 성공률을 달성했으며, 지식 풀(knowledge pool)을 통한 교차 과제 술어 재사용으로 최대 +31%p의 성능 향상과 사람이 해석 가능한 규칙 생성을 확인했다.

arXiv:2607.01581v1cs.CL

Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework

대규모 언어 모델(LLM)이 교육적 소통에서 교수 의도를 추론하는 능력을 평가하기 위해, 베이지안 기반의 교수 의도 추론 엔진(PIIE)을 핵심으로 하는 적응형 교수 경계 프레임워크(Adaptive Pedagogical Vigilance, APV)를 제안한다. GPT-4o, Claude 3.5 등 주요 LLM 실험에서 APV는 교수 콘텐츠와 단순 노출 콘텐츠의 판별력을 크게 향상시키고 인간 판단과 높은 상관관계(r=0.958)를 달성하며 자연적 교육 담화로의 일반화에서도 강건한 성능을 유지했다.

arXiv:2607.01557v1cs.CL

DiPS: Dialogue Policy Selection for High-Stakes Persuasion Agents

화재 대피 설득이라는 고위험 시나리오에서 대규모 언어 모델(LLM)이 획일적 전략의 한계를 극복하도록, 대화 맥락에 따라 설득 정책을 동적으로 선택하는 Q-학습 기반 프레임워크 DiPS(Dialogue Policy Selection)를 제안한다. IQL(Implicit Q-Learning)을 활용해 오프라인 대화 데이터로 학습된 DiPS는 제로샷 LLM 및 검색-증강 생성(RAG) 방식 대비 높은 대피 성공률을 시뮬레이션과 실제 인간 실험 모두에서 달성했다.

arXiv:2607.01538v1cs.CL

Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale

Language models (LMs) raise an intriguing alternative to vector-based retrieval: conditioning on an in-context corpus and directly generating a relevant answer. However, prior work has largely focused on proprietary systems or the smaller-scale reranking task, leaving corpus-scale in-context retrieval largely unexplored. In this work, we present the first systematic study of in-context retrieval on two scales practical retrievers demand: million-token corpora and length-generalization far beyond training-time sizes. We first introduce BlockSearch, a 0.6B LM retriever whose architectural and training modifications improve over prior LM baselines and length-generalize up to 10 times beyond its training regime. Nevertheless, retrieval still collapses under more extreme extrapolation. We trace this failure to an attention dilution effect: as the corpus grows, irrelevant documents dominate the softmax denominator, reducing the normalized mass on the gold document even when its pre-softmax score stays high. Motivated by this analysis, we introduce length-aware adjustments to the attention softmax and document-level sparse attention. With these modifications, at the million-token scale, our model matches dense retrieval on widely studied benchmarks (e.g, MS MARCO and NQ), while outperforming the concurrent model MSA despite being 7 times smaller. Furthermore, it significantly outperforms dense retrieval on tasks requiring entirely different notions of similarity, such as LIMIT, achieving a 3 times higher score. Together, our results position in-context retrieval a promising alternative to classical retrieval while emphasizing attention control under extreme context growth as a new challenge.

arXiv:2607.01457v1cs.CL

Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting

이력서 자동 최적화에서 대규모 언어 모델(LLM)이 유발하는 환각(hallucination) 문제—시대착오적 기술 삽입, 도메인 오염, 구조 변형, 내용 조작—를 해결하기 위해 시간적 검증, 결정론적 오염 탐지, 구조 불변 강제, 프롬프트 그라운딩, 평가자 에이전트로 구성된 5계층 프레임워크인 Grounded Optimization을 제안한다. 25개 합성 이력서에 대한 어블레이션 실험에서 방어 미적용 시 이력서당 2.48~5.36개의 환각이 발생한 반면, 프레임워크 적용 후 전체 환각 탐지율이 0.04~0.24로 크게 감소하였다.

arXiv:2607.01440v1cs.CL

FaithMed: Training LLMs For Faithful Evidence-Based Medical Reasoning

의료 임상 추론에서 대규모 언어 모델(LLM)이 근거 중심 의학(evidence-based medicine) 원칙에 충실한 추론을 생성하도록, FaithMed는 임상의가 설계한 루브릭(rubric)과 단계별 과정 보상(step-level process reward) 기반 강화학습(RL)을 결합한 프레임워크를 제안한다. 7개 의료 벤치마크에서 에이전틱 검색 기반선 대비 평균 +9%, 결과 전용 RL 대비 +5.8%의 정확도 향상과 함께 근거 중심 의학 루브릭 점수에서도 +15.5% 개선을 달성했다.

arXiv:2607.01431v1cs.CL

IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

동일한 논리 구조를 공유하되 서로 다른 도메인 지식을 요구하는 동형(isomorphic) 문제 쌍으로 구성된 벤치마크 IsoSci를 제안하여, 대규모 언어 모델(LLM)의 추론 능력과 지식 검색 능력을 분리 평가한다. 실험 결과, 추론 모드에서 얻은 성능 향상의 91.3%가 구조 불변적이 아닌 지식 의존적임을 밝히며, 사고의 연쇄(Chain-of-Thought) 추론이 단기 절차적 과학 문제 해결 능력 자체를 개선한다는 기존 가정에 의문을 제기한다.

arXiv:2607.01420v1cs.CL

MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering

MultAttnAttrib는 모델의 prefill 패스와 선별된 어텐션 헤드, 보정된 임계값을 활용해 긴 멀티모달 문서 내 답변 근거를 추적하는 학습 불필요 귀인(attribution) 생성 방법으로, 기존 프롬프팅 기반 방식 대비 최대 7배 낮은 추론 지연으로 GPT-5.4 수준의 성능을 달성한다. 아울러 멀티모달 문서에서의 세밀한 귀인 평가를 위한 최초의 벤치마크 데이터셋인 MultAttrEval도 함께 소개한다.

arXiv:2607.01392v1cs.CL

Multi-Objective Exploration and Preference Optimization via Mutual Information

다양한 인간 가치와의 정렬을 위해 온라인 다목적 최적화 시 발생하는 탐색 불확실성 문제를 해결하고자, 상호정보량(mutual information) 최대화를 통해 생성 응답과 선호 벡터 간의 정렬 및 구별 가능한 탐색을 동시에 촉진하는 정보이론적 프레임워크 MI-EPO를 제안한다. 안전성 정렬 및 유용한 어시스턴트 태스크 실험에서 MI-EPO는 기존 MO-ODPO 대비 응답과 선호 벡터 간 정렬을 크게 향상시키고 다목적 간 안정적인 트레이드오프를 달성하였다.

arXiv:2607.01293v1cs.CL

RuleChef: Grounding LLM Task Knowledge in Human-Editable Rules

RuleChef는 텍스트 분류, 개체명 인식(NER), 관계 추출 등 자연어 처리(NLP) 작업을 위해 대규모 언어 모델(LLM)이 학습 시점에만 관여하여 실행 가능한 규칙을 자동 생성하고, 인간 피드백과 반복적 패치를 통해 이를 개선하는 프레임워크다. 추론 시에는 LLM 없이 결정론적 규칙만으로 동작하여 빠르고 투명한 시스템을 구현하며, 텍스트 분류 및 NER 실험에서 프롬프팅 기반 방식과 신경망 기반 추출기에 대응하는 성능을 보인다.

arXiv:2607.01250v1cs.CY

Structuring the Space of Sociotechnical Alignment

AI의 사회적으로 바람직한 행동을 명확히 정의하는 체계가 부재하다는 문제를 해결하기 위해, 정렬(alignment) 목표, 규범적 개념, 방법론, 이론적 프레임워크의 네 차원으로 구성된 사회기술적 정렬(sociotechnical alignment) 명세 프레임워크를 제안한다. NLP 분야 281편의 논문을 대상으로 한 체계적 문헌 고찰 결과, 규범적 개념이 대부분 불명확하게 정의되거나 정렬 목표와 혼용되고 있음을 밝히며, 사회과학적 이론에 기반한 보다 개념적으로 정밀한 접근법을 권고한다.

arXiv:2607.01245v1cs.CL

Office Comprehension Benchmark

We introduce Office Comprehension Bench (OCB), the first public benchmark to jointly evaluate LLM systems on Word, Excel, and PowerPoint comprehension over native file formats (.docx, .xlsx, .pptx) and their variants. OCB consists of two tracks. File Fidelity Q&A tests structural and visual perception of office artifacts - tables, charts, embedded images, formulas, and app-specific elements such as headers, speaker notes, and named ranges. Domain Q&A tests expert-level reasoning grounded in real-world industry documents across 12 professional domains, with queries requiring multi-step analysis and synthesis across documents. Each reference answer is decomposed into atomic, binary-gradable claims, and an ensemble of LLM judges scores responses against each claim independently. Even the strongest frontier system in its default reasoning mode reaches only about 59.3% on Domain Q&A; increasing thinking depth within a tier does not move performance materially, while moving to a higher product tier yields modest gains. We release the dataset, evaluation tooling, judge prompt, and a public leaderboard.

arXiv:2607.01242v1cs.HC

ExPerT: Personalizing LLM Responses to Users' Domain Expertise via Query-Wise Semantic and Keystroke Behavioral Cues

Large language models (LLMs) are increasingly used by end users, yet existing personalization methods relying on static profiles or text-only signals fail to capture query-specific expertise variation. We present ExPerT, a query-wise personalization framework that adapts LLM responses to users' query domain expertise by combining semantic and behavioral cues. ExPerT consists of two key components: (i) a semantic-behavioral expertise inference module that jointly interprets query text and keystroke dynamics via in-context LLM prompting, and (ii) an expertise-conditioned response generation that adapts the level of detail, terminology, and conceptual complexity. Our user study with 40 participants and 1270 queries demonstrated that ExPerT reduced expertise inference error by 65.7% compared to the strongest baseline (MAE = 0.398 vs. 1.162) and improved response satisfaction by 17.52% (from 3.71 to 4.36) on a 5-point Likert scale.

arXiv:2607.01241v1cs.CL

Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning

텍스트를 플랫한 토큰 시퀀스로 처리하는 기존 프롬프트 압축 방식의 한계를 극복하기 위해, RAGP는 세밀한 어텐션 기반 의존성과 거친 의미론적 관계를 동시에 모델링하는 멀티플렉스 그래프(multiplex graph) 위에서 중복 인식 그래프 가지치기(Redundancy-Aware Graph Pruning)를 수행한다. 밀집된 지역 서브그래프와 희소한 전역 연결이 혼재하는 이종 구조를 효율적으로 탐색하기 위해 Lévy walk를 도입하였으며, LongBench 벤치마크에서 4배 압축 비율로 평균 49.3점을 달성해 3배 압축의 LongLLMLingua(48.8점)를 능가하는 성능을 보였다.

arXiv:2607.01239v1cs.CL

Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment

BPE 토크나이저가 안전성 관련 핵심 단어를 서브워드 조각으로 분리하는 구조적 취약점을 이용해, 문자 수준의 공백 삽입만으로도 Qwen, Gemma, Llama, Mistral 등 5개 모델 패밀리에서 거부 신호를 80~100% 무력화할 수 있음을 실험적으로 입증한다. 정렬(alignment) 학습 데이터 30,000개 예시에 단편화된 입력이 전혀 포함되지 않는다는 훈련 분포 격차가 근본 원인이며, DPO로는 이를 해결할 수 없고 SFT는 무해한 프롬프트에 대한 거부율까지 전반적으로 높이는 부작용을 일으킨다.

arXiv:2607.01237v1cs.CL

Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression

추론 대규모 언어 모델(LLM)의 긴 사고의 연쇄(Chain-of-Thought) 생성으로 인한 KV 캐시 메모리 과부하 문제를 해결하기 위해, 슬라이딩 윈도우 기반 양방향 어텐션으로 중요 KV 쌍을 선별하고 Token2Chunk 모듈로 유연한 크기의 청크를 보존하는 Kara 방법론을 제안한다. 또한 vLLM 기반 추론(inference) 프레임워크인 KvLLM을 개발하여 주기적 압축 정책으로 처리량과 동시성을 효과적으로 개선함을 광범위한 실험을 통해 검증했다.

arXiv:2607.01236v1cs.CL

Safeguarding LLM Agents from Misalignment through Provenance Analysis

대규모 언어 모델(LLM) 에이전트가 사용자 의도에서 벗어난 도구 호출을 실행하는 정렬 오류(misalignment) 문제를 해결하기 위해, 출처 분석(provenance analysis)에 기반한 개념적 프레임워크와 다단계 런타임 가드레일 시스템인 ProvenanceGuard를 제안한다. ProvenanceGuard는 도구 선택·파라미터 할당·해석 수준의 세 가지 정렬 오류 유형을 순차적으로 검사하여, Agent-SafetyBench에서 LLM-as-a-judge 대비 오류율을 42.9%에서 1.8%로 대폭 낮추면서도 정상 작업에 대한 불필요한 개입을 유의미하게 증가시키지 않음을 10개 백본 LLM 실험으로 입증했다.

arXiv:2607.01235v1cs.CL

TokenScope: Token-Level Explainability and Interpretability for Code-Oriented Tasks in Large Language Models

TokenScope는 디코더 기반 대규모 언어 모델(LLM)의 코드 생성 과정에서 토큰(token)별 신뢰도, 엔트로피(entropy), 어텐션(attention) 패턴 등 디코딩 시점의 세밀한 신호를 실시간으로 노출하는 인터랙티브 해석 가능성(interpretability) 도구다. 추상 구문 트리(AST) 기반의 코드 구조 분석과 반사실적(counterfactual) 분기 생성을 통합하여, 연구자와 실무자가 LLM의 코드 생성 동작을 체계적으로 진단하고 탐색할 수 있도록 한다.