PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.18366v2cs.LG

증거적 지식 증류를 통한 대규모 언어 모델의 효율적 불확실성 추정을 향하여

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

여러 번의 순전파가 필요한 베이지안·앙상블 기반 불확실성 인식 교사 모델을 LoRA로 파인튜닝된 단일 순전파 학생 모델로 증류하는 방법을 제안하며, 소프트맥스 출력과 Dirichlet 분포 출력(증거적 학습)을 활용한 두 가지 증류 전략을 비교한다. 분류 과제 실험에서 증류된 학생 모델이 교사 모델 대비 유사한 예측 성능과 불확실성 정량화 성능을 단일 순전파만으로 달성함을 보여준다.

arXiv:2607.04969v1cs.LG

더 길게가 아닌 더 스마트하게 학습하기: 효율적인 LLM 학습을 위한 암기 기반 데이터 재사용

Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training

손실 보존 동역학과 다운스트림 평가 점수에서 도출한 "암기 윈도우(Memorization Window)" 신호를 활용해, 대규모 언어 모델(LLM) 사전학습 시 데이터를 언제·어떻게 재사용할지 적응적으로 결정하는 "암기 기반 데이터 재사용(Memorization-guided Data Reuse)" 패러다임을 제안한다. 예비 실험 결과, 암기 인식 스케줄링 하에서 반복 학습의 효용이 통상적으로 알려진 4 에포크 한계를 훨씬 넘어 지속되며, 충분한 간격으로 재노출된 데이터는 새로운 데이터와 동등한 학습 효율을 달성함을 확인했다.

arXiv:2607.04713v1cs.LG

RSPO: 멀티턴 LLM 에이전트를 위한 보상 교환 정책 최적화

RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents

멀티턴 LLM 에이전트 학습 시 희소한 결과 보상(outcome reward)의 느린 수렴 문제를 해결하기 위해, 밀집 과정 보상(dense process reward)으로 학습된 Agent B가 다양한 궤적을 탐색한 뒤 이를 결과 보상 기반으로 Agent A를 업데이트하는 보상 교환 메커니즘인 RSPO를 제안한다. WebShop과 ALFWorld 벤치마크에서 GRPO, PPO, GiGPO 등 다양한 강화학습 알고리즘에 적용한 결과, 일관된 성능 향상을 달성하였다.

arXiv:2607.04577v1cs.LG

속도를 넘어서: 시뮬레이션 기반 강화학습을 통한 에너지 인식 코드 생성

Beyond the Need for Speed: Energy-Aware Code Generation via Simulation-Guided Reinforcement Learning

결정론적 아키텍처 시뮬레이션 기반의 350만 건 평가 코퍼스 Green Tea를 구축하고, 에너지 대조 쌍에 대한 지도 미세조정과 시뮬레이션-인-더-루프 강화학습(GRPO)을 결합해 에너지 효율적인 C++ 코드를 생성하는 모델을 학습시켰다. 143개의 held-out 문제에서 12.63% CARET를 달성해 미세조정 단독 대비 약 3배의 에너지 절감 효과를 보였으며, IPC 같은 표준 처리량 대리 지표가 문제의 67.8%에서 에너지 효율 순위를 잘못 매기는 IPC 함정을 실증적으로 규명했다.

arXiv:2607.04574v1cs.LG

몇 가지 교사 단계만으로 충분하다: 에이전트 사후 학습을 위한 비용 효율적인 온-정책 데이터 증강

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

LLM 에이전트 사후학습에서 온-정책 데이터 증강을 예산 배분 문제로 재정의하고, 학습자가 도달한 컨텍스트에서 소수의 교사 단계만 수행하는 OP-Short 방식이 HotpotQA, ALFWorld, Terminal-Bench-Dev에서 동일 예산 대비 순수 행동 복제 및 필터링 기반 대안들과 동등하거나 더 나은 성능을 달성함을 보인다.

arXiv:2607.04542v1cs.LG

Auto: AGI 컴파일러

Auto: The AGI Compiler

LLM 에이전트가 매번 프론티어 모델에서 행동을 재도출하는 높은 비용 문제를 해결하기 위해, Auto는 라이브 에이전트 행동을 기록·측정하여 결정론적 부분을 WebAssembly 기반 인지 바이너리(cognition binary)로 컴파일하는 컴파일러 파이프라인을 제안한다. AUTO-BENCH에서 560개 스팬 중 87.1%가 결정론적으로 확인되었으며, 300개 항목 스트림에서 항목당 한계 비용을 59 마이크로달러에서 2 마이크로달러로 6.4배 절감하면서 96.9% 동등성을 달성했다.

arXiv:2607.04470v1cs.LG

LLM 증강 협력적 다중 에이전트 강화학습의 레짐 조건부 안정화

Regime-Conditional Stabilisation of LLM-Augmented Cooperative Multi-Agent Reinforcement Learning

LLM이 생성한 보상 가중치를 오프-정책 협력적 다중 에이전트 강화학습(MARL) 학습 도중 동적으로 업데이트하면 잠재력 기반 보상 형성(PBRS)의 정상성(stationarity) 가정을 위반하고 경험 리플레이 버퍼를 오염시킨다는 문제를 분석하고, 이를 해결하기 위해 단계 기반 동결 스케줄(Phase-Based Freeze Schedule)과 지수 이동 평균(EMA) 스무딩 두 가지 안정화 전략을 제안한다. QMIX 기반의 세 가지 협력 환경 실험을 통해 기준선 성능에 따라 보강(augmentative)·필수(essential)·보조(supplementary) 레짐으로 분류되는 세 가지 레짐 분류 체계를 도출하며, EMA 적용 시 보강 레짐(Simple Spread)에서 성공률이 15.2%에서 86.7%로 크게 향상됨을 보인다.

arXiv:2607.04422v1cs.LG

Full-Stack FP4: 양자화된 프로젝션, 옵티마이저, 어텐션을 통한 안정적인 LLM 사전학습

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

트랜스포머 사전학습의 선형 레이어, 옵티마이저 상태/연산, 어텐션 모두를 NVFP4로 커버하는 최초의 완전한 풀스택 4비트 프레임워크인 Full-Stack FP4를 제안하며, 각 모듈의 수치적 불안정 원인을 분석해 LoRA-SVD 분해, AdamW 2차 모멘트 변환, 혼합 정밀도 어텐션으로 해결한다. 3B 파라미터/64B 토큰 사전학습에서 BF16 대비 손실 격차 1.47%를 달성해 안정적인 엔드투엔드 NVFP4 대규모 언어 모델(LLM) 사전학습의 실현 가능성을 검증했다.

arXiv:2607.04395v1cs.LG

NKI-Agent: 뉴런 커널 생성을 위한 도메인 특화 미세조정과 에이전트 도구 활용

NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation

AWS Trainium과 Inferentia 같은 신규 AI 가속기용 Neuron Kernel Interface(NKI) 커널 자동 생성을 위해, 도메인 특화 지도 미세조정(SFT)과 컴파일-검증-수정 에이전트 루프를 결합한 최초의 시스템 NKI-Agent를 제안한다. 실제 Trn1 하드웨어에서 Claude Opus 4.8 기반 NKI-Agent는 NKIGen-Bench에서 77.3%의 통과율을 달성한 반면, 에이전트 도구 없는 단일 시도 모드에서는 6%에 그쳐 도구 활용의 중요성을 입증했으며, SFT로 학습된 Qwen3-Coder-30B-A3B는 1/100 비용으로 Claude Sonnet 4(15.0%)를 상회하는 25.0%를 기록했다.

arXiv:2607.04302v1cs.LG

HiFA4: Ascend HIF4 NPU 기반 LLM 추론을 위한 학습 불필요 4비트 FlashAttention

HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference

Ascend NPU에서 LLM 추론 시 FlashAttention의 QK^T와 PV 연산을 4비트 HIF4 Cube GEMM으로 실행하면서도 정확도를 유지하는 학습 불필요(training-free) 설계인 HiFA4를 제안하며, Smooth-QK와 P-Reordering 두 메커니즘을 통해 양자화(quantization)로 인한 결정 드리프트를 줄인다. Qwen3-8B에서 직접 양자화 대비 MMLU 정확도 회귀를 57% 감소시키는 등 5개 LLM에서 일관된 성능 개선을 달성했다.

arXiv:2607.04167v1cs.LG

언어 모델에서 순서 표현의 기하학

Geometry of Ordinal Representations in Language Models

언어 모델이 순서형 정보를 곡선형 1차원 매니폴드로 표현한다는 기존 가설이 Gemma-2-2B, Gemma-2-9B, Qwen3-4B에서 네 가지 순서형 태스크(괄호 깊이, 들여쓰기, 테이블 위치, 수치 크기)에 걸쳐 부분적으로 일반화됨을 보였다. 토큰 정체성으로부터 국소적으로 계산 가능한 태스크에서는 위치 세포(place-cell) 방식의 특징 타일링을 포함한 1차원 매니폴드가 나타나지만, 위치 간 통합이나 의미 추출이 필요한 태스크에서는 고차원 또는 비일관된 표현이 생성되며, 기하학적 계산 방식은 아키텍처에 따라 유의미하게 달라진다.

arXiv:2607.04118v1cs.LG

LoRA 기반 외부 파라메트릭 메모리의 제로샷 라우팅을 위한 파라메트릭 메모리 디코딩

Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory

LoRA 기반 외부 파라메트릭 메모리(EPM)의 제로샷 라우팅을 위해, 기존 방법들의 평가 분산 및 라우팅 신호 비일관성 문제를 해결하는 Parametric Memory Decoding(PMD) 프레임워크와 PMD-Bench 벤치마크를 제안한다. PMD를 기반으로 구현된 PMDRouter는 단일 베이스 모델 프리필의 응답 크기(magnitude)로 각 LoRA를 채점하며, PMD-Bench 실험에서 Task-LoRA 기준 최대 63.8점 향상을 달성하는 등 다수의 제로샷 라우팅 설정에서 최강 내부 신호 성능을 보였다.

arXiv:2607.04112v1cs.LG

DynaVieW: 계층적 시각 역학 이해를 위한 스키마 기반 세계 모델링

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

멀티모달 대규모 언어 모델(LLM)의 시각적 역학 이해 한계를 극복하기 위해, DynaVieW는 비디오 키프레임에서 추출한 시각적 상태와 계층적 JSON 스키마로 표현된 전이(transition) 설명을 인터리브하여 학습하는 동적 스키마 기반 세계 모델을 제안한다. 전문가 혼합(MoE) 아키텍처와 크로스 전문가 선택적 어텐션, 스키마 토큰 재가중 손실을 활용해 전이 예측과 상태 시뮬레이션을 공동 학습하며, 시각적 내러티브 생성 및 세계 시뮬레이션 과제에서 일관성·제어 가능성·인스트럭션 따르기(instruction-following) 측면의 성능 향상을 달성했다.

arXiv:2607.04108v1cs.LG

딕셔너리, 다윈이 아니라: 과학적 방정식 발견에서 집합 수준 선택이 LLM 진화를 능가함

Dictionaries, Not Darwin: Set-Level Selection Beats LLM Evolution in Scientific Equation Discovery

LLM을 진화 엔진으로 활용하는 과학적 방정식 발견 루프가 실제로는 독립 샘플링과 구별되지 않음을 실험적으로 증명하고, 이를 바탕으로 LLM 제안에서 추출한 항 딕셔너리에 집합 수준 희소 선택(set-level sparse selection)을 적용하는 단일 세대 방법 PTB-Search를 제안한다. PTB-Search는 표준화된 호출 예산의 10분의 1만 사용하면서 LLM-SRBench 공식 벤치마크에서 최고 기준선 49.2% 대비 73.2~77.0% Acc0.1을 달성하며, 발견의 핵심은 프롬프트 계보가 아닌 외부 집합 수준 선택에 있음을 보인다.

arXiv:2607.04081v1cs.LG

인과적 언어 모델과 마스킹 언어 모델을 아우르는 문맥 내 학습의 통합 프레임워크

A Unified Framework for In-Context Learning with Causal and Masked Language Models

자기회귀 목적 함수(autoregressive objective)에 주로 집중되어 온 문맥 내 학습(ICL) 이론을 마스킹 언어 모델(masked language model)까지 확장하기 위해, 본 연구는 문맥 예시를 경험적 측도로 표현하는 통합 통계적 학습 프레임워크를 제안하고 Wasserstein 조건 하에서 두 사전학습 목적 함수에 대한 동일 차수의 초과 위험(excess risk) 상한을 도출한다. 함수 학습 실험에서 Masked Pair Encoder(MPE)가 GPT-2 계열 인과적 트랜스포머에 필적하는 성능을 달성함으로써, ICL 능력이 인과적 언어 모델에만 국한되지 않음을 이론적·실험적으로 뒷받침한다.

arXiv:2607.04037v1cs.LG

보상 게이팅 온-정책 지식 증류

Reward-Gated On-Policy Distillation

온-정책 지식 증류(on-policy distillation)에서 교사 모델의 로짓이 항상 신뢰할 수 없다는 문제를 해결하기 위해, RG-OPD는 검증기(verifier) 보상과 교사-학생 간 우도(likelihood) 격차의 방향성이 일치하는 궤적에 대해서만 증류 손실을 적용하는 보상 게이팅(reward gating) 메커니즘을 도입한다. 추론 및 코딩 벤치마크에서 RG-OPD는 기존 역방향-KL 증류 대비 최대 2.9점, TSD-KD 대비 4.9점 향상되며, 장문 생성 환경에서는 비튜닝 학생 모델 대비 8.2점 개선된 성능을 달성한다.

arXiv:2607.03991v1cs.LG

멈출 때를 아는 것: Text-to-SQL에서 실행 일관성 수렴 예측

Knowing When to Stop: Predicting Execution-Consistency Convergence in Text-to-SQL

Text-to-SQL 결과의 신뢰도를 반복 LLM 호출로 추정할 때 언제 멈출지를 예측하는 수렴 예측 문제를 제안하며, 실행 일관성 궤적을 1-D 신호로 관찰하는 경량 모델을 학습해 BIRD 벤치마크와 실제 고객 데이터셋에서 질문별로 정지 시점을 적응적으로 결정한다. Beta-Bernoulli 정지 규칙 및 고정 실행 횟수 기준선을 상회하며, 노이즈가 주입된 불완전한 판정기 환경에서도 수렴을 신뢰성 있게 예측함을 보인다.

arXiv:2607.03932v1cs.LG

MPSelectTune: 미세조정을 위한 프롬프트 유형 선택이 LLM의 개념 언러닝을 향상시킨다

MPSelectTune: Prompt-type Selection for Fine-tuning improves Concept Unlearning in LLMs

MPSelectTune은 LLM에서 성별 편향이나 생물무기 관련 유해 개념을 언러닝(unlearning)할 때 프롬프트 유형 변화의 영향을 간과하는 기존 방법의 한계를 해결하기 위해, 개념 예측 정확도가 가장 높은 '최악의 프롬프트 유형'을 선택적으로 활용하는 2단계 파인튜닝 방식을 제안한다. 4개 벤치마크 실험에서 주요 태스크 정확도를 최대 15% 향상시키면서 최악의 경우 개념 정확도를 최대 17%까지 낮추는 성능을 달성했다.

arXiv:2607.03876v1cs.LG

AdaptiveSD: CPU 제약 LLM 추론을 위한 안정성 인식 런타임 적응형 투기적 디코딩 프레임워크와 다중 정책 오케스트레이션

AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference

소형 양자화 GGUF 기반 언어 모델의 부상과 온디바이스 추론 작업에서의 활용 증가로, 순수 CPU 구현이 부과하는 심각한 메모리 대역폭 제약 하에서도 이러한 모델을 대규모로 안정적으로 제공할 수 있는 접근법의 필요성이 커지고 있다. 고정 깊이 투기적 디코딩(speculative decoding)은 유망한 기법으로 부상했지만, 실제 환경에서는 대역폭 포화, 불안정성, 또는 시스템 장애를 초래하는 치명적인 자원 고갈로 인해 성능 저하가 자주 발생한다. 이 문제를 극복하기 위해, 우리는 다양한 모델 유형과 워크로드에 걸쳐 견고하고 신뢰할 수 있는 실행을 보장하는 완전한 런타임 적응형 투기적 디코딩 프레임워크인 AdaptiveSD를 소개한다. 우리의 솔루션은 지속적인 피드백 루프 내에서 함께 작동하는 네 가지 긴밀히 결합된 구성 요소로 이루어진다: 진행 중인 연산과 관련된 다수의 신호를 추적하는 런타임 모니터링 엔진, 원시 초안 수보다 시스템 자원 보존을 우선시하는 11개 규칙 정책 계층을 적용하는 적응형 초안 컨트롤러, 워크로드 동작에 따라 정책을 동적으로 수정하기 위해 휴리스틱 및 강화학습 기법을 활용하는 동적 정책 엔진, 그리고 INT8 섀도 버퍼와 위치 인식 제거를 통해 세밀한 제어로 캐시 상태를 관리하는 KV 캐시 조율 층. 기존 접근법이 처리량 극대화에만 집중하는 것과 달리, 우리는 투기적 효율성의 표준 지표와 함께 낭비된 초안 연산 및 토큰 간 지연 분산을 포함한 여러 핵심 지표를 기반으로 우리 접근법의 효과를 평가한다.

arXiv:2607.03847v1cs.LG

NeSy-CSA: 개방형 위험 시나리오 귀인을 위한 뉴로-심볼릭 프레임워크

NeSy-CSA: A Neuro-Symbolic Framework for Open-Ended Critical Scenario Attribution

시나리오 기반 테스팅에서 위험 시나리오의 원인을 개방형으로 귀인(attribution)하는 문제를 해결하기 위해, 뉴로-심볼릭(neuro-symbolic) 프레임워크인 NeSy-CSA를 제안한다. 이 프레임워크는 의존성 인식 증거 그래프와 심볼릭-신경망 하이브리드 추론을 통해 귀인 과정을 구조화·추적 가능하게 만들며, 4개 의사결정 환경에서 LLM 기반 베이스라인 대비 귀인 효과성을 최대 18.32% 향상시켰다.