PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17803v1cs.LG

경량 경험 기반 잠재 기억을 통한 지속적 자기 개선

Continual Self-Improvement with Lightweight Experiential Latent Memories

대규모 언어 모델(LLM)은 추론 시간 연산을 확장하여 강력한 추론 성능을 달성하지만, 근본적으로 상태가 없어(stateless) 이 과정에서 생성된 풍부한 자가 생성 추론 흔적을 버립니다. 우리는 모델이 외부 감독이나 미래 데이터에 대한 접근 없이, 이러한 경험으로부터 온라인으로 학습하여 일시적인 연산(추론 흔적)을 지속적이고 재사용 가능한 지식으로 변환할 수 있는지 조사합니다. 우리는 원시 추론 흔적에 대한 문맥 내 학습(ICL)이 일반화에 실패함을 보여주며, 이는 토큰 수준 재사용의 근본적인 한계를 반영합니다. 즉, 개별 흔적은 정제(예: 자기 성찰) 후에도 전이에 필요한 추상화가 부족합니다. 대조적으로, 비지도 강화학습에 대한 최근 연구에서 영감을 받아, 우리는 자가 생성 테스트 시간 신호(다수결 투표)를 보상으로 사용하는 경량의 인스턴스별 학습이 상당한 이득을 가져옴을 발견했습니다. 이는 종종 전체 데이터셋 오프라인 학습을 능가하여, 원시 흔적에서 학습된 잠재 표현으로의 전환을 유도합니다. 이 통찰을 바탕으로, 우리는 마주친 문제에 소비된 추론 시간 연산을 기본 추론 구조를 포착하는 압축된 모듈식 잠재 기억으로 증류하는 온라인 방법을 제안합니다. 이 기억들은 미래의 입력을 위해 저장 및 검색되며, 모듈식 설계를 통해 재앙적 망각을 방지하면서 지속적인 개선을 가능하게 합니다. 중요하게도, 우리의 방법은 매우 효율적이며, 모델 파라미터의 약 0.001%에 불과한 극도로 가벼운 소프트 프롬프트 기억으로 파라미터화되고 단 몇 번의 그래디언트 스텝으로만 학습되지만, 전체 파라미터 업데이트 및 오프라인 학습과 경쟁하는 성능을 달성합니다. 도전적인 수학적 추론 벤치마크 전반에서, 우리의 접근 방식은 제로샷 및 원시 데이터 ICL 기준선을 상당히 능가하며, 데이터셋 간에 효과적으로 전이됩니다.

arXiv:2606.17462v1cs.LG

ResAware: 리소스 특권 지식 증류를 통한 교차 환경 웹사이트 지문 식별

ResAware: Cross-Environment Website Fingerprinting via Resource-Privileged Distillation

웹사이트 지문 식별(WF) 공격은 통제된 실험실 환경에서는 높은 정확도를 달성하지만, 시공간적 드리프트, 브라우저 이질성, 프록시 난독화 등으로 인해 실제 환경에서는 성능이 현저히 저하되는 경우가 많습니다. 이러한 한계는 환경적 교란에 대해 노이즈가 많고 매우 민감한 저수준 트래픽 특징에만 의존하기 때문에 발생합니다. 이 문제를 해결하기 위해 우리는 학습 풍부/추론 빈곤(training-rich/inference-poor) 비대칭 설정 하에서의 교차 환경 리소스 인식 지식 증류 프레임워크인 \textbf{ResAware}를 제안합니다. 구체적으로, ResAware는 리소스 수준 특징으로 교사 모델(teacher model)을 학습(training)시키고, 이기종 지식 증류(heterogeneous knowledge distillation)를 통해 생성된 특권 지식을 학생 모델(student model)로 증류(distillation)합니다. 배포 시점에 학생 모델은 암호화된 트래픽만을 사용하여 추론(inference)을 수행하므로 추가 비용이 발생하지 않습니다. 우리는 전 세계에 분산된 6개의 관측점에서 5개월 동안 수집된 160,000개 이상의 쌍으로 된 샘플을 포함하는 대규모 데이터셋(dataset)에서 ResAware를 평가했습니다. 결과는 ResAware가 다양한 WF 베이스라인의 교차 환경 견고성을 크게 향상시킴을 보여줍니다. 예를 들어 150일의 시간적 드리프트 하에서 ResAware는 Var-CNN의 F1-score를 $72.77\%$에서 $81.49\%$로, 오픈 월드(open-world) $TPR@1\%FPR$을 $22.40\%$에서 $27.20\%$로 향상시켰습니다. 우리의 결과는 리소스 수준 감독이 온라인 관찰 능력을 확장하지 않고도 WF 견고성을 향상시킴을 입증합니다.

arXiv:2606.17435v1cs.LG

MorphStrata: 시계열 이동 표적 방어에서 Morphence 학생 모델 생성을 위한 층별 섭동

MorphStrata: Layer-Specific Perturbations for Generating Morphence Students in Time-Series Moving Target Defense

시계열 예측 모델은 그래디언트 기반 적대적 공격에 여전히 취약한 반면, 기존 방어 기제는 일반적으로 제한된 응답 시간과 연산 비용을 위해 강건성(robustness)을 희생하는 상충(trade-off)을 감수해야 합니다. 이 문제는 여러 무작위화된 모델 인스턴스를 유지해야 하는 이동 표적 방어(Moving Target Defense) 환경에서 학습 오버헤드를 크게 증가시키기 때문에 더욱 두드러집니다. 본 연구에서는 기존 Morphence 방어를 확장하여 선택적이고 층별(layer-specific)인 확률적 노이즈 주입을 활용하는 학생 모델 생성 전략인 MorphStrata를 소개합니다. MorphStrata는 트랜스포머 백본을 교사(teacher)로 사용하며, 다양한 데이터 분포와 위협 모델에 대응하여 학생 모델 간에 구조적 이질성을 생성하도록 무작위로 선택된 아키텍처 블록에 섭동(perturbation)을 가합니다. Jena Climate, Electricity Load Diagrams, Appliances Energy Prediction을 포함한 일련의 벤치마크에서 다양한 공격 강도의 FGSM, BIM, PGD 공격을 사용하여 바닐라 트랜스포머(Vanilla Transformer) 및 Morphence 백본과 비교 평가를 수행했습니다. 모든 데이터셋과 공격 환경에서 제안된 앙상블(ensemble)은 대등한 수준의 적대적 RMSE를 유지했습니다. 구체적으로, AEP 데이터와 같은 고 엔트로피의 주기적 데이터셋에서 MorphStrata는 모든 공격과 섭동 예산(perturbation budget)에 걸쳐 가장 낮은 RMSE를 달성했으며, 엡실론(epsilon) 값이 0.5일 때 30회의 무작위 시행 결과 FGSM 및 BIM 공격 하에서 각각 최대 24.11%와 97.97% 향상된 성능을 보여 정적 기준선(baseline)을 능가했습니다. 대부분의 실험에서 MorphStrata 학생 모델을 생성하기 위해 층을 지정하는 방식은 Morphence MTD 기준선 대비 학습 시간 증가율이 1% 미만에 불과한 반면, 적대적 RMSE 감소 측면에서는 두 자릿수의 이득을 제공했습니다. 또한 생성된 학생 모델 간의 쌍별(pairwise) L2 거리가 클수록 전체적인 방어 효과가 높아지는 양의 상관관계를 관찰했습니다. 요약하면, MorphStrata는 기존 기준선과 비교했을 때 미미한 비용 증가분만으로 MTD 방어로서의 적대적 강건성을 유지합니다.

arXiv:2606.17321v1cs.LG

ProCUA-SFT 기술 보고서

ProCUA-SFT Technical Report

컴퓨터 사용 에이전트(CUAs) -- 스크린샷과 키보드/마우스 동작을 통해 그래픽 데스크톱과 상호작용하는 모델 -- 를 학습하려면 전체 데스크톱 환경에서 수집된 대규모의 다양한 궤적 데이터가 필요합니다. 가장 큰 공개 자원인 AgentNet(22.5K개의 인간 궤적)은 지도 미세조정(SFT)에 사용될 때 네거티브 전이(negative transfer)를 유발합니다: AgentNet에서 UI-TARS 7B의 학습을 계속하면 OSWorld 성공률이 26.3%에서 8-10%로 떨어집니다. 우리는 2,484개의 애플리케이션 조합에서 93K개의 합성 궤적을 증류하여 얻은 3.1M개의 단계 수준 SFT 샘플 데이터셋인 ProCUA-SFT를 제안합니다. 이 데이터셋은 (i) 실제 콘텐츠로 시드된 실제 데스크톱(live desktops)에서 그라운딩된(grounded) 작업을 합성하고 -- SpreadsheetBench의 912개 스프레드시트, Zenodo10K의 약 10K개의 허용 라이선스 프레젠테이션, 다중 애플리케이션 OSWorld 설정 -- (ii) 롤아웃(rollout) 전에 이진 precondition 확인을 통해 각 작업의 수행 가능성을 검증하는 완전 자동화 파이프라인을 통해 생성됩니다. 단일 비전-언어 모델(VLM, Kimi-K2.5)이 목표 생성기(goal generator), precondition 판별자(precondition judge), 궤적 실행기(trajectory executor)로 작동하여 플래너-액터(planner-actor) 능력 격차를 제거합니다. 각 궤적은 추론 시간에 관찰된 컨텍스트 레이아웃(context layout)을 정확하게 재현하는 단계 접두 문맥(step-prefix) 샘플로 확장됩니다. ProCUA-SFT에서 UI-TARS 7B를 1 에포크(epoch) 동안 미세조정(fine-tuning)하면 OSWorld에서 45.0%를 달성하는데, 이는 기본 모델보다 18.7%p 향상된 것이며 AgentNet으로 학습된 모델보다 35% 이상 높은 수치입니다. ProCUA의 일부는 Nemotron 3 Nano Omni 모델의 학습 데이터에 통합되어 컴퓨터 사용 능력에 기여했습니다.

arXiv:2606.17199v1cs.LG

PowerOPD: 유계 거듭제곱 변환을 통한 온-정책 증류의 안정화

PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation

대규모 언어 모델(LLM)을 위한 표준 온-정책 증류(OPD)는 학생 모델이 샘플링한 토큰을 사용하여 역-KL(reverse-KL) 목적함수를 추정하며, 이는 전체 어휘에 대한 계산을 피하는 불편한 단일 샘플 몬테카를로 추정기를 제공합니다. 그러나 우리는 이 추정기가 실제로 심각한 학습(training) 병리 현상을 겪는다는 것을 보여줍니다: 샘플 비효율성, 불안정한 생성 동역학, 그리고 정확한 전체 어휘 OPD에 비해 상당한 성능 격차가 발생합니다. 보상(reward) 수준 진단은 이러한 병리 현상을 로그 비율(log-ratio) 보상으로 추적합니다. 이는 구조적으로 유계가 없어 초기 위치에 집중되고 학습(training) 내내 지속되는 매우 높은 분산의 그래디언트(gradient)를 생성합니다. 표준 사후(post-hoc) 스케일링은 왜곡이 발생한 후에만 작동하므로 실패합니다. 이 문제를 해결하기 위해 우리는 PowerOPD를 제안합니다: 이는 alpha > 0로 매개변수화된 Box-Cox 거듭제곱 변환에서 파생된 본질적으로 유계가 있고 부호 일관적인 보상(reward) 계열이며, 여기서 로그 비율은 퇴화적인 alpha -> 0 극한입니다. 6개의 수학적 추론 벤치마크와 4개의 Qwen3 교사-학생 쌍에 걸쳐, PowerOPD는 바닐라 OPD 대비 최대 +6.37/+5.71의 벤치마크 평균 Avg@8/Pass@8 향상을 달성했으며, 사후 안정화 대비 +3.01/+3.54, 전체 어휘 OPD 대비 +2.59/+8.90의 향상을 달성하는 동시에 실제 경과 시간(wall-clock time)을 59.2%, 최대 GPU 메모리를 23.1% 감소시켰습니다. 더 큰 alpha는 일반적으로 정확도를 향상시키고, 응답을 일관되게 단축시키며, 그래디언트(gradient) 노름을 바닐라 OPD보다 3,000배 이상 작게 유지합니다.

arXiv:2606.13507v1cs.CL

오디오-LLM을 활용한 음성 대 음성 학습 데이터 필터링

Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data

노이즈가 포함된 대규모 음성 대 음성 번역(S2ST) 학습 데이터의 품질을 개선하기 위해 오디오-언어 모델(Audio-LLM)이 오디오에서 직접 데이터 유지 여부를 결정하도록 학습시키는 Rank-to-Distill 전략을 제안합니다. 제안된 방법은 CVSS-C 및 SpeechMatrix 벤치마크에서 필터링되지 않은 학습 대비 최대 +1.4 ASR-BLEU의 성능 향상을 달성했습니다.

arXiv:2606.12578v1cs.CL

MARD: 메커니즘 수준 약물-약물 상호작용 예측을 위한 거울 증강 추론 증류

MARD: Mirror-Augmented Reasoning Distillation for Mechanism-Level Drug-Drug Interaction Prediction

기계 수준의 약물 상호작용(DDI) 예측을 위해 구조화된 분류 체계와 추론 지표를 포함한 평가 프로토콜과 Mirror-Augmented Reasoning Distillation(MARD) 파이프라인을 제안한다. MARD-7B 모델은 새로운 약물 쌍에 대한 일반화 능력을 입증하며 GPT-4o보다 우수한 성능을 보였다.

arXiv:2604.26940v2cs.CL

Select to Think: 국소적 충분성을 통한 SLM 잠재력 극대화

Select to Think: Unlocking SLM Potential with Local Sufficiency

소형 언어 모델(SLM)의 추론 성능 한계를 해결하기 위해, 대규모 언어 모델(LLM)이 SLM의 상위 후보 중에서 선택하는 논리를 지식 증류하는 Select to Think(S2T)를 제안합니다. 이 방법은 SLM이 추론 시 LLM 의존 없이 자율적으로 재정렬을 수행하게 하여 수학 벤치마크에서 24.1%의 성능 향상을 보였습니다.

arXiv:2604.12002v2cs.CL

Self-Distillation Zero: 자기 수정이 이진 보상을 밀집 감독으로 변환한다

Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

SD-Zero는 외부 교사나 고품질 데모 없이 이진 보상을 토큰 수준의 밀집 감독으로 변환하는 사후학습 방법으로, 단일 모델이 생성자와 수정자 역할을 수행하며 자가 증류를 통해 성능을 향상시킵니다. 수학 및 코드 추론 벤치마크에서 기본 모델 대비 최소 10% 이상의 성능 향상을 달성하여 RFT나 GRPO 같은 강력한 기준선을 능가했습니다.

arXiv:2606.13236v1cs.LG

곤충의 노래 해독: Orthoptera 생물음향 분류를 위한 멀티태스크 반지도학습 분류기

Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

기존 자동화 도구의 한계를 극복하기 위해 약한 지도 종 분류, 자기지도학습, 지식 증류를 결합한 반지도학습 멀티태스크 프레임워크인 PULSE를 제안한다. 이 도메인 적응 전문 모델은 최신 범용 모델을 모든 지표에서 능가하며, 학습된 임베딩은 생태학적으로 유의미한 구조를 포함한다.

arXiv:2606.12507v1cs.LG

루브릭 안내 자기 증류: 루브릭 검증기 없는 사후학습

Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers

루브릭 기반 학습에서 LLM 검증기 의존성과 희소 보상 문제를 해결하기 위해, 루브릭 조건부 정책을 교사로 하여 토큰 단위로 지식을 증류하는 검증기 없는 사후학습 방법인 RGSD를 제안한다. 이 방법은 Qwen 모델에서 학습 시 검증자 호출 없이도 검증 기반 GRPO와 대등한 루브릭 만족도를 달성하여 효율적인 대안임을 입증했다.

arXiv:2606.13258v1cs.AI

MOSAIC: 파킨슨병 보행 평가에서 점진적 지속 학습을 위한 모달리티별 적응

MOSAIC: Modality-Specific Adaptation for Incremental Continual Learning in Parkinson's Disease Gait Assessment

파킨슨병 보행 평가에서 새로운 센서가 순차적으로 추가되는 환경의 문제를 해결하기 위해 MOSAIC 지속적 학습(continual learning) 프레임워크를 제안한다. 모달리티별 웜업, 통계 분리 아키텍처, 가소성 회복 목적 함수를 통해 최종 성능을 향상시키고 망각을 완화한다.

arXiv:2606.13016v1cs.AI

Otters++: 첫 스파이크 시간 기반 에너지 효율적 광학 스파이킹 트랜스포머

Otters++: A Time-to-first-spike Based Energy Efficient Optical Spiking Transformer

첫 스파이크 시간(TTFS) 기반 스파이킹 신경망(SNN)의 시간적 감산 계산 비용 문제를 해결하기 위해, Otters++는 광전자 소자의 물리적 신호 감쇠를 활용하여 트랜스포머 모델에 적용하는 하이브리드 학습 방법을 제안합니다. 이 방법은 GLUE 데이터셋에서 84.17%의 성능을 달성하며 기존 스파이킹 트랜스포머 대비 명확한 에너지 효율성을 보여줍니다.

arXiv:2606.12983v1cs.AI

LLM 기반 HDL 설계 및 검증 지향 데이터 큐레이션을 위한 구조화된 테스트벤치 생성

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

LLM 기반 RTL(Register Transfer Level) 설계 워크플로우의 테스트벤치 생성 병목을 해결하기 위해 하드웨어 구조를 활용해 결정론적 테스트벤치를 생성하는 STG 프레임워크를 제안한다. 이 방법은 기존 LLM 기반 방식 대비 720배 더 빠른 검증 속도와 높은 커버리지를 달성하며, 데이터 큐레이션 과정에서도 효율성을 크게 개선한다.

arXiv:2606.12594v1cs.AI

Pythagoras-Prover: Augmented Lean Formalisation을 통한 효율적 형식 증명의 발전

Pythagoras-Prover: Advancing Efficient Formal Proving via Augmented Lean Formalisation

현대 Lean 정리 증명기(theorem prover)는 검증된 증명 데이터가 부족하고 형식 증명 탐색의 긴 추론 trace 때문인지, 상당한 학습 및 추론 연산량이 있어야만 강한 성능을 달성하며, 이로 인해 지도 미세조정(SFT)과 샘플링 모두 비용이 많이 든다. 우리는 실용적인 연산 예산을 위해 구축된 연산 효율적인 오픈소스 Lean 정리 증명기 계열인 Pythagoras-Prover를 소개한다. 이 계열은 두 가지 생성 패러다임을 포괄한다: 4B 및 32B 파라미터의 자기회귀(autoregressive) 모델, 그리고 추론 시점에 Lean 증명을 반복적으로 정제(refine)하는 최초의 개념 증명(diffusion-based) 증명기(4B)이다. 학습 효율을 위해, 우리는 커리큘럼 SFT를 위해 쉬운·중간·어려운 문제로 계층화된 Lean 검증 코퍼스를 구축하여, 모델이 더 짧고 단순한 증명에서 더 길고 어려운 증명으로 점진적으로 증명 기술을 습득하도록 한다. SFT 중 동적 증명-추론 필터링 방식은 각 인스턴스를 8k 토큰 컨텍스트 예산 내에 유지하면서 정보가 풍부한 증명 trace를 보존한다. 우리는 또한 Augmented Lean Formalisation(ALF)을 도입하는데, 이는 희소한 검증 코퍼스를 형식 명제(statement)의 변형(variant)으로 확장하며, 모든 변형 인스턴스를 형식적으로 검증하지 않고도 자기 증류(self-distillation)를 통해 추가 학습 신호를 채운다. 알려진 문제를 교란(perturb)하면서 형식적 특성을 보존함으로써, ALF는 어떤 명제의 표면 형태(surface form)에 대한 의존을 줄인다. 실험적으로, Pythagoras-Prover-4B는 MiniF2F-Test에서 pass@32 기준 DeepSeek-Prover-V2-671B(86.1% vs 82.4%)를 ~167배 적은 파라미터로 능가하며, Pythagoras-Prover-32B는 MiniF2F-Test에서 93.0%로 오픈소스 최고 수준(state of the art)을 기록하고 PutnamBench 672문제 중 93문제를 풀었다. 우리는 MiniF2F-ALF를 공개하는데, 이는 ALF로 변형(mutate)된 오염(contamination) 민감 벤치마크이며, 여기서 평가된 모든 모델의 정확도가 하락한다; 이 벤치마크에서 우리 32B는 여전히 가장 강하고, 4B는 이전 최고 수준인 Goedel-Prover-V2-32B와 동등하다.

arXiv:2606.07436v2cs.CV

Skill-3D: 에이전트 3D 공간 추론을 위한 장면 인식 스킬의 자가 진화

Skill-3D: Evolving Scene-Aware Skills for Agentic 3D Spatial Reasoning

본 논문은 에이전트 3D 공간 이해, 즉 툴 사용(tool use)을 통해 3D 추론을 수행하는 멀티모달 대규모 언어 모델(MLLM) 에이전트를 탐구합니다. 기존 방법들은 3D 시나리오에서 툴을 오남용하고 편향된 툴 선호도를 보이는 경우가 많아, 비에이전트 전략(non-agentic strategies) 대비 에이전트 패러다임의 이득이 미미한 수준에 머물고 있습니다. 우리는 3D 공간 추론 작업이 장면(scene) 간에 이질적이라는 점을 밝혔습니다. 반면, 이러한 에이전트들은 특정 장면과 작업에 따라 툴을 선택하기보다는 모든 장면에 균일한 툴 사용 전략을 적용하고 있습니다. 이를 해결하기 위해 우리는 자가 진화하는 장면 인식 스킬(scene-aware skills)을 학습하는 프레임워크인 Skill-3D를 제안합니다. 구체적으로, Skill-3D는 작업 장면을 식별하고 에이전트의 툴 사용 궤적(tool-use trajectory)을 장면 메모리(Scene Memory)에 기록합니다. 여기서 유사한 장면에서의 성공적인 궤적은 집계되어 재사용 가능한 장면 인식 스킬로 증류(distilled)되며, 실패한 궤적은 교훈으로서 스킬에 첨부됩니다. 학습 과정에서 유사한 장면이 다시 등장하면, 해당 스킬이 주입되어 에이전트를 가이드하고 새로운 궤적을 생성합니다. 이러한 궤적의 성공과 실패는 스킬을 더욱 정제(refine)하여, 메모리와 스킬 라이브러리가 공진화(co-evolve)하는 루프를 형성합니다. 실험 결과, Skill-3D는 3D 공간 추론에서 툴 활용도를 크게 향상시키는 것으로 나타났습니다(VSI-Bench에서 39%에서 78%로 상승). 이는 에이전트가 올바르고 충분한 툴을 사용하도록 유도합니다. 예를 들어, MMSI-Bench에서 Gemini-3-Flash의 성능을 67% 향상시켰습니다. 또한, 스킬 가이드 궤적에 대해 에이전트 사후 학습(agentic post-training)을 수행하여 VSI-Bench에서 Qwen3-VL-8B의 성능을 60% 향상시켰습니다.

arXiv:2606.12364v1cs.LG

준2차 아키텍처에 대하여: 응용에서 원리로

On Subquadratic Architectures: From Applications to Principles

트랜스포머는 현대 시퀀스 모델링을 지배하지만, 2차 어텐션(quadratic attention)으로 인해 상당한 계산 비용이 발생합니다. 준2차 아키텍처는 확장 가능한 대안을 제공합니다. 그러나 어떤 설계가 가장 효과적인 시퀀스 모델을 만드는지는 여전히 불분명합니다. 우리는 세 가지 주요 접근법인 xLSTM, Mamba-2, Gated DeltaNet을 비교합니다. 우리는 복잡한 의존성이 있는 작업에서 이 모델들을 평가합니다: (1) 코드 모델 사전학습, (2) 대규모 언어 모델(LLM)로부터의 코드 모델 지식 증류, (3) 시계열 파운데이션 모델 사전학습. 이러한 설정 전반에서 xLSTM이 가장 강력한 전반적인 성능을 보여주었습니다. xLSTM의 이점을 설명하기 위해 우리는 통합된 공식화를 제시하고, 상태 추적(state tracking)과 메모리 역학(memory dynamics)에 초점을 맞춰 기본이 되는 아키텍처 메커니즘을 분석합니다. 결과에 따르면 xLSTM은 게이팅 방식(gating scheme)을 통해 더 유연하고 안정적인 메모리 수정을 가능하게 합니다. 우리는 제어된 합성 길이 일반화(length-generalization) 작업에서 이러한 발견을 확인했습니다. 전반적으로, 우리의 발견은 복잡한 작업에서의 xLSTM의 성능 향상이 강력한 상태 추적(state tracking)과 누적(accumulation)에서 비롯됨을 나타냅니다.

arXiv:2606.11709v1cs.LG

RLCSD: 대조적 온-정책 자기 증류를 활용한 강화학습

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

온-정책 자기 증류(OPSD)는 모델 자신의 분포를 특권 컨텍스트(주로 검증된 해답) 하에서 생성하는 분포와 정렬시킴으로써, 추론 모델에게 조밀한 토큰 수준의 감독(supervision)을 제공합니다. 그러나 우리는 이 분포 차이에서 도출된 학습 신호가 힌트를 받은 모델이 더 직접적이고 짧은 출력을 생성하려는 경향 때문에 과제 수행 토큰(task-bearing tokens)보다는 스타일 토큰(style tokens)에 집중된다는 것을 보여줍니다. 우리는 이러한 병리 현상을 특권 유발 스타일 드리프트(privilege-induced style drift)라고 명명하며, 이는 학습을 불안정하게 만들거나 응답 길이를 축소시킵니다. 이를 해결하기 위해 우리는 **RLCSD** (대조적 온-정책 자기 증류를 활용한 강화학습)를 제안합니다. RLCSD는 올바른 힌트 하에서의 교사-학생 간 차이(teacher-student gap)를 잘못된 힌트 하에서의 차이와 대조하여 이러한 드리프트를 완화합니다. 이는 힌트를 조건으로 할 때 정답 여부와 상관없이 유발되는 스타일 변화를 억제하고, 과제 수행 토큰에 더 집중된 신호를 생성합니다. Qwen3 (1.7B/4B/8B) 및 Olmo-3-7B-Think를 사용한 수학 및 논리 추론에 대한 실험 결과, RLCSD가 GRPO 및 기존 OPSD 방법론보다 일관되게 더 뛰어난 성능을 보임을 확인했습니다. 또한 우리는 대조 원칙이 일반적임을 보여줍니다: 이는 기존 OPSD 방법론에 적용되어 이를 개선할 수 있으며, 그 기본 통찰은 더 넓은 교차 모델 온-정책 증류(cross-model on-policy distillation) 설정으로 확장됩니다.

arXiv:2606.11627v1cs.LG

컨텍스트가 반환될 때: 온-정책 증류에서의 강건한 내재화 향해

When Context Returns: Toward Robust Internalization in On-Policy Distillation

최근 연구는 온-정책 증류(on-policy distillation)가 시스템 프롬프트나 작업 힌트와 같은 특권 컨텍스트(privileged context)를 학생 모델(student model)에 내재화(internalize)하여 추론(inference) 시 더 이상 컨텍스트가 필요하지 않도록 만들 수 있음을 보여주었습니다. 이 접근 방식이 학생 모델의 컨텍스트 없는(no-context) 성능을 성공적으로 향상시키지만, 우리는 흥미롭고 이전에 연구되지 않은 현상을 발견했습니다. 많은 설정에서, 증류된 학생 모델에 원래의 특권 컨텍스트를 다시 제공하면, 컨텍스트 없이도 이미 올바르게 해결하는 인스턴스에서조차 성능이 실제로 저하됩니다. 우리는 이를 컨텍스트 유발 성능 저하(context-induced degradation)라고 명명하며, 강건한 내재화(robust internalization)는 교사의 컨텍스트 조건부 행동(context-conditioned behavior)과 일치할 뿐만 아니라, 컨텍스트가 재도입될 때 안정성을 유지하는 것, 즉 우리가 컨텍스트 제거 가능성(context removability)이라 부르는 속성이 필요하다고 주장합니다. 이 관찰에 동기를 부여받아, 우리는 먼저 stop-gradient를 통해 학생 모델의 컨텍스트 없는 출력을 고정(anchoring)한 다음, 순방향 KL 발산(forward KL divergence)을 통해 이에서 벗어나는 컨텍스트 조건부 출력에 페널티를 부여하는 가벼운 일관성 정규화기(consistency regularizer)를 제안합니다. 이 간단한 추가는 학습(training) 스텝당 단 하나의 추가 순전파(forward pass)만을 필요로 하지만, 컨텍스트 유발 성능 저하를 효과적으로 완화하며, 많은 경우 컨텍스트 없는 성능까지 향상시킵니다. 다양한 도메인과 모델 계열에 걸친 12가지 구성에서, 우리의 방법은 대부분의 설정에서 컨텍스트 조건부 정확도를 향상시키고, 12개 설정 중 11개에서 컨텍스트 유발 피해를 줄이며, 응답 길이 팽창(response-length inflation)을 효과적으로 제거합니다. 기작 사례 연구(mechanistic case study)는 컨텍스트 제거 가능성이 표현 수준에서 달성됨을 추가로 확인해주며, 컨텍스트의 존재 여부와 관계없이 히든 상태(hidden states)가 거의 동일하게 유지됩니다.

arXiv:2606.11605v1cs.LG

대규모 언어 모델을 활용한 물리학 기반 증류 신경망을 통한 제조 공정-특성 예측 모델링

Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling

제조 분야에서 공정-특성 관계를 예측하는 것은 종종 높은 실험 비용과 복잡한 '블랙박스' 모델의 제한된 해석 가능성으로 인해 어려움을 겪습니다. 본 논문은 데이터가 부족한 상황에서 높은 정확도의 예측을 달성하도록 설계된 새로운 지식 증류 프레임워크를 제안합니다. 이 프레임워크는 대규모 언어 모델(LLM)을 통해 과학 문헌에서 체계적으로 추출된 해석적 물리학 선행 지식(priors)을 특권 교사 모델(privileged teacher model)에 통합합니다. 우리는 엄격한 설정점(setpoints)이나 정적 및 고주파 시계열 서명의 조합을 나타내는 입력 변수 간의 복잡한 물리적 의존성을 포착하기 위해 그래프 마스킹 어텐션(Graph-Masked Attention) 층을 사용합니다. 이 특권 지식은 추론을 위해 경량화된 학생 예측기(student predictor)로 증류됩니다. 프레임워크의 타당성과 견고성은 5가지 다양한 제조 공정에 걸친 포괄적인 실험을 통해 평가됩니다. 작은 데이터셋 크기를 고려하여 통계적 신뢰성을 보장하기 위해, 반복 K-겹 교차 검증(repeated K-fold cross-validation) 기법을 사용하여 모델의 안정성과 일반화를 정량화합니다. 결과는 제안된 프레임워크가 평가된 모든 영역에서 일관되게 높은 예측 정확도를 달성함을 나타냅니다. 가장 중요한 것은, 아키텍처가 LLM에서 파생된 해석적 선행 지식이 최적이거나 완전하지 않은 시나리오에서도 견고한 예측 성능을 유지함으로써 상당한 내결함성(fault tolerance)을 보여준다는 점입니다. 또한, 학생 예측기는 6000 Hz를 초과하는 추론 주파수를 달성하여 표준 산업용 하드웨어에서 실시간 엣지 배포(edge deployment)를 용이하게 합니다. 이 연구는 데이터가 제한된 환경에서 이론 물리학과 실시간 산업 모니터링 사이의 격차를 해소하기 위한 확장 가능한 솔루션을 제공합니다.