PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22561v1cs.AI

심판의 프로그램화: 프로그램 증류를 통한 확장 가능한 평가

Codifying the Judge: Scalable Evaluation via Program Distillation

LLM-as-a-judge는 자동화된 평가의 표준이 되었지만, 높은 비용, 상당한 지연, 불투명한 판정이라는 한계로 인해 확장성과 신뢰성을 저해합니다. 이를 해결하기 위해 간단하고 효율적인 대안인 프로그램 증류(program distillation)를 제안합니다. 평가 시점에 LLM에 프롬프트를 보내는 대신, 그 결정 로직을 후보를 직접 채점하는 프로그램 위원회로 증류합니다. 이러한 프로그램 기반 심판(programmatic judges)은 투명성을 제공하며, 쉽게 검토하거나 편집할 수 있고, 샘플당 API 비용을 없앱니다. 이 개념을 바탕으로, 프로그램을 심판으로 합성하고 그들의 판정을 통합 판결(joint verdict)로 집계하며, 신뢰도가 낮은 사례를 선택적으로 LLM으로 에스컬레이션하는 폴백(fallback) 메커니즘을 포함하는 시스템 PAJAMA를 소개합니다. 5개 데이터셋과 4개 모델 계열에 걸쳐, 프로그램 기반 심판이 13B 규모 LLM 심판의 성능과 맞먹을 수 있음을 보입니다. 프로그램 출력을 라우팅 신호로 사용할 때, PAJAMA는 정확도와 처리량(throughput) 모두를 개선하고 파레토 프론티어(Pareto frontier)를 앞당깁니다. 평가를 넘어, 프로그램 기반 심판은 저렴하고 효과적인 보상 신호를 생성합니다. RewardBench에서, 프로그램 판정에서 증류한 보상 모델은 독점 LLM의 라벨로 학습한 모델보다 API 비용이 두 자릿수 낮은 수준에서 더 나은 성능을 보입니다.

arXiv:2603.07025v2cs.CL

ASR 전용 지도 기반 다국어 지시 따르기 음성 LLM을 위한 언어 인식 증류

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

여러 언어로 지시를 이해하고 따르는 음성 대규모 언어 모델(Speech LLM)은 실제 상호작용에 유용하지만, 지도 미세조정으로 학습하기 어려워 대규모의 과제별 음성 코퍼스가 필요하다. 최근 증류 기반 접근법은 경량 프로젝터만으로 텍스트와 음성을 정렬하여 주석이 달린 ASR 데이터만으로 성능이 좋은 영어 전용 Speech LLM을 학습시키지만, 공유 프로젝터에서의 언어 간섭으로 인해 다국어 설정으로 확장할 때 성능이 저하된다. 이를 해결하기 위해 쿼리 뱅크와 Q-Former 프로젝터를 사용하여 쿼리 토큰을 선택하거나 혼합하는 게이팅 네트워크를 활용한 언어 인식 증류를 제안한다. 우리 접근법은 지시 따르기에서 동등한 다국어 증류 기준선 대비 14%의 향상을 보인다. 또한 MLQA를 기반으로 고품질 TTS 질문으로 구성된 다국어 음성 QA 벤치마크인 Audio-MLQA를 합성한다. 최고 성능 모델은 Audio-MLQA에서 기존 Speech LLM 기준선 대비 32% 향상된다.

arXiv:2607.22334v1cs.LG

바이트 접두사 주변화를 통한 크로스-토크나이저 온-정책 지식 증류

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

서로 다른 계열의 오픈 가중치 언어 모델은 상호 보완적인 능력을 보이며, 이는 온-정책 지식 증류(OPD)를 통해 이를 소형 학생 모델로 통합하려는 동기가 됩니다. 그러나 전체 어휘집 OPD는 일반적으로 공유 토크나이저를 가정하는 반면, 기존 크로스-토크나이저 방법은 교사 모델의 확률 질량을 버리거나 관련 없는 내용의 학생 토큰에 할당할 수 있습니다. 우리는 교사의 다음 토큰 분포를 공유 바이트 공간에서 학생 어휘집 위로 재표현하는 Byte-Prefix Marginalization(BPM)을 제안합니다. 구체적으로 BPM은 각 교사 토큰의 확률을, 해당 토큰의 바이트 표현이 교사 토큰 바이트의 접두사인 학생 토큰 중 가장 긴 토큰에 할당하고, 동일한 학생 토큰에 매핑된 질량을 집계하며, 그렇지 않아 매칭되지 않은 질량은 명시적 잔여 범주에 둡니다. 이는 dense OPD를 위한 어휘집 전체를 포괄하고 바이트 정렬되며 질량을 보존하는 목표를 생성합니다. 해당 목표는 관련 접두사가 여러 교사 토큰에 걸치지 않을 때(학습 위치의 99% 이상에서 충족되는 조건) 교사가 유도한 바이트 접두사 주변화를 정확히 복원하고, 그렇지 않은 경우에는 질량을 보존하는 연쇄 분해 하한을 사용합니다. Qwen3-32B, GLM-Z1-9B-0414, MiniMax-M2.7을 교사로 사용한 실험에서 BPM은 6개의 수학 및 프로그래밍 벤치마크에서 기존 크로스-토크나이저 방법을 일관되게 능가하며, 6개 벤치마크 avg@8에서 가장 강한 기준선 대비 3.7–6.6점을 개선했습니다.

arXiv:2607.21856v1cs.LG

LeAct: 전문가 행동으로부터 추론 학습

LeAct: Learning to Reason from Expert Actions

현대 추론 모델은 추론 데이터에 의존하며, 오늘날 이는 인간 주석이나 더 강한 LLM으로부터 증류되어 공급된다. 그러나 풍부하고 아직 거의 활용되지 않은 감독 신호의 원천은 전문가 시스템(expert systems)(예: 게임 엔진, 고전적 플래너, 정리 증명기)에 있으며, 이들은 다양한 도메인에서 거의 최적에 가까운 행동을 일관되게 생성한다. 하지만 이러한 전문가들은 침묵한다. 그들은 행동 뒤에 있는 사고의 연쇄(CoT)를 적어두지 않은 채 행동을 선택한다. 해당 CoT를 자연어 추론으로 복원하면 전문가 지식을 시연된 행동을 넘어 일반화하는 학생 모델로 증류할 수 있다. 우리는 이를 잠재 변수(latent variable)로 취급하고 행동만으로 이를 복원하는 방법을 연구한다. 우리의 접근법 LeAct(Learning to reason from Actions)는 이 잠재 변수를 최적화한다. 학생 모델은 각 전문가 행동에 대한 후보 CoT를 샘플링하고, 행동을 복원할 자신의 확률을 측정 가능하게 향상시키는 것만을 유지한다. 여러 규모의 불완전 정보 게임과 시뮬레이션 로봇 벤치마크에서 LeAct는 작고 열거 가능한 게임에서 솔버의 수치적 하한(numerical floor)에 도달한다. 더 큰 규모에서는 가장 강력한 전문가 반복(expert-iteration) 기준선보다 솔버에 $5\times$ 더 가깝다. Flop Hold'em($\sim 10^9$ infosets)에서 LeAct는 일대일 대결에서 $+60$ mbb/g로 승리하며, 로봇 프로브에서는 직접 모방(direct imitation)을 개선하는 유일한 학습 방법이다. 우리는 원칙적인 프레임워크와 결과를 제시한다. 전문가 시스템이 기초 모델(foundation models)을 위한 범주적으로 새로운 추론 교사의 원천이 된다.

arXiv:2607.18955v3cs.LG

H$^2$SD: 하이브리드 후견 자기 증류

H$^2$SD: Hybrid Hindsight Self-Distillation

검증 가능 보상 강화학습(RLVR)은 언어 모델 추론에 신뢰할 수 있는 결과 감독을 제공하지만, 스칼라 궤적 보상은 토큰 수준 지도를 제한적으로만 제공한다. 기존 자기 증류(self-distillation) 방법은 특권 교사(privileged teacher)를 추가하지만 일반적으로 고정된 역할을 부여한다: 직접적인 분포 매칭(distribution matching)은 성공적인 행동을 불안정하게 만들 수 있고, 크기만 조절(magnitude-only modulation)하는 방식은 실패 이후에는 거의 교정적 지도를 제공하지 못한다. 우리는 성공한 궤적과 실패한 궤적이 서로 다른 형태의 후견(hindsight) 지도를 필요로 한다는 점을 관찰한다. 성공적인 응답은 이미 유효한 학생(student)이 생성한 추론 경로를 포함하므로, 외부 근거로 대체되기보다 특권 컨텍스트로 활용될 수 있다. 반면 실패한 응답은 교정을 위한 참조 정보가 필요하다. 우리는 Hybrid Hindsight Self-Distillation($\mathrm{H}^{2}\mathrm{SD}$)을 제안한다. 이 방법은 교사 컨텍스트와 업데이트 전략을 궤적의 정확성에 맞게 공동으로 적응시킨다. 성공한 궤적에 대해서는 검증된 응답과 재구성(rephrasing) 지시문으로 교사 컨텍스트를 구성하고, 교사는 원래 응답 토큰을 재평가하는 데만 사용한다. 이렇게 얻은 확률은 보상이 결정한 방향을 바꾸지 않으면서 토큰 신용 할당(credit assignment)을 정교화한다. 실패한 궤적에 대해서는 검증된 참조 힌트가 역 KL 증류(reverse-KL distillation)를 통해 교정적 지도를 제공한다. 도전적인 추론 벤치마크에서의 실험은 H$^2$SD가 대표적인 RLVR 및 자기 증류 베이스라인 중 최고의 전반적 성능을 달성하며, 안정적인 최적화와 유리한 정확도-효율 트레이드오프를 보여준다.

arXiv:2607.15456v2cs.LG

루프형 잠재 어텐션: 루프형 Transformer를 위한 루프 간 KV 압축

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.

arXiv:2607.22166v1cs.RO

부분 관측성 하에서 효율적인 경로 계획을 위한 시공간 의사결정 사전 학습

Learning Spatiotemporal Decision Priors for Efficient Path Planning under Partial Observability

부분 관측성 하에서의 경로 계획은 에이전트가 국소적으로 제한된 관측만으로 장기 내비게이션 의사결정을 내려야 하므로 여전히 어려운 과제이다. 그럼에도 불구하고 과거 궤적에는 재사용 가능한 경험 기반 방향 선호가 담겨 있다. 하지만 고전적인 플래너는 일반적으로 각 인스턴스를 처음부터 해결하며, 이러한 전이 가능한 의사결정 지식을 활용하는 명시적 메커니즘이 부족해 중복 노드 확장과 국소적으로 근시적인 탐색 행동을 초래하는 경우가 많다. 이러한 한계에 동기를 얻어, 본 논문은 ImiPath를 제안한다. ImiPath는 시연 궤적로부터 재사용 가능한 시공간 의사결정 사전을 증류하고, 이를 경험 기반 방향 안내로 사용하여 부분 관측성 하에서 플래너가 신뢰할 만하고 유망한 탐색 방향으로 바이어스되도록 하는 사전 안내 학습 프레임워크이다. 구체적으로 ImiPath는 먼저 국소 시공간 관측 표현을 구성하는데, 이는 국소 환경의 공간 정보와 과거 궤적의 시간 정보를 인코딩한다. SpatioTemporal-Attention Policy Network(STAPNet)는 이 표현을 의사결정 사전으로 변환한다. 이러한 사전은 이질적 플래너에 방향 안내로 통합되어, 탐색을 국소적으로 유망한 영역으로 바이어스한다. 광범위한 실험은 ImiPath가 경쟁력 있는 경로 품질을 달성하고, 국소 관측성 하에서 중복 노드 확장을 줄여 탐색 효율을 향상시킴을 보여준다. 자기 마이크로로봇 플랫폼에서의 추가 물리 실험은 제안 프레임워크의 적응성과 실용적 배포 가능성을 추가로 검증한다.

arXiv:2607.20918v2cs.AI

OPOD: 온-정책 옴니 증류

OPOD: On-Policy Omni Distillation

옴니-모달 모델은 하나의 시스템에서 텍스트, 이미지, 오디오를 처리할 수 있지만, 이 모든 능력을 함께 향상시키는 것은 여전히 어렵다. 풀링된 멀티모달 데이터로 단일 모델을 학습하는 것은 종종 개별 모달리티에 특화된 모델에 미치지 못한다. 온-정책 증류(on-policy distillation, OPD)는 이러한 전문가들을 결합하는 방법을 제공한다. 학생(student)이 응답을 생성하고 교사(teacher)가 그 동일한 응답을 평가하므로, 학생은 실제로 생성하는 행동으로부터 직접 학습한다. 그러나 여러 교사를 사용하면 상충하는 지도가 도입될 수 있고, 한 모달리티를 다른 모달리티의 희생을 치르고 향상시킬 수 있다. 우리는 각 학생 응답을 해당하는 텍스트, 이미지 또는 오디오 교사로 라우팅하는 온-정책 옴니 증류(On-Policy Omni Distillation, OPOD)를 제안한다. OPOD는 교사가 학생보다 더 높은 확률을 부여하는 토큰에만 교사 지도를 유지하고, 학습 중 각 모달리티 교사의 영향력을 독립적으로 조정하며, 라우팅된 교사에게 최종 답과 추론이 정답을 뒷받침하는지 여부를 모두 평가하도록 한다. 12개 벤치마크와 3가지 백본 크기에 걸쳐 OPOD는 모든 규모에서 최고 평균 점수를 달성하며 70.8, 51.7, 46.2에 도달하고, 가장 강력한 비교 대상을 2.1, 1.8, 1.7점 초과한다. 30B 모델에서는 12개 벤치마크 모두에서 기본 모델과 풀링된 멀티모달 데이터에 공동 사후학습된 대응 모델을 모두 능가하며, 개별 전문가가 포함된 경우에도 11개에서 1위 또는 2위를 차지한다. 전문가들은 학습 후 폐기되어 하나의 배포 가능한 옴니-모달 모델만 남는다. 이 결과는 모달리티별 교사를 조율하는 것이 교차-모달 균형을 유지하면서 공유 모델을 개선하는 효과적인 방법임을 보여준다.

arXiv:2607.22013v1cs.CV

멀티모달 사고의 연쇄 추론을 위한 시각적 현저성 조향 증류

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

멀티모달 사고의 연쇄(CoT) 추론은 단계별 추론을 통해 시각 및 텍스트 단서를 통합한다. 토큰 예산이 제한된 소형 모델에서는 모달리티 상호작용 융합이 미세한 교차 모달 차이를 종종 억제한다. 특히 멀티모달 CoT는 서로 다른 이미지가 동일한 텍스트와 짝을 이루거나, 서로 다른 텍스트가 동일한 이미지와 짝을 이룰 때 종종 어려움을 겪으며, 융합 후 이러한 입력을 거의 구별할 수 없게 만든다. 본 연구는 Visual Saliency Steering Distillation(VSSD)을 제안한다. VSSD는 멀티모달 대규모 언어 모델(MLLM)의 어텐션 맵을 활용하여 과제 민감 특징 방향을 포착하는 교란 이미지를 생성하고, 특이값 분해(SVD)를 적용하여 주요 조향 벡터를 추출해 층 간 증류를 안내한다. ScienceQA와 M³CoT에 대한 실험은 VSSD가 근거 생성 및 답변 추론을 개선함을 보여준다. 코드는 https://github.com/BGWH123/VSSD 에서 이용할 수 있다.

arXiv:2606.10135v4cs.CV

BiWM: 양방향 자기회귀로 오픈소스 대화형 비디오 월드 모델 발전

BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression

대화형 비디오 월드 모델은 일반적으로 제어 미세조정, 자기회귀 학습, 인과적 초기화, 소수 단계 지식 증류를 통해 양방향 비디오 생성기를 인과적 자기회귀 시스템으로 변환한다. 이 파이프라인은 비용이 많이 들며, 고정된 인과적 히스토리가 오류를 누적하여 장기간 충실도와 제어 가능성을 저하시킨다. 우리는 양방향 자기회귀 비디오 월드 모델을 위한 최초의 오픈소스 풀스택 학습 프레임워크인 BiWM을 제시한다. BiWM은 생성된 각 청크 내에서 전체 어텐션을 유지하며, 카메라/동작 제어 미세조정과 소수 단계 Distribution Matching Distillation(DMD)이라는 두 단계만 필요로 한다. 두 단계 모두 8대의 H200 GPU에서 수백 옵티마이저 스텝 이내에 수렴한다. 이 프레임워크는 Wan2.1-T2V-1.3B, Wan2.2-TI2V-5B, HunyuanVideo-1.5-TI2V-8B, LTX-2.3-22B를 지원하며, 실세계 카메라 제어, 플러그인 가능한 장기 히스토리 압축, 선택적 저비트 배포도 함께 제공한다. 지도 학습 및 forward-KL 앵커는 DMD 모드 붕괴를 완화하고 장면 역학을 보존한다. BiWM은 사전학습된 양방향 비디오 모델에서 대화형, 제어 가능하고 효율적인 월드 모델로 이어지는 간결하고 재현 가능한 경로를 제공한다.

arXiv:2512.15423v2cs.CV

3D 미라지: 3D 환각의 탐색과 억제

The 3D Mirage: Probing and Taming 3D Hallucinations

단안 깊이 foundation 모델은 대규모 의미론적 사전(prior)을 학습함으로써 뛰어난 일반화를 달성하지만, 이는 치명적인 취약점을 만든다. 평면적이거나 곡률이 낮지만 지각적으로 모호한 입력으로부터 환상적인 3D 구조를 환각하는 것이다. 우리는 이러한 실패를 3D 미라지(3D Mirage)라고 부른다. 본 논문은 맥락 변화(context variation) 하에서 단안 깊이(monocular depth)의 과소 정량화된 안전성(safety) 위험을 탐색(probe), 평가(score), 완화(tame)하기 위한 새로운 end-to-end 프레임워크를 제안한다. 탐색을 위해, 맥락 변화와 실세계 착시(real-world illusions)에 대한 정밀 주석을 결합하고 실제 객체 제외(real object exclusions) 및 다중 표면 지원(multi-surface support)을 포함하는 최초의 벤치마크인 3D-Mirage를 제시한다. 이는 실세계 착시에서 단안 깊이를 스트레스 테스트하기 위해 특별히 구축되었다. 평가를 위해, 두 가지 지표를 갖춘 2차(second-order) 크기(magnitude) 기반 평가를 제안한다. 고차 2차 3D 구조를 위한 Deviation Composite Score(DCS)와 맥락적 불안정성(contextual instability)을 위한 Confusion Composite Score(CCS)이다. 이 실패를 완화하기 위해 Grounded Self-Distillation을 도입한다. 이는 Depth-Anything-V2 기준선(baseline) 위의 매개변수(parameter) 효율적 전략으로, 착시 ROI(illusion ROIs)에서의 환각(hallucination)을 수술적으로 표적하고 해결하면서 배경 지식을 보존하고 치명적 망각(catastrophic forgetting)을 피한다. 우리 연구는 이 현상을 진단하고 해결하기 위한 혁신적인 파이프라인을 제공하며, MDE(단안 깊이 추정, Monocular Depth Estimation) 평가가 픽셀 단위 정확도(pixel-wise accuracy)에서 구조적·맥락적 견고성(structural and contextual robustness)으로 전환되어야 함을 촉구한다.

arXiv:2607.21051v1cs.CL

에이전트 경험으로부터의 샘플 효율적 학습

Sample-Efficient Learning from Agent Experience

실제 환경에서의 에이전트 학습은 시간이 많이 걸리는 실험을 실행하거나 인간 피드백을 얻는 것과 같은 비용이 큰 환경 상호작용에 의해 종종 제약을 받는다. 문맥 내 학습(ICL)은 에이전트가 자신의 상호작용 기록으로부터 학습할 수 있는 매우 샘플 효율적인 방법을 제공하지만, 해당 경험이 컨텍스트에서 제거되면 그 이득은 사라진다. 한편, 컨텍스트 증류(context distillation)는 문맥 정보를 모델 가중치에 내재화하는 메커니즘을 제공한다. 그러나 환경 샘플 효율성을 희생하지 않고 에이전트의 상호작용 기록에 이를 적용하는 것은 아직 충분히 탐구되지 않았다. 우리는 이 문제를 경험 증류(Experience Distillation)라고 명명하고, 수집된 경험을 넘어서는 추가적인 환경 상호작용이 필요 없는 구현을 개발한다. 749개의 큐레이션된 소프트웨어 엔지니어링 작업과 6개의 텍스트 어드벤처 게임에 대한 실험 결과, 이 방법은 두 도메인 모두에서 문맥 내 학습의 이득 중 최소 64.8%를 유지하는 반면, 수집된 경험에 대한 직접적인 지도 미세조정은 3.8%만 회복한다. 고전적인 강화학습(RL) 베이스라인과 비교하면, 시행착오 경험에 기반한 문맥 내 학습 후 경험 증류를 적용한 방법은 최소 9.6배 적은 환경 샘플로 그들의 성능과 동등한 결과를 달성한다.

arXiv:2607.20450v1cs.CL

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

arXiv:2607.20440v1cs.CL

Answer-then-Edit: 유틸리티 보존을 위한 반-증류 추론 골격 편집

Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility

독점 대규모 언어 모델(LLM)은 상당한 지적·재정적 투자를 수반하므로 가치 있는 지적 재산(IP)이다. 그러나 블랙박스 API를 통해 배포되는 경우에도, 이러한 모델은 무단 지식 증류에 취약하여 적대자가 저렴하게 모델 역량을 추출·복제할 수 있다. 이 문제를 해결하기 위해 반-증류(anti-distillation, AD)가 제안되었으며, 이는 사후 검증에 의존하는 워터마킹 기반 접근법의 한계를 극복하면서 증류 효과를 저해하는 방어적 출력을 생성한다. 그러나 내부 모델 교란에 기반한 기존 AD 방법은 반-증류 가능성과 추론 trace의 유틸리티(예: 답변 정확도 및 자연스러움) 간 균형을 맞추기 어려우며, 더 강한 방어는 종종 상당한 유틸리티 손실을 야기한다. 이 공백을 메우기 위해, 우리는 반-증류를 위한 사후 trace 수정을 수행하는 Answer-then-Edit 프레임워크인 Skeleton-Guided Reasoning Editing(SGRE)을 제안한다. 답변(answer) 단계에서 교사 모델은 먼저 깨끗한 추론 trace를 생성하여 원래의 추론 정확도를 보존하면서 trace 자연스러움에 대한 더 유연한 제어를 가능하게 한다. 편집(editing) 단계에서 우리는 인지 부하 이론(Cognitive Load Theory, CLT)에서 영감을 받아 추론 골격 추출, 골격 그래프 거칠화(skeleton graph coarsening), 골격 언어화(skeleton verbalization)로 구성된 3단계 전략을 도입한다. 이 연산들은 추론 구조를 공동으로 교란하고 텍스트 복잡도를 증가시켜 학생 모델(student model)에 대한 외재적 부하(extraneous load)를 증폭하여 기저 추론 패턴의 습득을 방해한다. 다양한 LLM에 걸친 광범위한 실험은 SGRE가 증류 효과 감소에서 최첨단(state-of-the-art) 성능을 달성하면서, 무손실(lossless) 추론 정확도와 우수한 trace 자연스러움을 유지함을 보여준다.

arXiv:2607.20435v1cs.CL

모델 병합에 강인한 오픈소스 텍스트 LLM 워터마크 만들기

Making Open-Source Text LLM Watermarks Durable Against Merging

오픈소스 LLM(OSM)은 최첨단에 근접한 성능에 도달하고 있어, 선행 연구들은 가중치에 텍스트 워터마킹 알고리즘을 직접 내장하여 생성 텍스트를 추적해 왔다. 그러나 OSM은 사후 학습 수정의 영향을 받으며, 이는 워터마크를 제거하는 것으로 나타났다. 특히 전문가 지식을 결합하고 파국적 망각(catastrophic forgetting)을 방지하는 데 널리 쓰이는 모델 병합(model merging)은 이러한 OSM 워터마크를 강하게 제거한다. 핵심 질문은 이후 병합을 견디는 OSM 워터마크를 어떻게 가능하게 할 것인가이다. 본 연구에서는 모델 병합에 견디는 OSM 워터마크를 설계하는 방법을 최초로 제시한다. 우리는 Merge-Adversarial Training을 제안한다. 이는 이후 모델 병합에 강건하면서 텍스트 워터마크를 모델 가중치로 지식 증류(distillation)하는 적대적 학습(adversarial training) 알고리즘이다. 우리 접근법은 하류(downstream) 성능을 유지하면서 모든 베이스라인을 일관되게 능가한다(예: SLERP에서 TPR@1%FPR 기준 최대 +51 퍼센트 포인트(pp), 평균 +25 pp). 또한 전문가 역량 결합이나 파국적 망각 방지 같은 일반적 사용 사례를 반영한 현실적 병합 시나리오와 3가지 주요 병합 알고리즘에 대해 OSM 워터마크를 최초로 평가한다. 더 넓게 보면, 우리 결과는 적대적 학습이 사후 학습 수정에 대한 OSM 워터마크 내구성을 높이는 신뢰할 수 있는 접근법임을 시사한다.

arXiv:2605.22057v2cs.CL

FlyRoute: 적응형 작업 라우팅을 위한 데이터 플라이휠 기반 자기 진화형 에이전트 프로파일링

FlyRoute: Self-Evolving Agent Profiling via Data Flywheel for Adaptive Task Routing

기업용 라우터는 쿼리를 전문 에이전트에게 할당하지만, 배포된 프로파일은 정적인 반면 에이전트는(프롬프트, 도구, 모델 등) 진화하고, 개발자들은 설명이나 예시(exemplars)를 최신 상태로 유지하는 경우가 드뭅니다. 우리는 FlyRoute를 제안한다. 이는 실제 트래픽으로부터 역량 증거를 축적하는 자기 진화형 프로파일링 프레임워크로, 후보를 디스패치하고, 성공한 쌍을 품질 게이트를 거쳐 각 에이전트의 성공 저장소에 넣으며, 주기적으로 증거를 학습된 역량 설명으로 증류(distill)하고, 해당 설명과 BM25로 검색한 성공 사례를 LLM 라우터에 주입한다. 이 플라이휠을 데이터 효율적으로 만들기 위해 FlyRoute는 프로파일 불확실성, BM25 관련성, 어휘적 신규성을 결합한 목표 지향 탐험 정책을 도입한다. 이는 타당한(plausible) 쿼리에 대해서만 프로파일이 부족한 에이전트를 우선시하고 중복된 증거 수집을 피한다. 실제 라우팅된 쿼리로 구성된 독점 기업 개발자 지원 데이터셋에서의 실험에서, FlyRoute는 동일 백본(backbone) 제로샷(zero-shot) LLM 라우터의 정확도를 에이전트당 시드 쿼리 5개만으로 72.57%에서 78.04%로 향상시켰으며, 이는 프로파일 검색만으로도 콜드 스타트(cold-start) 라우팅을 강화할 수 있음을 보여준다. 플라이휠에 라벨이 붙은 학습 쿼리 7,211개를 스트리밍한 후 정확도는 89.83%까지 상승한다(제로샷 대비 +17.26pp; 콜드 스타트 대비 +11.79pp). 단일 정답(single-gold) 테스트 쿼리에 대한 표준 라우팅 정확도 기준으로 네 개의 전문 도메인에서 일관된 향상을 보인다.

arXiv:2604.00004v2cs.CL

LinearARD: RoPE 복원을 위한 선형 메모리 어텐션 증류

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

대규모 언어 모델(LLM)의 컨텍스트 윈도우 확장은 일반적으로 위치 인코딩(positional encoding)을 스케일링한 뒤 경량 연속 사전학습(CPT, Continual Pre-Training)을 수행하는 방식으로 이루어진다. 긴 시퀀스 처리에는 효과적이지만, 이 패러다임은 종종 원래 모델의 능력을 훼손하여 표준 단문 벤치마크에서 성능 저하를 초래한다. 우리는 LinearARD를 제안한다. 이는 동결된 기본 RoPE(native-RoPE) 교사와의 어텐션 구조 일관성을 통해 RoPE 스케일링된 학생(student) 모델을 복원하는 자기 증류(self-distillation) 방법이다. 불투명한 은닉 상태(hidden state)를 맞추는 대신, LinearARD는 밀집 $Q/Q$, $K/K$, $V/V$ 자기 관계(self-relation) 행렬의 행별(row-wise) 분포를 정렬하여 어텐션 역학을 직접 감독한다. $n \times n$ 관계 맵(relation map)의 이차 메모리 병목을 극복하기 위해, 우리는 선형 메모리 커널을 도입한다. 이 커널은 토큰별 log-sum-exp 통계를 활용하고, 역전파(backward pass)에 로짓 재계산을 융합하여 정확한 Kullback-Leibler(KL) 발산과 그래디언트를 계산한다. 4K에서 32K로 확장한 LLaMA2-7B에서 LinearARD는 최첨단 기준선(baseline)의 단문 성능의 98.3%를 회복하면서 장문 컨텍스트 벤치마크에서는 이를 능가한다. 특히, 우리 방법은 LongReD와 CPT가 필요로 하는 256M 토큰에 비해 단 4.25M 학습 토큰만으로 이러한 결과를 달성한다. 코드는 https://github.com/gracefulning/LinearARD 에서 제공된다.

arXiv:2603.22216v2cs.CL

병렬 텍스트 생성을 위한 Gumbel Distillation

Gumbel Distillation for Parallel Text Generation

자기회귀(AR) 언어 모델의 느리고 순차적인 특성으로 인해 병렬 디코딩 방법이 채택되고 있다. 그러나 이러한 비-AR 모델은 토큰 시퀀스의 복잡한 결합 분포를 모델링하는 데 어려움을 겪어 생성 품질을 희생하는 경우가 많다. 이 성능 격차를 줄이기 위해, 병렬 디코더가 이 분포를 효과적으로 학습할 수 있도록 하는 새로운 증류 기법인 Gumbel Distillation을 제안한다. 우리 방법은 Gumbel-Max 트릭을 활용하여 잠재 Gumbel 노이즈 공간에서 고성능 AR 교사의 출력 토큰으로의 결정론적 매핑을 만든다. 모델에 구애받지 않는 기법으로서, Gumbel Distillation은 MDLM 및 BD3-LM을 포함한 다양한 병렬 디코딩 아키텍처와 원활하게 통합된다. LM1B 및 OpenWebText에서의 실험 결과, Gumbel Distillation은 병렬 언어 모델의 생성 품질을 크게 향상시키며, OpenWebText 데이터셋으로 학습된 MDLM 대비 MAUVE 점수에서 30.0%, 생성 perplexity에서 10.5%의 개선을 달성한다. 코드는 https://github.com/hxixixh/gumbel-distill 에서 이용할 수 있다.

arXiv:2512.07540v4cs.CL

참조 없는 자동 기계 번역 평가에서 오류 구간 탐지를 위한 최소 베이즈 위험(MBR) 디코딩

Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation

오류 구간 탐지(ESD)는 번역 오류를 위치 특정하고 심각도를 라벨링함으로써 자동 기계 번역(MT) 평가를 확장한다. 현재 생성형 ESD 방법은 일반적으로 최대 사후 확률(MAP) 디코딩을 사용하며, 모델이 추정한 확률이 인간 주석과의 유사도와 완벽하게 상관관계가 있다고 가정하지만, 우리는 종종 인간 주석보다 잘못된 주석에 더 높은 가능도가 부여되는 것을 관찰한다. 대신 우리는 생성형 ESD에 최소 베이즈 위험(MBR) 디코딩을 적용한다. MBR 디코딩을 위해 문장 수준 또는 구간 수준 유사도 함수를 사용하며, 이는 후보 가설을 인간 주석과의 근사적 유사도에 기반하여 선택한다. WMT24 Metrics Shared Task에서의 실험 결과는 MBR 디코딩이 구간 수준 성능을 크게 향상시키며, 일반적으로 시스템 및 문장 수준에서 MAP와 동등하거나 더 우수한 성능을 보임을 나타낸다. MBR 디코딩의 계산 비용을 줄이기 위해, 우리는 추가로 그 결정을 탐욕 검색(greedy search)으로 디코딩되는 모델로 지식 증류하여 추론 시 지연(latency) 병목을 제거한다.

arXiv:2509.14257v3cs.CL

학생 중심 지식 증류가 소형·대규모 LLM 간 에이전트 격차를 좁힌다

Student-Centered Distillation Narrows the Agentic Gap Between Small and Large LLMs

대규모 언어 모델(LLM) 에이전트는 다단계 추론 및 도구 사용 작업에서 강한 성능을 달성하지만, 그 인상적인 능력은 일반적으로 극도로 큰 백본에 의존한다. 기존 지식 증류 접근법은 더 작은 학생 모델이 교사의 전체 궤적을 모방하도록 학습시키지만, 교사와 학생 사이의 추론 및 지식 격차가 누적 오류를 유발할 수 있다. 우리는 SCoRe를 제안한다. 학생이 학습 궤적을 생성하고 교사는 최초 오류만 수정하는 학생 중심 프레임워크로, 학생의 능력에 맞춘 학습 데이터를 생성하고 특정 약점을 드러낸다. 학생은 먼저 수정된 궤적에 대해 파인튜닝된다. 이후, 단기 강화학습이 최초 오류 이전의 검증된 접두 문맥에서 시작되며, 해당 단계에 목표 보상이 할당된다. 이 설계는 학생이 교사 모방이 아닌 제약 없는 RL 탐험을 통해 문제를 해결할 수 있게 하며, 단기 설정은 학습 안정성을 향상시킨다. 12개의 도전적인 벤치마크에서, SCoRe로 증류된 7B 매개변수 학생 모델은 72B 매개변수 교사 모델과의 에이전트 성능 격차를 좁힌다.