고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.
원격 감지 참조 지도를 이용한 무인항공기(UAV)의 전역 시각적 위치 추정은 점점 더 많은 관심을 받고 있다. 그러나 UAV와 참조 영상 간의 촬영 시점 및 촬영 플랫폼 차이는 상당한 교차 도메인 외형 및 시점 변화를 유발하여, 견고한 6자유도(6-DoF) 자세 추정을 어렵게 한다. 우리는 위치, 고도, 방향에 걸쳐 Google 3D Tiles에서 UAV 시점의 참조 뷰를 샘플링하여 이러한 변화를 해결한다. 2단계 교차 도메인 미세조정 레시피는 자세가 유사한 양성(positive)과 지리적으로 먼 하드 네거티브(hard negative)를 사용하여 SALAD를 적응시키며, 국소 기하학적 일관성이 Top-K 후보를 재순위화한다. 또한 Retrieval-In-Matching(RIM)을 제안한다. 이는 적응된 DINOv2-B 검색기(retriever)를 고정하고, 그 토큰 필드를 얕은 VGG19 디테일 스트림과 함께 재사용하는 국소 디스크립터(local-descriptor) 디코더를 지식 증류(distillation)한다. 따라서 쿼리 측 DINOv2-B의 한 번의 순전파(forward)가 SALAD 검색과 국소 기술(local description) 모두에 사용되어, 두 번째 파운데이션 모델(foundation model) 백본을 제거하면서도 설계상 검색 디스크립터를 보존한다. RIM을 재구성된 EPFL Urbanscape와 자체 수집 Chang'an Park 데이터셋에서 제로샷(zero-shot)으로 평가했으며, 두 데이터셋 모두 학습 데이터와 지리적으로 분리되어 있다. RIM은 최근 10개 검색 기준선 계열을 능가한다. 전체 3D 거리 메트릭에서 25/50 m 기준으로, EPFL에서 SALAD 대비 Recall@1(재현율)을 8.55/13.77 퍼센트포인트, Park에서 4.45/8.94 포인트 향상시켰다. Top-K=5에서 검색, 후보 매칭, 견고한 기하학적 검증을 포함한 완전한 측정된 위치 추정 쿼리는 end-to-end로 67.9 ms가 소요된다: 가장 강력한 별도 sparse-matching 기준선보다 1.8배 빠르고 RoMa보다 40배 이상 빠르면서, 유사한 재순위화(re-ranking) 정확도를 달성한다. 이러한 결과는 GNSS가 어려운 환경에서 UAV 전역 시각적 위치 추정을 위한 효율적이고 배포 가능한 파이프라인을 확립한다.
깊은 학습 기반 시선 추정은 통제된 촬영 환경에서는 잘 동작하지만, 비제약 환경에서는 성능이 저하되며, 이러한 환경에서는 시스템이 신뢰할 수 없는 예측을 거부해야 한다. 단일 패스(single-pass) 불확실성(예: 이분산 회귀(heteroscedastic regression))은 명시적인 입력 유효성 단서 없이 픽셀로부터 불확실성을 추론하는 반면, 샘플링 기반 방법은 실시간 사용에 너무 비용이 많이 드는 경우가 많다. 우리는 불확실성을 해석 가능한 이미지 품질 실패 모드와 정렬하는 교사-학생(teacher-student) 프레임워크인 Factor-Informed Uncertainty Distillation(FIUD)를 제안한다. 그래디언트 부스팅(gradient-boosting) 교사는 조명, 선명도, 눈 가시성, 대칭성과 같은 요인으로부터 예상 시선 오차를 예측하고, 신경망 학생은 커리큘럼 학습(curriculum learning)과 순위(ranking) 감독을 통해 이러한 신호를 경량 단일 패스 불확실성 헤드로 증류한다. ETH-XGaze, Gaze360, MPIIFaceGaze(30만 개 이상 샘플)에서 FIUD는 결정론적 및 샘플링 기반 베이스라인 대비 불확실성, 오차 순위 상관, 선택적 예측(selective prediction)을 개선하며, 비제약 환경에서 가장 큰 향상을 보인다.
nnU-Net과 같은 심층 학습 프레임워크는 최첨단 뇌 병변 분할 성능을 달성하지만, 소프트웨어 의존성 및 계산 요구사항 등의 이유로 임상 연구 환경에 배포하기 어렵다. 우리는 자원 집약적인 3D 뇌졸중 분할 파이프라인을 휴대 가능하고 재현 가능한 애플리케이션으로 적응시키도록 설계된 경량의 모듈형 크로스 플랫폼 C++/Qt 프레임워크인 StrokeSeg2를 소개한다. 표준 임상 워크스테이션과의 호환성을 높이기 위해, 지식 증류를 통한 아키텍처 압축과 Float16 양자화를 적용한 ONNX Runtime을 이용한 추론 최적화의 결합 효과를 조사한다. CPU, 통합 GPU, 전용 GPU 등 이종 하드웨어 구성 전반에 걸쳐 아키텍처 증류가 효율성 향상의 주요 기여 요인으로 나타났으며, 에너지 소비 90% 이상 감소와 추론 시간 평균 84% 감소에 기여했다. 구체적으로, 0.84M 매개변수 학생 모델을 가장 유리한 절충점으로 확인했으며, 이는 원래 102.3M 매개변수 교사 아키텍처를 2.1 MB 디스크 용량으로 줄이면서도 견고한 병변 위치 특정과 경쟁력 있는 분할 성능을 유지한다. 이 작은 용량은 임상 워크스테이션 대상을 위한 자급자족형 설치 프로그램 개발을 지원한다. 마지막으로, StrokeSeg2는 이러한 최적화를 Windows, macOS, Linux용 독립 실행형 설치 프로그램으로 패키징한다. Docker나 외부 환경 의존성 없이 그래픽 및 명령줄 인터페이스를 모두 제공함으로써, StrokeSeg2는 일상적인 임상 연구 파이프라인을 위한 고성능 분할 워크플로의 배포를 용이하게 한다.
지식 증류(KD)는 일반적으로 단일 교사의 고정된 관점에 의존하여 감독 신호의 다양성을 제한한다. 다중 교사 증류는 여러 모델로부터 지식을 집계함으로써 이 문제를 해결하지만, 막대한 계산 및 저장 비용이 발생한다. 효율성과 다양성의 균형을 맞추기 위해 최근 연구는 단일 교사로부터 가상 뷰를 생성하는 데 초점을 맞추고 있다. 그러나 기존 방법들은 트레이드오프에 직면해 있는데, 무작위 섭동 방식은 효율성을 제공하지만 제어된 다양성이 부족하고, 구조적 증강 방법은 다단계 학습이 필요하며 매개변수가 선형적으로 증가한다. 우리는 이 트레이드오프가 공통적인 설계 선택, 즉 뷰 생성에 교사의 강력하지만 정적인 특징을 사용하는 것에서 비롯됨을 관찰한다. 이에 우리는 섭동 생성을 위한 동적 조건으로 학생의 진화하는 특징을 활용하는 단순하면서도 효과적인 프레임워크인 Shift-Augmented Knowledge Distillation(SAKD)을 제안한다. 이러한 관점의 전환은 매개변수 없는 순환 이동을 통해 적응적이고 다양한 뷰를 생성하면서 단일 단계 학습을 가능하게 한다. CIFAR-100과 ImageNet에서의 광범위한 실험을 통해 SAKD가 무작위 섭동 방법을 일관되게 능가하고, 훨씬 적은 매개변수를 사용하고 사전학습 요건을 제거하면서 2단계 접근 방식과 동등한 정확도를 달성함을 보여준다.
분포 매칭 증류(Distribution Matching Distillation, DMD)는 소수 단계 비디오 확산 모델에서 추론을 가속하기 위해 널리 사용되는 패러다임이다. 그러나 DMD 방식의 비디오 증류는 두 가지 밀접하게 결합된 과제에 직면한다. fake score는 지속적으로 진화하는 생성기를 추적해야 하므로, 빈번한 갱신이 필요할 때 학습 비용이 커지며, reverse-KL 방식 매칭은 mode-seeking 특성으로 인해 강한 모션 역학(motion dynamics)을 보존하는 데 보수적일 수 있다. 이러한 문제를 해결하기 위해 본 연구는 \textbf{Score Gradient Matching Distillation (SGMD)}를 제안한다. SGMD는 fake score 관점을 채택하여 fake score를 교사(teacher) 방향으로 직접 최적화하고, teacher stop-gradient Fisher를 안정적인 분포 매칭 목적 함수로 사용한다. 이상적인 추적(tracking) 하에서 이러한 목적 함수 선택을 정당화하는 그래디언트 분석을 제공한다. 이를 기반으로 SGMD는 이중 잠재(dual potential) 쌍을 도입한다: 외부 루프(outer-loop) 보정을 위한 negative-residual(NR)과 내부 루프(inner-loop) 추적을 위한 residual-contraction(RC). 실험적으로 DMD2와 비교했을 때 SGMD는 약 $\sim 3\times$의 학습 속도 향상을 달성하고, 시간적 일관성(temporal consistency)을 유지하면서 4단계 증류 모델의 모션 역학을 크게 개선한다. 인간 평가 연구는 SGMD가 모션 품질과 전반적 선호도에서 더 선호되며, 시각적 품질과 텍스트 정렬(text alignment)은 유사한 수준을 유지함을 확인한다. 코드는 https://github.com/ModelTC/LightX2V 에서 제공된다.
본 연구에서는 17개 언어를 포괄하는 다국어 개념적 최소 대립쌍 데이터셋 XCOMPS를 소개한다. 이 데이터셋을 활용하여 메타언어적 프롬프팅(metalinguistic prompting), 직접 확률 측정, 신경언어학적 프로빙(neurolinguistic probing)을 통해 대규모 언어 모델(LLM)의 다국어 개념 이해를 평가한다. 기본 모델, 지시 미세조정 모델, 지식 증류 모델을 비교한 결과 다음을 확인한다. 1) LLM은 저자원 언어에서 개념 이해가 더 약하며, 동일한 개념 집합으로 평가했음에도 언어별 정확도가 다르다. 2) LLM은 눈에 띄게 다른 개념-속성 쌍은 잘 구별하지만, 부정 대립쌍이 미묘한 의미적 유사성을 공유할 때 성능이 현저히 저하된다. 3) 지시 미세조정은 개념 이해 성능을 향상시키지만 내부 역량은 강화하지 않으며, 지식 증류는 저자원 언어에서 개념 이해의 내부 역량을 강화할 수 있으나 명시적 과제 성능에서는 제한적인 이득만 있다. 4) 형태론적으로 더 복잡한 언어일수록 개념 이해 점수가 낮고, 개념적 추론에는 더 깊은 레이어가 필요하다.
대규모 언어 모델(LLM)은 지도 미세조정, 강화학습, 온-정책 증류를 통해 추론 능력에서 큰 향상을 이루었지만, 이러한 사후 학습 방법들은 보통 최종 답변 정확도로만 평가된다. 우리는 추론 과정에서 이들이 신뢰도(confidence)를 어떻게 재구성하는지 연구한다. 우리는 사고의 연쇄(Chain-of-Thought) 생성 전, 중, 후의 신뢰도를 평가하는 3단계 보정 프레임워크를 도입하며, 이는 각각 난이도 추정, 조기 종료, 답변 집계에 대응한다. 수학적 추론 벤치마크에서의 통제된 비교를 통해, OPD가 사전 추론 신뢰도에 가장 유용하고, SFT가 조기 종료를 위한 최상의 온라인 신호를 제공하며, RL이 집계를 위한 가장 신뢰할 수 있는 trace 수준 신호를 생성함을 발견한다. 또한 신뢰도의 신뢰성은 위치에 따라 달라짐을 보인다: RL 신뢰도는 경로 확정(path-commitment) 단계 이후에 정보를 제공하기 시작하는 반면, OPD 신뢰도는 초기에는 유용하지만 이후 역보정(inversely calibrated)될 수 있다. 이 관찰에 기반하여, 신뢰할 수 있는 상대 위치 구간에서만 신뢰도를 사용하는 위치 인식(position-aware) 신뢰도 전략 PosConf를 제안한다. PosConf는 다수결 투표(majority voting) 대비 RL 답변 집계를 6.1점 향상시키며, 촘촘한 토큰 예산 하에서 OPD 조기 종료를 일관되게 개선하여, 후반 역보정 구간을 피함으로써 최대 4.3점의 이득을 보인다. 이는 추론 모델에서 신뢰도를 단계별로 그리고 위치 인식적으로 사용해야 함을 보여준다. 코드는 https://github.com/EIT-NLP/Post-Training-Calibration 에서 제공된다.
클라우드, 엣지, 기업 환경 전반에 걸친 머신러닝 시스템의 급속한 배포는 모델 최적화를 시스템 엔지니어링의 핵심 과제로 부각시켰다. 양자화, 가지치기, 지식 증류, 매개변수 효율적 미세조정(PEFT), 추론 시간 최적화에 이르는 풍부한 문헌에도 불구하고, 실무자들은 원칙적인 방법론보다는 휴리스틱을 통해 이러한 기법들을 탐색하는 경우가 많다. 우리는 최적화를 제약 기반 다목적 엔지니어링 의사결정으로 공식화해야 한다고 주장하며, 데이터 가용성, 지연 시간 예산, 메모리 예산, 정확도 허용치, 재학습 예산의 다섯 가지 상호작용하는 제약 차원을 따라 모든 프로덕션 배포를 특성화하는 통합 프레임워크를 제안한다. 이 분류 체계를 바탕으로, 연구 문헌 전반에 보고된 실증적 이득을 종합하고 이를 알고리즘 범주가 아닌 운영상 제약에 매핑한다. 실용적 관련성을 확보하기 위해, 우리는 최근 문헌을 검토하여 핵심 배포 병목에 대한 측정 가능한 개선을 보고하는 방법들을 선별했다. 우리는 규범적 의사결정 프레임워크를 제안하고, 실무에서 이를 설명하기 위해 네 가지 대표적인 산업 시나리오에 대한 최적화 파이프라인을 제공한다. 우리가 아는 한, 본 연구는 연구 문헌의 정량적 증거를 종합하여 모델 최적화를 제약 인식 다목적 엔지니어링 프로세스로 공식화하려는 최초의 구조화된 시도 중 하나를 제공한다.
우리는 지도 미세조정이나 인간 피드백 강화학습(RLHF) 없이 대규모 언어 모델(LLM)을 정렬하기 위한 무학습 안전성 향상 방법을 제안한다. 핵심 아이디어는 모델이 하류 작업에 적응될 때 섀도우 정렬(shadow alignment)을 방지하기 위한 견고한 플러그 앤 플레이 접근법을 제공하는 것이다. 구체적으로, 지식 증류를 활용해 잘 정렬된 LLM으로부터 정렬 신호를 추출하고, 모델 융합(model fusion)을 통해 섀도우 정렬 모델에 주입하여 플러그 앤 플레이 방식의 정렬 교정을 가능하게 한다. 우리 방법론에서는 델타 디버깅(delta debugging)을 사용해 효과적인 증류에 필요한 지식의 핵심 구성 요소를 식별한다. 유해 질문 데이터셋(harmful question dataset)에서 우리 방법은 17개의 영향을 받은 LLM 전반에 걸쳐 평균 방어 성공률을 약 14.42% 향상시켜 최대 51.39%에 이르며, 성능을 저하시키지 않는다. 코드는 https://github.com/NWULIST/DAPA 에서 확인할 수 있다.
현대 생성 모델은 점점 더 모델이 생성한 신호를 사용해 학습되며, 이는 자기 개선의 기회와 함께 붕괴(collapse)의 위험을 동시에 만든다. 우리는 rectified flow(RF)에 대한 최적 자기 지식 증류(self-distillation, SD)를 연구한다: 차(suboptimal) teacher 속도 필드가 주어졌을 때, 실제 RF 속도와 teacher 속도의 혼합으로 학습된 student가 teacher를 증명 가능하게 개선할 수 있는가? 고정된 보간 쌍에 ridge 정규화를 적용한 선형 RF에 대해, 우리는 정확한 아핀 경로 항등식을 증명하고, 최적 혼합 계수를 폐형(closed form)으로 도출하며, teacher 위험(risk)이 정규화 경로를 따라 비정상(nonstationary)일 때마다 통합 속도 위험에서의 엄격한 개선을 보인다. 최적 계수는 부호 규칙(sign rule)을 따른다: 양의 혼합은 정규화가 부족한(under-regularized) teacher를 교정하고, 음의 혼합은 정규화가 과도한(over-regularized) teacher를 교정한다. 또한 혼합 가중치에 대한 그리드 탐색과 반복 재적합(repeated refitting)을 피하는 one-shot 일반화 교차 검증(generalized cross-validation, GCV) 및 검증 튜닝 절차를 제시한다. 이 정리를 RF Wasserstein 수렴 경계와 결합하여, 최적 자기 지식 증류가 연속 시간 및 유한 단계(finite-step) 생성 오류를 제어하는 속도 추정 항들을 개선함을 보인다. 가우시안 모델, 가우시안 혼합, 이미지 데이터에 대한 실험은 최적 자기 지식 증류가 teacher와 순수 지식 증류(pure distillation) 모두에 비해 속도 위험, 모드 복원(mode recovery), 유한 단계 생성을 개선함을 보여준다.
대규모 언어 모델(LLM)은 다중 턴 상호작용, 도구 사용, 환경 피드백을 포함하는 장기(horizon) 작업을 위한 대화형 에이전트로 점점 더 학습되고 있다. 결과 기반 강화학습(RL)은 실용적인 최적화 패러다임을 제공하지만, 희소한 궤적 수준 보상은 중간 결정에 제한적인 지침만을 제공하여, 에피소드 수준 결과와 토큰 수준 정책 학습 사이에 감독(supervision) 공백을 남긴다. 우리는 완료된 온-정책 궤적을 학습 시점의 후견(hindsight) 스킬로 변환하고, 그 행동적 효과를 정책 모델에 다시 증류하는 자기 진화 프레임워크인 SEED(SElf-Evolving On-Policy Distillation)를 제안한다. SEED는 먼저 정책을 파인튜닝하여 완료된 궤적을 분석하고, 재사용 가능한 워크플로, 결정적 관찰, 또는 실패 회피 규칙을 포착하는 자연어 스킬을 생성한다. 강화학습 중 현재 정책은 궤적을 수집하는 동시에 그로부터 후견 스킬을 추출하는 분석기 역할도 한다. 따라서 정책 업데이트는 이후의 의사결정과 스킬 분석을 함께 개선하여, 후견 감독이 정책과 함께 진화하도록 한다. SEED는 이어서 일반 컨텍스트와 스킬 증강 컨텍스트 하에서 샘플링된 행동을 재점수화하고, 스킬에 의해 유도된 확률 변화를 밀집한 토큰 수준 온-정책 증류 신호로 변환한다. 이 신호는 결과 기반 RL과 공동으로 최적화되어, 보조 감독이 현재 궤적 분포와 정렬되도록 유지한다. 텍스트 기반 및 비전 기반 에이전트 작업에 대한 광범위한 실험에서 SEED는 성능과 샘플 효율을 일관되게 향상시키며, 보지 못한 시나리오에 대한 견고한 일반화를 보인다. 코드는 https://github.com/jinyangwu/SEED 에서 제공된다.
투명한 교육용 질의응답은 답이 정확할 뿐만 아니라 설명 가능해야 하며, 소형 모델로 이를 수행하면 가장 큰 독점 시스템의 추론 능력은 기대하기 어렵다. EXACT 2026 대회는 이 문제를 구체적으로 제시한다: 최대 80억(8B) 파라미터의 오픈 가중치(open-weight) 언어 모델을 자체 호스팅하여, 모든 답변에 자연어 설명을 제공해야 한다. 두 가지 과제를 함께 다룬다: 대학 규정에 대한 논리적 추론과 다단계 물리 문제 풀이. CoTu 팀이 두 과제를 해결하기 위해 개발한 시스템을 설명한다. 이는 4B 백본이 답을 직접 제시하는 대신 프로그램을 작성하는 신경-기호적 Program-of-Thought 파이프라인이다: 규정 질의의 경우 함의(entailment) 판정이 추론을 그라운딩(grounding)하는 Z3 인코딩을 출력하고, 물리 과제의 경우 수치 Python을 출력하며, 둘 다 공유 자기교정(self-correction) 루프와 통합 explained-JSON 출력으로 감싼다. 답변 유형 라우팅, 지식 증류(distillation) 기반 과제 미세조정(fine-tuning), 그리고 지연 시간을 고려한 서빙 스택—투기적 디코딩(speculative decoding)을 사용하는 SGLang—이 시스템을 쿼리당 60초 제한 내에 유지한다. 이 시스템은 자동 선발 라운드 모두에서 물리 과제에 완벽한 점수를 달성했고, 최종 라운드에서 자동 답변 평가와 전문가가 판단한 추론 깊이를 결합한 기술 점수로 모든 팀 중 최고인 13.44/15를 기록했다. 발표 점수를 동일 가중치로 포함하면 CoTu는 전체 3위를 차지했다. 답을 기호 솔버(symbolic solver)에 그라운딩하면 4B 규모에서도 정확하고 검증 가능한 추론을 얻을 수 있으며, 남은 어려움은 추론 자체보다 전제(premise) 선택에 있다.
하이브리드 표·텍스트 데이터에 대한 금융 질의응답은 다중 출처 추론과 정밀한 수치 계산이 필요할 수 있다. 대규모 언어 모델(LLM)은 중간 추론 단계를 생성할 수 있지만, 자연어 근거(rationale)는 산술 오류에 취약해 증류를 위한 신뢰할 수 있는 지도 신호가 되기 어렵다. 프로그램적 증류를 기반으로, 우리는 자유 형식의 텍스트 근거 대신 실행 검증된 Python 프로그램을 사용하여 대규모 교사 모델로부터 소형 학생 모델로 신뢰할 수 있는 수치 추론을 전달하는 접근법을 개발한다. 이 방법은 골드 유도 과정(gold derivations)을 활용해 교사 측 프로그램 합성을 안내하고, 올바르게 실행되어 골드 정답을 산출하는 프로그램만 유지하여 고품질 지도 신호를 보장한다. 또한 교사 모델이 실패한 사례를 재검토하는 반복적 복구 단계를 도입하여, 학생 모델이 새로 검증된 프로그램을 복구하고 학습에 통합할 수 있게 한다. TAT-QA에서의 실험은 본 프레임워크가 하이브리드 금융 추론에 매우 효과적임을 보여준다. 최고 성능의 7B 학생 모델은 테스트 세트에서 87.00 EM / 87.18 F1을 달성하여, 72B 교사 모델(78.46 EM)뿐 아니라 TAGOP, TAT-LLM을 포함한 전통적·강력한 LLM 기반 베이스라인을 크게 상회한다. 이 결과는 실행 검증된 프로그램적 증류가 더 작은 모델을 학습시켜 신뢰할 수 있는 수치 추론을 수행하게 하는 효과적이고 확장 가능한 프레임워크임을 보여준다.
대규모 언어 모델(LLM)의 추론 능력을 증류하는 표준 방법은 모델로부터 사고의 연쇄(chain of thought)를 샘플링하고, 정확한 최종 답에 도달하는 것만 남긴 뒤, 그 샘플에 대해 미세조정하는 것이다. 샘플링이 실패할 때 흔한 해결책은 생성기에 정답(gold answer)을 보여주고 그 답에 도달하는 연쇄를 작성하게 하는 것이다. 우리는 이 두 번째 단계가 정확성 필터링으로는 포착할 수 없는 방식으로 학습 데이터를 저하시킨다는 것을 보인다. 우리는 생성기, 문제 집합, 정확성 필터를 고정하고 연쇄가 정답 조건부(answer-conditioning)—정답을 보여준 뒤 그에 도달하도록 요청하는 방식—로 생성되는지 여부만 바꾸는 통제 실험을 수행한다. 강력한 인스트럭션 튜닝(instruction tuning) 추론 모델을 자신의 정답 조건부 연쇄로 학습시키면 검증 가능한 추론(verifiable-reasoning) 정확도가 급격히 떨어진다. 손실은 난이도에 따라 커져, 가장 어려운 경쟁 문제에서 최대 약 27점에 달한다. 메커니즘은 연쇄 자체에서 읽을 수 있는데, 연쇄는 답을 유도하기보다 제시된 답에서 거꾸로 정당화하며, 초기 최종 답 진술이 측정 가능한 증상이다. 피해는 생성기가 아니라 데이터의 속성이며, 어떤 미세조정 전에도 라벨 없는 생성물에서 읽을 수 있고, 네 계열의 여덟 개 thinking 모델에 걸쳐 페널티 순서를 정하며, 교사(teacher) 모델 계열 간에도 전이된다. 프롬프트 ablation은 이를 정답의 단순 노출이 아니라 그 답을 향해 정당화하라는 지시에 국한한다. 실무적 시사점은 정답을 모른 채(answer-blind) 생성해야 한다는 것인데, 어떤 정확성 필터도 데이터 속 이 손상을 볼 수 없기 때문이다.
멀티모달 대규모 언어 모델(MLLM)은 일반 도메인에서 유망한 추론 능력을 보여주었지만, 의료와 같은 전문 분야, 특히 다국어 및 저자원(low-resource) 시나리오에서는 성능이 여전히 제한적이다. 이러한 격차는 농촌 인도와 같은 지역에서 특히 중요한데, 환자들은 종종 모국어인 Indic 언어로 복잡한 의료 질문을 표현하고 의료 영상과 같은 멀티모달 입력에 의존하기 때문이다. 기존의 영어 중심 MLLM은 이러한 사용 사례를 지원하는 데 어려움을 겪으며, AI 기반 의료 지원에 대한 공평한 접근을 제한한다. 이 과제를 해결하기 위해, 우리는 8개의 이질적 출처로 구성된 대규모 다국어 멀티모달 의료 질의응답 데이터셋 ArogyaBodha를 제시한다. 이 데이터셋은 영어와 7개의 주요 인도 언어에 걸쳐 31개 신체계, 6개 영상 모달리티, 21개 임상 도메인을 포괄한다. 또한 actor-critic 기반 멀티 에이전트 프레임워크 ArogyaSutra를 제안한다. 이 프레임워크는 단계별 추론 인식 의사결정을 위해 도구 그라운딩(tool grounding)과 이중 메모리 메커니즘을 통합하며, 저장된 actor-critic 시뮬레이션 궤적을 지식 증류(distillation)에 활용한다. 실험 결과, 우리의 데이터셋과 프레임워크가 모든 Indic 언어에 걸쳐 다국어 의료 추론 정확도를 향상시키며, ablation을 통해 각 구성 요소의 기여를 검증하였다. 소스 코드와 데이터셋은 https://iitp-cse.github.io/ArogyaSutra/ 에서 이용할 수 있다.
온-정책 증류(on-policy distillation)는 강화학습(RL)에서 보상 모델이 부과하는 제약을 완화하는 대안적인 사후 학습 방법으로, 교사 모델로부터 토큰 수준의 지도를 제공한다. 온-정책 증류는 다양한 설정에서 연구되고 적용되어 왔지만, 그 근본적인 설계는 여전히 충분히 탐구되지 않았다. 본 논문에서는 교사 모델의 출력 분포를 직접 모방하는 대신 델타 신호(delta signal)라고 부르는 새로운 증류 보상을 제안한다. 델타 신호는 추론 능력을 위한 지시 미세조정 이전의 기본 모델과 교사 모델 간의 차이로 정의되며, 따라서 추론 튜닝에 의해 유발된 변화를 포착하고 추론 능력 전이를 위한 보다 직접적인 신호를 제공한다. 광범위한 실증적 증거를 통해 델타 신호가 온-정책 증류를 크게 개선함을 보이며, 이 새로운 증류 방법을 온-정책 델타 증류(On-Policy Delta Distillation, OPD$^2$)라고 명명한다. 수학, 과학, 코드 추론 벤치마크에 걸친 실험에서 OPD$^2$는 기존 온-정책 증류를 일관되게 능가하며, 짧은 사후 학습 기간만으로도 추론 대규모 언어 모델(LLM)이 강력한 성능을 달성할 수 있게 한다. 코드는 https://github.com/naver-ai/opd2 에서 제공될 예정이다.
검증 가능 보상 강화학습(RLVR)은 일반적으로 어드밴티지 셰이핑에 엔트로피를 사용한다. 그러나 엔트로피는 유용한 불확실성과 해로운 혼란을 구분할 수 없어, 정확성 신호로서의 효과가 제한된다. 우리는 참조 안내(reference-guided) 생성 분포와 일반(vanilla) 생성 분포 사이의 토큰 수준 대조적 불일치를 정확성 인식 어드밴티지 셰이핑에 활용하는 대조적 정책 최적화(CPO)를 제안한다. 이론적·실증적 결과 모두 이 불일치가 토큰 수준 정확성을 신뢰성 있게 나타냄을 보여준다. 또한 온-정책 지식 증류(On-policy Distillation)가 후방 분포가 외부 교사 모델에 의해 구현되는 CPO의 특수 사례임을 보인다. CPO는 제로-어드밴티지 문제도 해결한다. 도메인 내 및 도메인 외 벤치마크 실험에서 CPO는 강한 일반화를 유지하면서 엔트로피 기반 RLVR 방법을 크게 능가함을 보여준다. 추가 분석에 따르면, 정확한 응답과 부정확한 응답이 각각 자연스럽게 탐험과 활용을 지원하며, 둘의 균형이 최고 성능으로 이어진다.
검증 가능 보상 강화학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 널리 사용되지만, 그렇게 얻어진 모델의 일반화 가능성은 여전히 잘 이해되지 않고 있다. 본 연구에서는 수십억 매개변수 규모에서 매개변수 효율적 RLVR 미세조정에 대한 최초의 비공허 일반화 상한을 제시한다. 우리의 접근법은 PAC-Bayes 압축 상한을 이 설정에 맞게 조정하고, Gumbel-max 재매개변수화(reparameterization) 트릭을 적용하여 토큰 생성의 고유한 확률성을 다룬다. 이 상한을 실용화하기 위해 RLVR을 온-정책 지식 증류, TinyLoRA, 모델 양자화와 통합하는 Progressive RLVR 프레임워크를 제안한다. Progressive RLVR은 경험적으로 표준 LoRA 미세조정 성능의 84–97%를 유지하면서 14,796배 더 압축 가능한 모델을 생성한다. 우리는 이 프레임워크가 수학 문제 풀이, 프로그래밍, 일반 지식 추론, Text-to-SQL 네 영역에서 비공허 일반화 상한을 제공함을 보인다. 우리의 상한은 기본 모델의 정확도를 9–51% 초과하며, 미세조정된 모델의 정확도와 6–11% 이내의 차이에 있다.
모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.