대규모 언어 모델(LLM) 기반 소프트웨어 공학 에이전트는 실세계 언어 모델 역량을 평가하는 핵심 테스트베드가 되었지만, 고품질 소프트웨어 공학(SWE) 태스크의 가용성 부족으로 인해 학습이 제한되고 있다. 기존의 합성 데이터 방법은 대체로 고정된 변이(mutation) 또는 버그 주입 절차를 통해 태스크를 생성하기 때문에, 결과 분포가 에이전트 자체의 약점이나 학습 진행 상황과 무관한 경우가 많다. 본 논문에서는 에이전트의 과거 문제 해결 트레이스를 학습 신호의 원천으로 재활용하는 폐쇄 루프 자기 진화 프레임워크인 Socratic-SWE를 소개한다. Socratic-SWE는 트레이스를 보상 계산의 근거로만 활용하는 데 그치지 않고, 반복적으로 나타나는 실패 패턴과 효과적인 수정 패턴을 요약하는 구조화된 에이전트 스킬로 증류한다. 이러한 스킬은 실제 저장소에서 목표 지향적인 수정 태스크 생성을 유도한다. 후보 태스크는 실행 기반 검증을 통해 확인되고, 솔버-그래디언트 정렬 보상으로 점수가 매겨지므로 선별된 태스크는 검증 가능하면서도 Solver 개선에 유용하다. 업데이트된 Solver는 새로운 트레이스를 생성하여 태스크 커리큘럼이 연속적인 라운드에 걸쳐 적응할 수 있도록 한다. SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, Terminal-Bench 2.0 전반에 걸쳐 Socratic-SWE는 동일한 컴퓨팅 예산 하에서 자기 진화 베이스라인을 일관되게 능가하며, 세 번의 반복 후 SWE-bench Verified에서 50.40%를 달성하였다. 이러한 결과는 문제 해결 트레이스가 자기 진화 SWE 에이전트를 위한 확장 가능한 기반으로 활용될 수 있음을 시사한다.
우리는 연속 잠재 공간에서 음성을 모델링하는 2B 매개변수 연속 자기회귀 텍스트 음성 변환(TTS) 파운데이션 모델인 dots.tts를 소개합니다. 기존 연속 자기회귀 모델과 비교하여 핵심 혁신은 세 가지입니다. 첫째, 의미적으로 구조화되고 예측에 친화적인 연속 음성 공간을 구축하기 위해 복수의 목적 함수로 AudioVAE를 학습합니다. 둘째, 생성 중 장거리 일관성을 유지하고 드리프트를 줄이기 위해 플로우 매칭 헤드에 전체 이력 컨디셔닝(full-history conditioning)을 적용합니다. 셋째, 강건성과 음향 품질을 더욱 향상시키기 위해 플로우 매칭 헤드에 보상 없는(reward-free) 자기 교정 사후 학습을 적용합니다. 대규모 다국어 코퍼스로 학습된 dots.tts는 Seed-TTS-Eval에서 최고 평균 성능을 달성하며, zh/en/zh-hard 테스트 셋에서 각각 0.94%/1.30%/6.60%의 단어 오류율(WER)과 81.0/77.1/79.5의 SIM 점수를 기록합니다. 다른 벤치마크에서도 dots.tts는 오픈소스 최첨단 성능을 일관되게 보여주며, 강한 생성 안정성, 음성 복제 능력, 감정 표현력을 나타냅니다. 효율적인 추론을 위해 CFG 인식 MeanFlow 증류를 추가로 적용하여, 출력 스트리밍 및 이중 스트리밍 모드에서 각각 85/54 ms의 첫 패킷 지연으로 저지연 음성 생성을 가능하게 합니다. 재현 가능한 연구와 실용적인 배포를 촉진하기 위해 학습 및 추론 코드와 함께 사전학습, 사후학습, MeanFlow 증류 체크포인트를 Apache 2.0 라이선스 하에 공개합니다.
최근 사후 학습 방법, 특히 검증 가능 보상 강화학습(RLVR)은 대규모 비전-언어 모델(LVLM)의 추론 능력을 크게 향상시켰다. 그러나 검증 가능 보상의 희소성 때문에 실패한 롤아웃에 대한 토큰 수준 지도가 거의 제공되지 않아, 복잡한 다중모달 추론 과제에서 비효율적인 탐험이 흔히 발생한다. 정책 증류가 조밀한 지도를 제공할 수 있지만, 외부 교사 기반 방법은 상당한 계산 오버헤드를 유발하는 반면, 답 조건부 튜닝 방법은 답 수준 정보를 노출하고 지름길과 유사한 생성 행동을 유발할 수 있다. 이러한 한계를 해결하기 위해, 우리는 PTD-PO(Privileged Tutoring Distillation Policy Optimization)를 제안한다. 이는 RLVR을 위한 프레임워크로, 학생 정책에 답을 노출하지 않으면서도 조밀한 지도를 제공한다. 구체적으로, PTD-PO는 공간적 어텐션 지도와 중간 텍스트 추론 단계로부터 구조화된 특권 힌트를 구성하고, 문맥 내 학습(ICL)을 통해 이를 활용하여 단계별 토큰 분포 지도를 생성한다. 학생은 여전히 원래의 답 없는 문맥에서 최적화되며, 실패한 롤아웃은 토큰 분포 수준에서 힌트가 증강된 참조 모델과 정렬된다. 지도된 문맥과 비지도 문맥 간 분포 이동 하에서 증류를 더 안정화하기 위해, 우리는 정보가 풍부한 토큰 확률에 정렬을 집중하면서 메모리 오버헤드를 줄이는 Top-K Jensen-Shannon divergence 목적함수를 도입한다. 2B에서 8B 매개변수 규모의 LVLM에 대한 실험은 PTD-PO가 RLVR 및 증류 baseline을 일관되게 능가하고, 엔트로피 붕괴를 완화하며, 복잡한 다중모달 추론 성능을 개선함을 보여준다.
최근 비전-언어 모델(VLM)을 비디오 이해 작업으로 확장하는 능력이 크게 향상되었다. 현재 VLM은 이벤트 수준이나 스토리 수준의 이해에는 탁월하지만, 미세한 동작 세부 사항을 포착하는 능력은 여전히 제한적이며, 이는 주로 고수준의 정적 의미 구조와 거시적 이벤트 논리에 초점을 맞추기 때문이다. 반면 비디오 확산 모델(VDM)은 대규모 비디오 데이터와 시간적 생성이라는 본질적 요구 사항의 이점 덕분에 동적 동작 패턴을 모델링하는 데 능숙하다. 본 논문에서는 강력한 비디오 확산 모델에서 증류한 동작 사전지식을 보조 감독으로 활용하여 어텐션 정렬을 통해 VLM의 동작 이해 능력을 강화하는 새로운 접근법인 MotionEnhancer를 제안한다. MotionEnhancer는 VDM으로부터 동작 관련 어텐션을 연산만으로 직접 추출하고 최적화하기 위해 Motion-sensitive Head Selection(MHS)과 Motion-salient Text Token Identification(MTTI)이라는 두 가지 간단한 매개변수 없는 모듈로 구성된다. MotionEnhancer는 추가 학습 매개변수, 기존 아키텍처 수정, 또는 도구 호출 없이 동작 이해를 위한 확장 가능한 해결책을 제공한다. 광범위한 실험 결과, MotionEnhancer는 두 가지 동작 수준 비디오 이해 벤치마크에서 최신 VLM 대비 일관된 성능 향상을 달성하며, 특히 동작 관련 지표에서 두드러진 개선을 보인다.
대규모 언어 모델(LLM)이 지연 시간 및 비용 제약이 있는 프로덕션 환경에 점점 더 많이 배포됨에 따라, NVFP4 기반 접근법을 포함한 저정밀도 추론에 대한 수요가 증가하고 있다. 양자화 인식 지식 증류(QAD)는 양자화된 학생 모델이 KL 발산 손실을 통해 고정된 고정밀도 교사 모델의 출력 분포를 모방하도록 학습시킴으로써, 저비트 양자화로 인해 손실된 정확도를 회복하는 데 도움을 준다. 본 연구에서는 먼저 QAD에 대한 표현 수준의 진단을 제시한다: 다양한 중간 활성화 기하학적 구조가 교사 정렬 로짓과 유사한 결과를 산출할 수 있기 때문에, 출력 매칭만으로는 내부 열화를 은폐할 수 있다. CKA를 사용하여, KL 손실만을 사용하는 QAD가 BF16 교사 모델 대비 레이어별 표현 유사도를 감소시킬 수 있으며, 특히 RL 사후학습된 모델에서 심각한 드리프트가 발생함을 보인다. 이 드리프트는 추론 및 코딩 태스크에서의 다운스트림 병목 현상과 상관관계가 있으며, 이는 저비트 회복이 출력 매칭만이 아닌 내부 기하학적 구조 보존을 요구함을 시사한다. 이러한 발견에 동기를 부여받아, 우리는 NVFP4 QAD 및 저비트 LLM 정확도 회복을 위한 CKA 기반 표현 정렬 방법인 \textbf{CKA-QAD}를 제안한다. 이 방법은 CKA를 통해 레이어별 그람 행렬(Gram matrix)을 정렬함으로써 지식 증류 과정에서 내부 표현 기하학적 구조를 보존하는 경량 정규화기를 추가한다. Nemotron 3 Nano 및 Qwen3-4B-Thinking-2507에 걸쳐, CKA-QAD는 표현 정렬을 크게 개선하고 적은 학습 오버헤드로 다운스트림 추론 및 코딩 정확도를 향상시킨다. 우리의 연구 결과는 CKA 기반 표현 정렬을 양자화된 LLM 회복을 위한 출력 매칭의 실용적인 보완 방법으로 자리매김한다.
딥 리서치(Deep Research)의 핵심은 지식 마이닝(knowledge mining)으로, 이는 사용자 지시에 따라 대규모 비정형 텍스트에서 구조화된 정보를 추출하는 작업입니다. 대규모 언어 모델(LLM)은 이러한 지시를 해석하는 데 탁월하지만 대규모로 배포하기에는 비용이 너무 많이 드는 반면, 분류기(classifier)와 추출기(extractor)의 전통적인 파이프라인은 효율적이지만 취약하여 새로운 작업으로 일반화할 수 없습니다. 우리는 확장 가능한 지식 마이닝을 위해 LLM의 에이전트 추론 능력과 경량 프록시 모델(proxy model)을 결합한 협업 프레임워크인 Falconer를 소개합니다. Falconer에서 LLM은 사용자 지시를 실행 가능한 파이프라인으로 분해하는 플래너(planner)와 소형 프록시를 학습시키기 위한 지도(supervision)를 생성하는 어노테이터(annotator)로 작동합니다. 이 프레임워크는 분류(classification)와 추출을 'get label'과 'get span'이라는 두 가지 원자적 연산으로 통합하여, 단일 지시 따르기 모델(instruction-following model)이 여러 작업별 구성 요소를 대체할 수 있도록 합니다. Falconer가 배양한 프록시 모델과 인간 및 대형 모델이 제공한 주석 간의 일관성을 평가하기 위해, 우리는 계획(planning)과 엔드투엔드 실행을 모두 포괄하는 새로운 벤치마크(benchmark)를 구축했습니다. 실험 결과, Falconer는 추론(inference) 비용을 최대 90%까지 절감하고 대규모 지식 마이닝 속도를 20배 이상 높이면서도 지시 따르기 정확도 면에서 최첨단 LLM과 거의 대등함을 보여주며, 딥 리서치를 위한 효율적이고 확장 가능한 기반을 제공합니다.