다중 턴 장기 계획은 파운데이션 모델 에이전트에게 중요하지만, 이를 근본적으로 개선하는 방법은 아직 불분명하다. 기존 모델은 통제 불가능하고 불투명한 인터넷 데이터로 학습되어, 계획 능력이 어떻게 습득·형성·통합되는지 파악하기 어렵다. 이 문제에 대응하기 위해 정밀한 통제를 가능하게 하는 통합된 통제형 다중 턴 환경을 제안한다. 이를 통해 세 단계에 걸친 장기 계획을 체계적으로 연구할 수 있다. (1) 사전학습 중 계획 능력 습득. 데이터 형식, 분포, 품질을 연구한다. 사고의 연쇄(CoT) 상태 전이 모델링을 통한 명시적 세계 모델(world model) 구축은 더 강한 장기 일반화를 제공한다. 원자적 스킬만으로는 조합적 일반화에 불충분하며, 소량의 장기 데이터가 효과적이다. 또한 차선의 궤적은 장기 구간에서 오류가 증폭되기 때문에 성능을 심각히 저해한다. (2) GRPO 및 OPD 사후 학습을 통한 계획 능력 형성. 상호 정보량(mutual information)을 통해 일반적 계획 패턴과 과제 특화 계획 지식을 구분한다. 계획 패턴에 대해 사후 학습의 세 가지 적용 영역—불필요, 유효, 미지원—을 식별한다. OPD는 더 일관된 갱신 방향을 제공하므로 저품질 및 장기 설정에서 GRPO보다 더 넓은 유효 영역을 갖는다. 계획 지식에 대해, 상이한 지식을 가진 교사로부터 보지 못한 절차를 증류하면 새로운 지식을 완전히 확립하지 못한 채 학생의 기존 세계 모델링을 손상시킬 수 있다. (3) MOPD 사후 학습을 통한 계획 능력 통합. 다중 교사 온-정책 증류(MOPD)가 환경 간 공유 계획 패턴으로 수렴함으로써 능력을 통합함을 보인다. 호환 가능한 패턴은 환경 간 일반화를 가능하게 하고, 부분적으로 공유된 패턴은 지속 학습(continual learning)을 지원하며, 완전히 상충하는 패턴은 심각한 간섭을 유발한다.
문서 수준 관계 추출(Document-level relation extraction, DocRE)은 확장된 문맥 전반에 걸친 여러 개체 간의 관계를 추출하면서, 예측된 트리플 간의 일관성을 유지하는 것을 목표로 한다. 대규모 언어 모델(LLM)은 정보 추출에서 뛰어난 추론 능력을 보이지만, 예측이 일반적으로 각 후보 트리플에 대해 독립적으로 생성되어 전이성(transitivity), 대칭성(symmetry), 함수적 유일성(functional uniqueness)과 같은 근본적인 관계 제약을 위반할 수 있으며, 이로 인해 상충되고 신뢰할 수 없는 출력이 발생한다. 우리는 이 한계를 두 가지 상보적인 경로로 해결하는 DocRE를 위한 통합 일관성 인식 프레임워크인 CONSISTRE를 제안한다. 첫 번째 경로는 블랙박스 LLM에 대해 추론 시점에 작동하며, 제약 인식 프롬프팅(constraint-aware prompting), 제약 기반 검증(constraint-based verification), 반복적 자기 성찰(iterative self-reflection)을 결합하여 과제별 미세조정 없이 예측을 정제한다. 두 번째 경로는 지식 증류와 강화학습 파이프라인을 통해 더 작은 오픈소스 모델에 일관성 지식을 주입한다. 강력한 교사 모델의 추론 trace는 지도 미세조정을 통해 학생 모델로 증류되며, 이어서 추출 성능과 관계 일관성을 공동으로 최적화하는 복합 보상을 사용하는 GRPO 정렬이 수행된다. 두 경로는 통합된 일관성 공식화 하에서 API 접근 가능한 시나리오와 로컬 배포 가능한 시나리오를 모두 포괄한다. DocRED에서의 실험은 두 경로 모두 각자의 베이스라인을 능가함을 보여주며, 추론 시점 경로는 상용 블랙박스 LLM으로 경쟁력 있는 F1을 달성하고, 학습 시점 경로는 추론 비용의 일부 수준에서 7–8B 오픈소스 모델과 최첨단 독점 LLM 간의 격차를 상당히 좁힌다. 소거 연구(ablation studies)는 명시적 일관성 모델링이 관계적 모순을 완화하고 두 배포 패러다임 모두에서 LLM 기반 DocRE의 신뢰성을 향상시킴을 확인한다.
보상 모델(RM)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적인 역할을 한다. 고품질 인간 선호 주석을 얻기 어렵기 때문에, 생성형 LLM으로부터 선호를 증류하는 것이 표준적인 관행으로 자리 잡았다. 그러나 기존 접근법은 대부분 교사 모델을 단순한 이진 주석자로 취급하여, RM 지식 증류를 위해 교사가 가진 풍부한 지식과 역량을 충분히 활용하지 못한다. 이를 해결하기 위해, 교사 LLM의 다면적 역량을 체계적으로 활용하도록 설계된 프레임워크인 RM-Distiller를 제안한다: (1) 정제(refinement) 역량—고도로 상관된 응답 쌍을 합성하여 세밀하고 대조적인 신호를 만든다. (2) 점수화(scoring) 역량—마진 인식 최적화 목표를 통해 RM이 정확한 선호 강도를 포착하도록 유도한다. (3) 생성(generation) 역량—교사의 생성 분포를 통합하여 RM을 정규화하고, RM이 근본적인 언어 지식을 보존하도록 한다. 광범위한 실험을 통해 RM-Distiller가 RM 벤치마크와 강화학습 기반 정렬 모두에서 기존 증류 방법을 크게 능가함을 보였으며, 다면적 교사 역량을 활용하는 것이 효과적인 보상 모델링에 핵심적임을 입증했다. 우리가 아는 한, 이는 생성형 LLM으로부터 RM을 증류하는 최초의 체계적 연구이다.
심층 학습 모델은 여러 컴퓨터 비전(CV) 작업에서 최첨단 성능을 달성해 왔다. 그러나 예상치 못한 분포 이동으로 인해 실제 환경에 적용할 때 심각한 성능 저하를 겪는다. 테스트 시간 적응(TTA)은 소스 데이터에 접근하지 않고, 타깃 도메인의 비레이블 데이터를 사용하여 추론 시점에 테스트 분포에 동적으로 적응함으로써 이 문제를 해결하려 한다. 그러나 연속적이고 시간적으로 상관된 데이터(예: 비디오)에 적응하거나, 타깃 도메인에 심각한 도메인 이동이 존재하는 시나리오에서는 TTA가 여전히 어려운 문제로 남아 있다. 이러한 이유로, 문헌에서 이와 같은 극한 조건 하의 비디오 TTA를 탐구한 연구는 많지 않다. 이러한 한계를 극복하기 위해, 우리는 도메인 간격을 메우기 위해 경량 투영 어댑터에 의존하는 온라인 적응 프레임워크인 이중 지식 증류 기반 테스트 시간 적응(TADD)을 제안한다. 어댑터 모듈은 소스 도메인에서 사전학습된 후, 우리가 제안한 상보적 손실을 사용하여 타깃에 적응된다: (i) 제로샷 지식 증류는 사전학습된 비전-언어 모델(VLM)의 도메인 불변 특징과의 정렬을 장려하고, (ii) 타깃 지식 증류는 사전학습된 어댑터에 인코딩된 소스 도메인의 판별적 지식을 유지한다. 고정된 CLIP 백본 위에 구축된 우리 방법은 추론 동안 유일하게 갱신 가능한 구성 요소로 이 경량 투영 어댑터를 도입한다. 우리는 UCF-HMDB, Daily-DA, Sports-DA의 세 가지 잘 알려진 비디오 행동 인식 벤치마크에서 광범위한 평가를 수행했다. 폐쇄 집합(closed-set) 시나리오에서의 실험은 우리 방법이 최첨단 TTA 기준선을 일관되게 능가함을 보여준다. 특히, 우리의 TTA 접근법은 UCF-HMDB에서 최대 +3.81%, Daily-DA에서 +2.63%, Sports-DA에서 +3.03%만큼 이전 방법 대비 향상된다.
온-정책 자기 증류(OPSD)는 교사에게만 제공되는 특권 정보를 활용하여 학생이 생성한 궤적에 대해 밀도 높은 토큰 수준의 감독을 제공한다. 그러나 기존 방법들은 검증된 풀이 추적, 외부 모델이 생성한 설명, 또는 수동으로 위치를 특정한 시각적 근거에 의존하는 경우가 많아, 멀티모달 대규모 언어 모델에의 확장 가능한 적용을 제한한다. 이 문제를 해결하기 위해, 동일 이미지의 고해상도 및 저해상도 뷰 간 정보 격차를 활용하고 RP-OPSD(멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류)를 제안한다. 학습 중 학생 정책은 원본 해상도의 1/4 해상도 이미지로부터 온-정책 궤적을 생성하고, 교사 정책은 원본 해상도 이미지를 사용하여 감독을 제공한다. 학생 궤적을 따라 두 모델의 출력 분포 간 발산을 최소화함으로써, 학생은 고해상도 입력 하에서 교사의 예측 행동을 학습하고, 이를 통해 저해상도 능력을 강화하며 학습된 개선을 원본 해상도 추론으로 전이한다. RP-OPSD는 해법 추적을 생성하기 위해 추가적인 사람 주석이나 외부 모델을 필요로 하지 않으며, 이미지-질문 쌍만 필요로 한다. Qwen3.5-9B에 대한 실험에서 RP-OPSD는 원본 해상도에서 평균 성능 5.45% 상대적 향상과 OPSD 대비 1.78배 학습 속도 향상을 달성한다. 이 결과는 해상도 차이가 간단하고 확장 가능한 특권 정보의 원천이 될 수 있음을 보여주며, 멀티모달 대규모 언어 모델을 위한 온-정책 자기 증류의 효과적이고 효율적인 접근법을 제공한다.
비전-언어 모델은 일반적으로 사전학습된 비전 인코더가 생성한 모든 토큰을 대규모 언어 모델에 투영합니다. 그러나 최종 층 특징은 텍스트, 지역 속성, 공간 관계를 버릴 수 있으며, 고해상도 입력은 컨텍스트 �indo우 길이와 추론 지연 시간을 크게 증가시킵니다. 우리는 다중 스케일 적응형 비전 인코더(Multi-scale Adaptive Vision Encoder)인 MAViE를 제안합니다. MAViE는 위치 의존 게이트를 사용하여 비전 트랜스포머의 얕은, 중간, 깊은 층 특징을 융합하여 전역 의미를 보존하면서 가장자리, 텍스트, 지역 구조를 강화합니다. 이어서 질문 관련성, 지역 정보 내용, 전역 의미, 공간적 커버리지에 따라 질문 조건부 토큰 라우팅을 수행하며, 토큰 예산은 이미지 복잡도에 적응합니다. 압축 손실을 완화하기 위해, 우리는 전체-압축 표현 증류(full-to-compressed representation distillation)와 공간 다양성 정규화 항(spatial diversity regularizer)을 추가로 도입합니다. 통합 7B 언어 모델 프레임워크에서의 예시 시뮬레이션에서 MAViE는 SigLIP-SO400M 시각 토큰의 평균 개수를 729개에서 146개(약 80.0%)로 줄이고, VQAv2, GQA, TextVQA, ScienceQA-IMG, MMBench에서 평균 점수를 2.2퍼센트포인트 향상시키며, 단일 이미지의 첫 토큰까지 시간을 228ms에서 129ms로 단축합니다. 우리는 전체 모델 설계와 평가 프로토콜을 제공합니다. 보고된 모든 수치는 현재 논문 구성과 실험 설계를 위한 자리표시자로만 사용되며, 공식적인 주장을 위해서는 실제 학습 실행, 독립적 재현, 공식 벤치마크 평가가 필요합니다.
실시간 장편 디지털 휴먼 생성은 연속된 구간에 걸쳐 대상 외형과 오디오-비디오 동기화를 유지하면서 시청각 콘텐츠를 확장하기 위해 인과적 모델에 의존한다. 제한된 캐시는 국소적 움직임과 음운 문맥을 보존하지만 오래된 증거는 폐기하며, 생성된 전체 이력에 어텐션을 적용하는 것은 계산 비용이 크고 누적 오류를 전파할 수 있다. 소수 스텝 공동 오디오-비디오 생성을 위한 앵커 가이드 영구 메모리 프레임워크인 TaoMate를 제안한다. 이 프레임워크는 불변의 시각적 앵커를 보존하고, 완료된 비디오 및 오디오 블록을 고정 용량의 동적 상태로 압축하며, 활성 캐시를 확장하지 않고 모달리티별 잔차 어텐션을 통해 해당 상태를 검색한다. 참조 인식 변조 방법은 추가로 동적 및 앵커 외형 통계에 비디오 특징을 조건화한다. 앵커 보존 인과 문맥 지식 증류는 불변의 시각적 앵커를 변화시키지 않은 채 롤아웃 지평, 접두 문맥 출처, 캐시 이력 신뢰도를 다양하게 변화시킨다. 영구 메모리를 단계 국소 디노이징 의존성과 분리함으로써 TaoMate는 블록 간 단계 병렬 실행을 추가로 허용하여 파이프라인 특화 재학습 없이 자기회귀 추론을 가속한다. 외형, 시간적, 동기화, 얼굴, 음성 진단 지표로 장편 비디오 연속 생성을 평가한다. 결과는 TaoMate가 프롬프트 조건화된 구간에 걸쳐 안정적인 외형과 자기회귀 생성 하에서 강한 시청각 동기화를 유지함을 보여준다. 프로젝트 페이지는 https://taoliveaigc.github.io/TaoMate 이다.
병리학적 진단은 본질적으로 다중 스케일(multi-scale)이며, 저배율에서의 전역 조직 구조와 고배율에서의 세포 형태학을 통합할 것을 요구한다. 그러나 기존 병리학 벤치마크와 비전-언어 모델(VLM)은 여전히 대부분 단일 스케일 설정 하에서 개발되어, 임상적으로 의미 있는 다중 배율 추론을 학습하는 능력을 제한한다. 또한, 단순하게 구성된 시각적 질의응답(VQA) 과제는 텍스트 전용 또는 피상적인 시각적 지름길(shortcut)에 취약할 수 있어, 시각적 이해에 대한 신뢰할 수 없는 평가로 이어진다. 이러한 한계를 해결하기 위해, 우리는 지름길에 강건한 교차 스케일 병리학 추론을 위한 벤치마크와 학습 프레임워크를 제안한다. 우리는 의미적 추론 질문을 위한 적대적 텍스트 전용 선별(Adversarial Text-only Screening) 전략과 시각적 그라운딩 질문을 위한 구조 제어형 방해 선택지 샘플링(Structure-controlled Distractor Sampling) 전략을 설계하여, 모델이 교차 스케일 시각적 증거에 의존하도록 유도한다. 이 파이프라인을 기반으로, 우리는 여러 배율 수준에 걸친 1,368개의 진단 경로에 기반한 10,373개의 객관식 질문을 포함하는 고품질 교차 스케일 병리학 VQA 벤치마크 PathScale-VQA를 구축한다. 의미적 추론 세트를 기반으로, PathScale-R1은 난이도 기반 추론 증류(Difficulty-driven Reasoning Distillation) 지도 미세조정과, 배율 간 증거 사용을 장려하는 스케일 인식 추론 구조(Scale-aware Reasoning Structure) 보상을 사용한 강화학습을 통해 최적화된다. 광범위한 실험은 교차 스케일 추론 과제에서 PathScale-R1의 최신(state-of-the-art) 성능과 기존 단일 스케일 병리학 VQA로의 효과적인 전이를 보여준다. 코드는 https://github.com/iMVR-PL/PathScale-R1에서 이용할 수 있다.
관절형 초상화 메쉬 추정은 3D 이해, 아바타 생성, 몰입형 상호작용의 기본이 된다. 기존 접근법은 주로 3D Morphable Models(3DMM)에 의존한다. 그러나 얼굴 중심 모델은 "floating head" 가정으로 인해 목 관절 운동학(kinematics) 부재로 머리 자세와 전역 회전을 혼동하는 문제가 있다. 반대로 신체 중심 모델은 고충실도 얼굴 표정 능력이 부족하다. 또한 현재 방법들은 표현 블렌드셰이프(expression blendshape)와 턱 관절(jaw articulation)을 분리하는 데 어려움을 겪으며, 입 벌림에 표정에 과도하게 의존하는 경우가 많다. 이러한 한계로 인해 단안(monocular) 초상화 복원은 표현, 지도(supervision), 해부학적 매개변수 추정 측면에서 어렵다. 이러한 한계를 해결하기 위해 GRAPE(Graduated Routing for Articulated Portrait mesh Estimation)를 제안한다. 우리는 명시적인 몸통-머리 운동학 체인과 FLAME과 SMPL-X 몸통을 병합하는 정규(canonical) 주입 단계를 갖춘 Portrait Parametric Model(PPM)을 구축한다. 또한 사전학습된 초상화 인코더, Graduated-Mask Router, 초상화 해부학적 사전지식(prior)을 따르는 coarse-to-fine 전문가로 구성된 Progressive Anatomical Alignment(PAA) 네트워크를 제안한다. 그런 다음 희소 해부학적 키포인트, 특징 증류(feature distillation), 전경 마스크 제약, 상대 기하 제약을 결합한 다중 소스 지도로 이 네트워크를 학습한다. 실험 결과 GRAPE는 기존 방법 대비 초상화 메쉬 복원 품질, 자세 정렬, 턱-표정 분리를 개선함을 보여준다. 또한 우리 방법이 오디오 기반 talking-head 생성 및 3D 초상화 생성과 같은 하위 작업에 도움이 될 수 있음을 보여준다.
서열 회귀는 레이블이 이산적이면서도 본질적으로 순서를 갖는 시나리오에서 널리 사용된다. 그러나 실제로 서열 레이블은 주관적인 인간 판단을 통해 기저의 연속적 의미를 이산화하여 얻는 경우가 많으며, 이로 인해 모호한 경계와 어노테이션 노이즈가 발생한다. 이러한 불확실성은 고정된 지도 목표에 의존하는 기존 방법들에 도전을 제기하며, 주관적 어노테이션 하에서 편향된 순서를 강화할 수 있다. 이 한계를 해결하기 위해, 우리는 정적 지도를 자기 증류(self-distillation)를 통한 학습 주도적 서열 레이블 분포 진화로 대체하는 동적 분포 증류 프레임워크인 D3O를 제안한다. 구체적으로, 비전-언어 정렬(vision-language alignment)을 활용하여 클래스 간 모호성과 인스턴스 수준의 불확실성을 모두 포착하는 정제된 레이블 분포를 복원하는 대조적 서열 인식 레이블 향상 모듈을 도입한다. 또한, 네트워크 계층 구조 전반에 누적 서열 구조를 전파하여 중간 표현에서 일관된 서열 기하학을 보장하는 CDF 기반 교차층 상호작용 증류 메커니즘을 설계한다. 4개의 일반적인 서열 회귀 태스크에 대한 광범위한 실험은 제안한 D3O가 기존 접근법을 일관되게 능가하며, 특히 심각한 클래스 불균형과 노이즈가 있는 지도 하에서 그러함을 보여준다. 이 결과는 고정 목표를 넘어서 견고한 서열 표현을 학습하는 데 있어 동적 지도의 효과를 강조한다. 코드는 공개될 예정이다.
본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.
대규모 비전-언어 모델(LVLM)은 막대한 계산 부담으로 인한 병목이 지속되어, 자원이 제한된 엣지 디바이스에의 배포를 막고 있다. LVLM 압축을 위한 기존 노력은 주로 비전 토큰 축소나 더 작은 언어 모델에 집중하는 반면, 비전 인코더는 대체로 간과되어 일반적으로 단일체(monolithic)이고 계산 비용이 큰 특징 추출기로 배포된다. 더욱이 LVLM을 위해 온디바이스 지연 시간에 직접 최적화된 비전 인코더를 설계한 선행 연구는 없다. 본 논문에서는 LVLM을 위한 비전 인코더인 UltraViT를 제시하며, 이는 온디바이스 성능을 위해 명시적으로 설계되고 최적화되었다. 구체적으로, 실제 온디바이스 지연 시간을 고려하여 매크로 블록 수준에서 이질적인 공간 믹서(spatial mixer)를 전략적으로 통합하고 적응하는 피라미드형 아키텍처를 체계적으로 설계한다. 또한 UltraViT의 사전학습을 위해, 밀집 지식 증류(dense distillation)를 통해 풍부한 공간 특징을 함양한 뒤 용량이 혼합된(capacity-mixed) 고정 LLM으로부터 직접적인 생성적 감독을 받는 새로운 2단계 생성적 사전학습 전략을 제안한다. 표준 대조 학습 및 SSL(자기지도 학습)과 비교하여, 우리의 사전학습이 LVLM 학습의 후속 생성적 멀티모달 정렬에 필요한 UltraViT의 고수준 의미적 그라운딩(semantic grounding) 달성에 훨씬 더 효과적임을 보인다. 광범위한 실험을 통해, 온디바이스 지연 시간을 반영한 우리의 설계와 맞춤형 학습 전략의 결합이 효율적인 LVLM 인코딩에서 새로운 최고 수준(state-of-the-art)을 수립하며, 온디바이스에서 거의 1.7배의 속도로 동작하면서 기존 인코더 중심 베이스라인을 크게 능가함을 보여준다.
확산 모델(diffusion model)은 초저비트레이트(ultra-low bitrate)에서 비디오 압축을 위한 강력한 생성 능력을 제공한다. 기존 확산 기반 비디오 코덱은 원래 텍스트 조건 생성(text-conditioned generation)용으로 개발된 베이스 모델을 적응시키는 반면, 압축을 위해 설계되고 학습(training)된 확산 모델은 아직 탐구되지 않았다. 이 공백을 메우기 위해, 압축을 위해 처음부터 학습된 비디오 확산 모델 위에 구축한 생성형 비디오 코덱(Generative Video Codec, GenVC)을 제안한다. 우리가 아는 한, 이는 최초의 압축 지향 비디오 확산 모델이다. 이 모델을 픽셀 공간(pixel space)에서 직접 구현하며, 세밀한 시공간(spatio-temporal) 세부를 복원하는 전역-국소(global-to-local) 계층 구조를 사용하여 압축된 표현으로부터 고품질 생성형 재구성을 가능하게 한다. 추론(inference)을 가속하기 위해 분포 매칭 증류(distribution matching distillation, DMD)를 사용하여 다단계 모델을 단일 단계로 증류한다. 그러나 DMD를 직접 적용하면 학생 모델(student)이 움직임이 정지된(motion-stalled) 재구성으로 향하게 된다. 이는 교사 측 가이던스 실패에 기인한다. 학생이 유발한 섭동이 고정된 교사의 학습 영역을 벗어나면, 교사의 가이던스가 오도될 수 있어 DMD 업데이트가 학생의 drift를 교정하기보다 강화하게 된다. 이로 인한 피드백 루프를 끊기 위해, 정답(ground-truth) 방향과의 정렬(alignment)에 따라 DMD 업데이트를 게이팅(gating)하는 Adaptive Score Distillation을 제안하여, 일관된 움직임을 갖춘 고품질 재구성을 가능하게 한다. 실험 결과, GenVC는 초저비트레이트에서 최첨단 지각 품질(perceptual quality)을 달성하며, LPIPS를 맞춘 조건에서 GLVC 대비 평균 62.5%의 비트레이트 절감, FID를 맞춘 조건에서 71.3%의 비트레이트 절감을 보인다. 십억 규모의 사전학습(pre-trained) 백본을 계승하는 기존 코덱과 달리, 우리의 확산 모델은 478.0M 파라미터만을 가지며 A100 GPU에서 단일 단계로 1080p 비디오를 15.1 fps로 디코딩한다.
실시간 인식(perception)은 고급 운전자 보조 시스템(ADAS)과 자율주행 차량의 기본 요건이지만, 임베디드 자동차 플랫폼은 연산, 메모리, 전력에 심각한 제약을 부과한다. 본 논문은 RetinaNet 검출 프레임워크에서 파생된 최적화된 의미 분할 아키텍처를 제안하며, 이는 밀집 픽셀 단위 예측에 맞게 조정되었고 자원 제약이 있는 임베디드 하드웨어 배포에 맞춰 설계되었다. 제안 아키텍처인 Opt-RetinaSeg는 표준 ResNet-50 백본을 하이브리드 경량 특징 추출기로 교체하고, 특징 피라미드 네트워크(FPN)를 재구성하여 중복 다중 스케일 연산을 줄이며, 도로 장면에서 흔한 심각한 전경-배경 불균형을 해결하기 위해 focal 손실에서 영감을 받은 클래스 균형화로 유도되는 컴팩트 분할 헤드를 도입한다. 또한 구조화된 채널 가지치기, 사후 학습 INT8 양자화, 고용량 교사 네트워크로부터의 지식 증류로 구성된 3단계 최적화 파이프라인을 적용한다. Cityscapes 및 BDD100K 데이터셋에서 평가하고 NVIDIA Jetson Xavier NX와 Qualcomm QCS610 자동차 SoC에 배포한 결과, 제안 모델은 70.4 FPS에서 73.9% mIoU를 달성하여 ResNet-50 기준선 대비 추론 속도 7.4배 향상 및 모델 크기 4배 감소를 이루었으며, 정확도 저하는 3% 미만이다. 이러한 결과는 RetinaNet에서 파생된 아키텍처가 체계적으로 최적화될 경우 임베디드 자동차 인식 파이프라인에서 실시간 의미 분할의 실용적 후보가 될 수 있음을 보여준다.
극한 기상 조기 경보는 위험 기상 사건이 초래하는 사회적, 경제적, 환경적 위험을 완화하는 데 필수적이다. 그러나 전문가 중심의 경보 워크플로는 비용이 많이 들고 노동 집약적이며, 경보에서 대응까지의 과정 전반에 걸쳐 확장하기 어렵다. 대규모 언어 모델(LLM) 에이전트의 최근 발전으로 기상 관련 작업의 자동화가 가능해졌지만, 기존 연구는 여전히 개별적인 과학적 작업에 집중되어 있으며 운영상 극한 기상 조기 경보에 필요한 상호 의존적 프로세스의 연쇄를 간과한다. 이러한 격차를 메우기 위해 본 연구는 LLM 에이전트를 통한 자동화된 end-to-end 극한 기상 조기 경보를 탐구한다. 먼저 19개 작업에 걸쳐 600개의 질문-답변 인스턴스로 구성되고, 4개의 개별 경보 절차와 end-to-end 경보 연쇄를 포괄하는 포괄적 벤치마크인 SIREN-Bench를 개발한다. SIREN-Bench에 대한 평가는 기존 기상 에이전트 프레임워크의 상당한 역량 격차를 드러낸다. 이는 전문가들의 역사적 사례 활용에서 영감을 받은 경험 기반 에이전트 프레임워크인 SIREN의 개발을 촉진한다. SIREN은 이질적인 기상 증거와 도구를 통합하는 에이전틱 실행 환경과, 검색(retrieval), 스킬 증류(skill distillation), 예측 모델링(predictive modeling)을 통해 역사적 사례를 활용하는 일련의 에이전트 하네스(agent harness)를 결합한다. 광범위한 실험은 SIREN이 개별 경보 절차와 end-to-end 경보 연쇄 모두에서 기상 에이전트 베이스라인을 능가함을 보여준다.
대규모 언어 모델(LLM)은 점점 더 과학 컴퓨팅 과제를 해결하지만, 한 문제에서 얻은 실행 가능한 피드백이 이후 문제에서 지속적인 역량으로 이어지는 경우는 드뭅니다. 본 연구는 과학 컴퓨팅 경험 통합을 다룹니다. 즉, 검증된 런타임 경험을 전이 가능한 절차적 지식과 지속적인 모델 개선으로 전환하는 것입니다. 이 설정은 두 가지 과제를 제시합니다. 궤적(trajectory)에서 파생된 산출물이 과제 간 계산 메커니즘이 아닌 출처 특정적 수정을 인코딩할 수 있다는 점, 그리고 더 약한 타깃 모델이 그렇지 않으면 유효한 추상 절차를 실행적으로 활용하지 못할 수 있다는 점—추상화-실행 간극(abstraction-execution gap)입니다. SciConsolidate를 제안합니다. 이는 검증된 성공과 실패를 대비하여 과제 간 절차를 유도하고, 개발-검증(validation) 게이트를 통해 이를 선별하며, 사전에 존재하는 참조 답 없이도 통합 데이터를 확장하기 위해 실패 정보 기반의 답 없는(answer-free) 쿼리 합성을 사용합니다. 타깃 모델이 이러한 추상화를 직접 실행하지 못할 수 있기 때문에, 더 강한 모델이 이를 실행 가능한 코드 supervision으로 구체화하여 표준적인 절차 없는(procedure-free) SFT에 사용합니다. 절차 없는(no-procedure) 교사 분기를 매칭하여 절차적 안내의 가치를 분리합니다. SciCode에서 런타임 절차 주입은 Qwen3.6-27B를 하위 단계/주요 문제에서 각각 +3.85/+6.26점 향상시키지만, Qwen3.5-9B에서는 거의 집계된 주요 문제 향상을 얻지 못하여 추상화-실행 간극에 대한 운영적 증거를 제공합니다. 절차 안내 기반 구체화 이후, 9B 학생 모델은 절차 없는 배포에서 절차 없는 SFT 대조군 대비 +3.89/+6.25점, 원래 9B 모델 대비 +5.62/+11.25점 향상됩니다. 이 결과는 과학 컴퓨팅을 위한 경험-역량 경로를 확립하고, 자기 개선형 과학 지원을 확장하기 위한 실용적 출발점을 제공합니다.
에이전틱 검색은 다단계 추론과 검색을 교차 수행하여 대규모 언어 모델(LLM)이 지식 집약적 과제를 해결할 수 있게 하지만, 결과 기반 강화학습(RL)으로 이를 최적화하면 희소한 감독만 제공된다. 지식 증류는 더 밀집된 지도를 제공할 수 있으며, 강력한 추론 능력을 갖춘 고급 독점 모델은 유망한 교사 모델이다. 독점 모델로부터의 증류가 이러한 감독 신호를 밀집화할 수 있지만, 기존의 로짓 매칭은 숨겨진 로짓과 불일치하는 토큰화기로 인해 불가능하며, 원시 자연어 궤적 모방은 핵심 추론 역량보다는 표면적인 스타일적 인공물을 전달한다. 이질적 증류 문제를 해결하고 분포 격차를 메우기 위해, 우리는 구조화되고 스타일이 정규화된 프로토콜을 중간 표현으로 사용하는 결합 증류-강화학습 프레임워크인 Multi-Agent Protocol Distillation(MAPD)를 제안한다. 오프라인 다중 에이전트 시스템(MAS)은 각 쿼리를 분해하고, 지원 증거를 검색하며, 실패한 검색을 복구하고, 그 결과로 얻은 탐험 trace를 과제 유형, 추론 계획, 추출적 그라운딩 사실을 포함하는 JSON 프로토콜로 변환한다. 학습 중 프로토콜은 학생 정책(student policy)의 특권 분기(privileged branch)에만 제공되며, 해당 분기의 토큰 분포가 희소한 RL 목표와 함께 밀집된 증류 신호를 제공한다. 7개 QA 벤치마크에 걸친 광범위한 평가에서 MAPD는 경쟁력 있는 증류 및 RL 방법을 지속적으로 능가하며, Qwen3-1.7B에서 평균 성공률 39.4%, Qwen3-4B에서 44.4%를 달성한다. 중요하게도, 이 프레임워크는 다양한 독점 교사 모델에 걸쳐 견고하게 일반화되며, 학생 정책의 스타일 표류(style drift)와 장황함 퇴화(verbosity degeneration)를 효과적으로 완화한다.
궤적(trajectory)이 실제로 지시를 충족하는지 판단하는 것은, 장기 지평 그래픽 사용자 인터페이스(GUI) 작업에서 컴퓨터 사용 에이전트를 어떻게 측정하고 강화학습(RL)으로 어떻게 학습시키는지를 좌우한다. 이 판단은 오랫동안 규칙 기반 평가에 의존해 왔으며, 이는 인간의 의도와 정렬(alignment)하기 어렵고 앱이 업데이트되거나 온라인 콘텐츠가 변할 때 시효가 지난다. 기존 모델 기반 심판(judge)들은 이러한 문제를 해결하려 시도하지만, 여전히 규칙 기반 평가 대비 성능 격차를 남긴다. 우리는 \textbf{SeekJudge} 프레임워크를 제안한다. 이 프레임워크에서는 Condense, Ground, Seek, Analyze 네 가지 역할 전문화 에이전트가 궤적에 대한 Seek--Analyze 루프를 통해 판정에 이른다. 시드 보정(seed-calibrated) 지식 증류(distillation) 파이프라인이 네 에이전트 모두의 공유 백본으로 작동하는 하나의 특화 $9$B 모델을 학습시킨다. 홀드아웃 RL 테스트 목표에서의 하류 성공률로 측정했을 때, SeekJudge는 온라인 RL에서 네이티브 규칙 기반 감독과 동등하거나 이를 능가하는 최초의 실용적 모델 기반 보상이다. 정확도 외에도 SeekJudge는 단계 수준 판단을 제공하고, 폐쇄형 대규모 모델보다 훨씬 저렴하게 실행되며, 훨씬 더 긴 궤적까지 확장 가능한 작은 호출당 컨텍스트를 유지한다. 또한 RL에서 판정을 가속화하는 보상 서버의 일반적인 아키텍처 개선도 기여한다. 이들을 종합하면 모델 기반 보상을 컴퓨터 사용 에이전트(CUA) 강화학습에서 규칙 기반 감독의 실용적인 드롭인 대체재로 만들 수 있다.
자동화된 AI 연구를 위한 사후 학습 에이전트는 모델 파라미터뿐 아니라, 연구 궤적이 생성·평가·학습되는 방식을 형성하는 런타임 하네스(runtime harness)도 최적화해야 한다. 기존 파이프라인은 프롬프트, 도구, 스킬, 미들웨어, 메모리를 포함한 고정 하네스 아래에서 모델을 학습하는 경우가 일반적이며, 데이터 생성 과정은 최적화 목표 밖에 둔다. 이는 모델 업데이트와 궤적 품질을 결정하는 정적 스캐폴딩(static scaffolding) 사이의 불일치를 야기한다. 우리는 사후 학습 동안 에이전트 하네스와 모델 파라미터를 공동으로 최적화하는 프레임워크인 Co-Harness를 제안한다. Co-Harness는 하네스 최적화와 모델 최적화를 교대로 수행한다. LLM 기반 HarnessCritic은 실패한 궤적을 분석하고, 하네스 수준의 실패 모드를 식별하며, 검증된 국소 업데이트(local updates)를 제안한다. 그다음 모델은 개선된 하네스가 생성한 고품질 궤적에 대해 파인튜닝(fine-tuning)되며, 효과적인 스캐폴딩을 모델 파라미터로 지식 증류(distillation)한다. 200시간 이상의 자율 사례 연구는 Co-Harness가 시스템 충돌에서 복구하고, 추론 효율을 개선하며, 인간 개입 없이 앙상블 전략을 발견할 수 있음을 추가로 보여준다. 이 결과는 고정 하네스 사후 학습을 넘어 에이전트를 개선하는 효과적인 방법으로 하네스와 모델의 공동 최적화가 있음을 시사한다.
머신 언러닝(machine unlearning)은 데이터 프라이버시 규제 맥락에서 점점 더 중요해지고 있으며, 특히 사용자 상호작용 데이터로 직접 학습되는 추천 시스템에서 그렇다. 본 연구의 목표는 요청된 상호작용 데이터와 그 하류 영향을 학습된 모델에서 제거하면서 추천 품질을 유지하고, 전체 재학습(full retraining)에 따르는 상당한 계산 비용 없이 이를 달성하는 것이다. 기존 접근법은 언러닝 완전성의 한계와 추천 성능 저하, 그리고 상당한 계산 오버헤드 등 여러 한계를 보인다. 본 논문에서는 추천 시스템을 위한 효율적인 2단계 언러닝 프레임워크인 Obliviate를 제안하며, 이는 높은 언러닝 완전성을 달성하면서도 좋은 유틸리티(utility)를 유지한다. 1단계에서는 Low-Rank Unlearning Adapter(LUA)를 도입하며, 이는 경량 헤시안 프록시를 사용하여 전체 파라미터가 아닌 국소적 저랭크 어댑터를 통해 곡률 인식(curvature-aware)적이고 효율적인 언러닝을 가능하게 한다. 2단계에서는 Locality-Aware Calibration(LAC)을 제안하며, 이는 경량 정제 단계로 어댑터 파라미터만 업데이트하여 랭킹 기반 목적 함수를 통해 언러닝을 강제하고 지식 증류를 통해 유틸리티를 유지함으로써 성능을 개선한다. 광범위한 실험 평가를 통해 Obliviate가 추천 품질의 최소한의 손실로 높은 수준의 망각(forgetting)을 달성하고 계산 비용을 크게 줄였음을 보여주며, 대규모 추천 시스템을 위한 실용적이고 확장 가능한 해결책을 제공한다.