사고의 연쇄(Chain-of-Thought, CoT) 증류는 대규모 추론 모델의 다단계 추론을 더 작은 학생(student) 모델로 전달하지만, 장황한 교사(teacher) 추론 흔적은 학습과 추론 비용을 모두 부풀린다. 기존 CoT 압축 방법은 선택적 가지치기(pruning)와 생성적 재작성(generative rewriting) 두 계열로 나뉘지만, 선행 연구들은 핵심 요인들을 뒤섞어 둔 채로 남겨 두었다: 가지치기에서는 세분성(granularity)이 중요도 기준(importance criterion)과 혼재(confounded)되고, 재작성에서는 재구조화 수준(restructuring level)이 거의 분리(isolated)되지 않으며, 압축 예산(compression budget)은 도메인이나 체제(regime) 전반에 걸쳐 체계적으로 평가되지 않았다. 우리는 중요도 기준, 재구조화 수준, 압축 예산이라는 세 차원을 따라 CoT 압축을 재구성한다. 이를 두 모델 계열, Math 및 General 도메인, Long-/Short-CoT 체제에 걸쳐 탐색한 결과, (i) 중요도 기준의 유용성은 세분성에 의해 엄격히 좌우된다: 단계 수준 기준은 공유된 추론 골격(reasoning backbone)으로 수렴하는 반면, 토큰 수준 가지치기는 논리적 핵심을 보존하려면 기호 인식(symbol-aware) 신호가 필요하다; (ii) 재구조화 수준은 도메인에 따라 역전된다: Math에서는 구조적 교란(structural disruption)과 함께 단조적으로 악화되는 반면, General 과제에서는 공격적인 재작성이 노이즈 제거(denoiser) 역할을 한다; (iii) 학습 시점 압축이 반드시 추론 시점 절감으로 이어지지는 않는다: Long-CoT 학생 모델은 간결한 지도(supervision)에도 불구하고 장황한 습관을 유지하여, 학습 비율(training ratio)이 배포 비용에 대한 낙관적 하한(optimistic lower bound)이 된다. 이러한 발견은 압축을 배포 맥락(deployment context)에 맞게 선택하기 위한 조건 인식(condition-aware) 지침을 제공한다.
사전학습된 LLM에서 장문맥이 표준이 되었지만 실행 비용은 여전히 높다. prefill 연산은 시퀀스 길이에 대해 이차적으로 증가하고, 디코드의 각 단계마다 시퀀스 길이에 선형적으로 증가하는 key-value 캐시를 다시 읽어야 한다. 희소 어텐션(sparse attention)은 과거 토큰의 관련 부분집합에만 어텐션함으로써 이러한 비용을 줄이지만, 그 부분집합을 선택하는 것 자체가 비용이 많이 든다. 우리는 SpotAttention을 제안한다. 이는 고정된(frozen) 사전학습 트랜스포머에 부착되는 경량 선택기(selector)로, KL 증류(KL distillation)를 통해 학습하여 트랜스포머의 어텐션 분포를 추정한다. 선택기는 각 쿼리가 어텐션하는 상위 K개의 키를 선택하며, 추정치가 보정된(calibrated) 분포이기 때문에 이중 top-p 규칙이 쿼리별·층별 예산을 여기서 직접 읽어낸다. Qwen3(밀집형, 4B–32B)와 Qwen3.5(하이브리드 선형/전체 어텐션, 4B–9B) 전반에 걸쳐 SpotAttention은 최대 128K 토큰의 문맥에서, 학습 길이의 8배에 해당하는 범위에서 밀집(dense) 정확도와 일치한다. L=128K에서의 디코드는 FlashAttention보다 3.9배, 학습 없이 가능한 최강 기준선인 Twilight보다 1.8배 빠르게 실행된다. 선택기의 K-캐시를 INT4 또는 FP4 microscale로 양자화하면 정확도 손실 없이 3.5배 축소된다.
서브리미널 학습(subliminal learning)은 학생 모델이 그 특성을 한 번도 명시하지 않는 지식 증류(distillation) 데이터로부터 교사의 은닉 특성(hidden trait)을 물려받게 한다. 우리는 이러한 전이(transfer)가 학습 전에 언제 감사(audit)될 수 있는지 묻는다. 답은 모델 동일성(model identity)이나 규모(scale)만이 아니라, 특성이 학생에게 도달하는 매개체인 채널 위치(channel location)이다. 우리는 세 가지 영역(regime)을 발견한다. 제어된 초기화 의존적 몸체(body) 채널에서는 사전학습 스크린이 작동한다. 커버리지(coverage), 즉 학생의 초기 증류 업데이트와 교사의 미세조정 변위(displacement) 사이의 코사인(cosine)은 홀드아웃(held-out) 전이를 예측한다(Spearman $ρ\approx 0.95$; AUROC 0.997). 사전학습된 언어 모델에서는, 마스킹된 단일 토큰 특성이 대신 수렴하는 어휘(vocabulary) 기하학을 타고 전달된다. 이 채널은 초기화에 독립적이므로 커버리지를 포함한 초기화 정렬(alignment) 스크린은 기계론적(mechanistic)이 아니다; 유용한 핸들은 사후(post-hoc) 탐지와 표적 완화(mitigation)이다. 단일 토큰 명명 개체(named entity)가 손실에서 제거되더라도, 학생의 해당 개체에 대한 홀드아웃 확률은 평균 0.40까지 상승($\sim 2500\times$)하고, 관련 의미 클래스(semantic class)가 전이된다. untied-head 모델에서, 특성의 출력 행(output row)을 얽힌 이웃(neighbour)에 대해 직교화(orthogonalizing)하면 누출(leakage)이 붕괴되지만, 동일 크기의 무작위 부분공간(random-subspace) 편집은 그렇지 않다. 따라서 증류 레이블에서 대상 문자열을 제거해도 해당 선호(preference)는 제거되지 않는다: 이웃 토큰이 그것을 운반할 수 있다. 마지막으로, 조건부 행동(conditional behaviour)은 네트워크 몸체를 통해 라우팅될 수 있다. 아첨(sycophancy)의 경우, 동의(agreement) 및 수정(correction) 마커가 손실에서 마스킹되면, 전이는 교사 효과의 약 0.63에 달하고, 몸체 연산(body computation)에 국한(localize)되며, 두 모델 계열에 걸친 네 가지 감사를 회피한다. 우리는 이를 조건 존재(condition-present) 정책(policy)의 마스킹 전이로 범위를 한정한다. 채널 위치는 어떤 감사가 타당(sound)할 수 있는지를 결정하는 데 필요하다. 그러나 이것은 배포 준비가 된 스크린이 아니다: 해당 매개체 영역(carrier regime) 밖에서 사용된 감사는 거짓 안심(false assurance)을 줄 수 있다.
온-정책 지식 증류(OPD)는 학생 모델이 샘플링한 궤적에 밀집 교사 감독을 적용함으로써 추론 모델을 개선한다. 그러나 OPD를 장기간 수학적 추론으로 확장하면 신뢰성과 효율성 문제가 드러난다. 표준 OPD는 샘플링된 모든 후보에 동일한 긴 롤아웃 예산을 할당하지만, 일부 궤적은 교사와의 정렬이 빠르게 약해져 덜 유용한 감독 신호를 제공할 수 있다. 이전 분석은 성공적인 OPD가 학생이 방문한 접두 문맥에서의 top-k 겹침으로 측정할 수 있는 국소적 교사-학생 호환성에 의존한다고 시사한다. 이 겹침이 낮을 때, 긴 접미어에 대해 생성을 계속하거나 학습하면 계산을 낭비하고 노이즈가 섞인 학습 신호를 도입할 수 있다. 이를 해결하기 위해, 비용이 큰 장기간 생성 이전에 고정 길이 접두 문맥을 사용해 궤적 가치를 추정하는 간단한 롤아웃 할당 프레임워크인 접두 문맥 기반 온-정책 지식 증류(PG-OPD)를 제안한다. PG-OPD는 먼저 샘플링된 모든 후보를 동일한 접두 문맥 길이까지 디코딩하고, 해당 접두 문맥의 초기 탐색 윈도우 내에서 교사-학생 top-k 겹침을 계산한 뒤, 겹침이 높은 후보만 고정된 긴 길이까지 선택적으로 계속 생성한다. 겹침이 낮은 후보는 고정된 접두 문맥에서 중단되어 불필요한 접미어 생성을 피한다. AMC, AIME, HMMT 벤치마크에서 다양한 교사-학생 조합에 대해 PG-OPD는 평균 정확도를 최대 4.80점 향상시키면서 학습 시간을 최대 2.46배 단축한다. 이 결과는 접두 문맥 수준의 호환성이 교사로부터 여전히 학습 가능한 궤적을 향해 OPD 연산을 유도하는 실용적 신호를 제공함을 시사한다.
짧은 프로그램으로 풀 수 있는 모든 과제를 사고의 연쇄(chain-of-thought)로 모델에 가르칠 수 있다고 가정하기 쉽다: 단계를 기술하고, 미세조정하면 모델이 따라온다는 것이다. 이 논문은 식별 가능한 특정 절차 부류에서 이 가정이 성립하지 않음을 보인다. 테스트베드는 결정론적 생성기로부터 각각 만들어진 9개의 추론 과제로 구성되며, 공개 분할과 숨겨진 분할이 동일한 생성기를 공유하므로 홀드아웃 데이터가 테스트 정확도를 대리한다. 생성기를 역공학하여 Python 솔버로 변환하고, 이를 사고의 연쇄로 렌더링한 후, 30B(3.5B 활성) Nemotron 모델에 rank ≤ 32 LoRA로 증류한다. 순방향 계산 가능한 과제들은 쉽게 전이된다: 조회/산술 과제와 8비트 불리언 과제가 각각 ≥ 0.99와 0.68의 성능으로 전이된다. Cryptarithm은 그렇지 않다: 역추적 탐색을 증류하는 것은 11가지 사고의 연쇄 설계, 검증 가능한 보상 기반 강화학습(RL), 자기학습(self-training) 전반에 걸쳐 0.01-0.07에 머무르는데, 탐색 솔버가 인스턴스의 71%를 정답으로 풀어냄에도 그러하다. 이것은 역량 격차가 아니다. 모델은 97-100%의 라인에서 산술 연산을 수행하고 71%에서 정답 암호를 상위 8개 안에 순위 매기지만, 탐색을 좌-우 방향의 유도 과정으로 이어갈 수 없다. 미세조정은 검증 가능한 소거 단계의 형태를 학습하지만, 그 판정은 무조건적인 템플릿이 되어 16-57%의 경우에만 정확하다("verdict-as-token"). 이 상한은 3B에서 671B에 이르는 백본 전체와 미세조정 및 프롬프팅 전반에 걸쳐 유지되며, 통제된 개입으로 그 원인을 분리한다: 유도 과정을 순방향으로 전환하는 암호 키를 공개하면 동일한 인스턴스들의 성능이 0.03에서 0.57로 향상된다. 어떤 절차의 유일한 풀이 방법이 정보가 없는 구조에 대한 탐색일 때, 모방할 수 있는 신실한 순방향 사고의 연쇄는 존재하지 않는다. 과제는 탐색을 제거하고, 조합론적 핵심을 카탈로그로 사전계산하여 추적을 재현율(recall)과 검증으로 축소함으로써만 학습 가능해진다; 1위 솔루션은 이 방식으로 Private LB 0.92에 도달한다. 증류되는 것은 기억과 검증이지, 탐색이 아니다.
온-정책 증류(on-policy distillation)는 토큰 수준의 밀집 지도를 통해 추론 능력을 전달하지만, 전달 가능한 신호의 본질은 여전히 불분명하다. 우리는 추론 체인(reasoning chain)에 서로 다른 발견 메커니즘이 필요한 두 유형의 지식이 포함되어 있음을 밝힌다. 분기 지점(어디로 갈릴지)을 나타내는 의사결정(decision)은 학생 모델의 불확실성을 통해 드러나며, 의사결정을 정당화하는 중간 단계인 증거(evidence)는 학생이 확신하지만 틀린 위치에 숨어 있다. 기존 방법은 의사결정만 포착하며, 증거 토큰에 담긴 실질적 지식은 전달되지 않은 채 남는다. 우리는 DEAR(Decision-Evidence Aware Reasoning Distillation)를 제안한다. DEAR는 먼저 학생 모델의 엔트로피(entropy)로 의사결정을 식별한 뒤, 의사결정 앵커(decision anchor)에 대한 hidden-state 코사인 유사도(cosine similarity)를 통해 이를 뒷받침하는 증거를 발견하고, 교사-학생 발산(teacher-student divergence)으로 가장 큰 지식 격차를 우선순위화한다. 수학 및 코드 벤치마크(benchmark)에서 세 가지 학생-교사(student-teacher) 구성에 걸쳐 DEAR는 표준 OPD(on-policy distillation)를 일관되게 능가하며, 경쟁 수학(competition math)에서 최대 +2.5pp, 코드 생성(code generation)에서 최대 +5.7pp의 향상을 보인다.
온-정책 증류(OPD, On-policy distillation)는 현재 또는 최근 학생 정책(student policy)에 의해 유도된 상태에서 대규모 언어 모델(LLM)을 학습시킨다: 학생 모델이 완전하거나 부분적인 롤아웃을 생성하고, 교사 또는 자기-교사가 생성된 컨텍스트 하에서 해당 토큰들을 채점하며, 밀집 로그 확률, 로짓, 또는 분포적 신호가 사후 학습 업데이트로 변환된다. 본 서베이는 OPD를 단일 손실 계열이 아닌 피드백-업데이트(feedback-to-update) 문제로서 연구한다. 우리는 두 가지 경로 -- 직접 분포적 손실과 정책 그래디언트 방식의 로그-비율 업데이트 -- 로부터 공식 기반 분류 체계를 개발하고, 이를 활용하여 핵심 방법론, 검증기 또는 결과 기반 하이브리드, 산업계 보고서, 프레임워크 구현, 실패 사례, 그리고 안정화 레시피를 명시적 증거 경계 하에 정리한다. 이 분류 체계는 OPD의 효과가 KL 방향이나 교사 접근성뿐만 아니라, 상태 호환성, 지지 집합 구성, 시간적 크레딧(temporal credit), 어휘 수준 확률 라우팅(vocabulary-level probability routing), 게이트 및 가중치, 그리고 정규화에도 의존함을 보여준다. 우리는 샘플링된 토큰 OPD 안정성 논의에서 종종 혼용되는 두 메커니즘을 추가로 구분한다. 시간적 크레딧은 교사-학생 로그-비율 리턴이 롤아웃 전반에 걸쳐 샘플링된 행동에 어떻게 가중치를 부여해야 하는지를 묻고, 어휘 라우팅은 부정적 피드백이 샘플링된 토큰을 억제할 때 확률 질량이 어디로 이동해야 하는지를 묻는다. 이 구분은 즉각적, return-to-go, 할인된, 기준선 보정 추정량에 대한 바이어스 경계를 도출하고, 로그-비율 리턴에 대한 가치 기반 가설로서 GAE-OPD를 동기화하며, 교사가 지지하고 학생이 도달 가능한 대안으로 확률 질량을 라우팅하기 위한 반사실적 라우팅 OPD(CR-OPD, Counterfactual Routed OPD)를 동기화한다. 마지막으로 실행 가능성 진단, 실패 메커니즘, 사례 연구, 미해결 문제, 그리고 보고 체크리스트를 동일한 피드백-업데이트 변수들에 매핑하며 마무리한다.
무선 접속망(RAN)에서 물리 자원 블록(PRB) 할당은 전통적으로 사례별 수동 문제 구성에 의존해 왔으며, 최근에는 학습 기반 인공지능(AI) 방법을 사용하기도 한다. 그러나 6세대(6G) RAN 환경은 전례 없는 서비스 다양성과 기하급수적 동역학에 직면하며, 활성 기지국(BS), 사용자 규모, 엄격한 서비스 품질(QoS) 요구사항의 변동성 있는 변화를 특징으로 한다. 이러한 조건에 직면했을 때, 수동 모델과 표준 AI 알고리즘 모두 근본적으로 경직되어 적응하고 자기 진화할 유연성이 부족하다. 만능 솔루션을 제공하기 위해, 우리는 PRB 할당 문제를 대규모 언어 모델 다중 에이전트(LLM-MA) 시스템이 제공하는 Optimization-as-a-Service(OaaS)로 취급할 것을 제안한다. 이는 에이전트를 활용해 최적화 문제를 동적으로 구성하고 실시간 시나리오에 맞춘 목표를 자동으로 결정함으로써 RAN 자원 할당을 근본적으로 재구성한다. 장면 이해, 목표 생성, 솔버, reflection 에이전트를 통합한 우리의 폐루프 아키텍처는 컨텍스트 인식적이고 자기 수정적인 공식화를 가능하게 한다. 반복적 reflection의 계산 지연을 제거하기 위해, 우리는 원샷 reflection 증류 메커니즘을 도입하여 경량 학생 모델이 정제된 목표 매개변수를 직접 예측하도록 학습한다. 우리는 이 원샷 정책의 성능 격차를 이론적으로 한정한다. 실험 결과는 우리 프레임워크가 초저지연 추론으로 거의 최적에 가까운 자원 할당을 달성함을 보여준다.
립싱크 딥페이크는 조작된 미디어 중 가장 어려운 유형 중 하나이며, 이는 아티팩트가 거의 전적으로 입 주변 영역에 국한되고 시간에 따라 동적으로 변화하기 때문이다. 이러한 딥페이크를 탐지하려면 입술 움직임에 대한 정밀한 시간적·공간적 모델링이 필요하다. 본 논문에서는 세그먼트 수준과 프레임 수준 모두에서 립싱크 딥페이크를 세밀하게 탐지하고 위치를 특정하는 새로운 탐지 프레임워크인 LoCC를 제안한다. 동영상을 전체적으로 분석하는 기존 접근법과 달리, 본 방법은 각 프레임이 시간적 이웃으로부터 생성된 반사실적(counterfactual) 추정치와 일치하는지 평가한다. 실제 동영상은 강하고 안정적인 일관성을 보이는 반면, 립싱크 딥페이크는 국소적 불일치를 유발한다. 교사-학생(teacher-student) 학습 패러다임을 따르면, 우리 모델은 이러한 프레임 수준 불일치를 효과적으로 포착하며 LAV-DF, AVDF1M, FakeAVCeleb, KODF를 포함한 여러 벤치마크 립싱크 딥페이크 데이터셋에서 최신(state-of-the-art) 방법들 대비 우수한 성능을 달성하고, 다양한 압축 수준과 데이터셋에 걸쳐 잘 일반화한다.
멀티모달 대규모 언어 모델(MMLM)은 2D 시각 태스크에서 뛰어난 성능을 달성했지만, 자율주행 차량(AV)과 같은 실제 응용을 위한 공간 지능을 향상시키는 것은 여전히 미해결 과제로 남아 있다. 기존의 기하 인식 MLLM은 일반적으로 추론 시점에 보조 3D 모델에 의존하여 파이프라인 복잡도와 연쇄적 실패 위험을 초래한다. 본 논문에서는 순수 2D 관측만으로 기하 인식 공간 추론을 수행하는 단순하면서도 효과적인 플러그 앤 플레이 패러다임인 OmniSpace를 제안한다. 현재 MLLM이 취약한 교차 뷰 대응(cross-view correspondence)과 깊이 추정에 병목이 있다는 발견에 영감을 받아, OmniSpace는 Camera Pose Injector, Multi-view Epipolar 어텐션 모듈, 그리고 3D 기하 지식 증류(distillation) 목적함수를 도입하여 기하학적 지식을 모델로 전이함으로써 이 두 한계를 공동으로 해결한다. 광범위한 실험 결과, OmniSpace는 계획(planning) 벤치마크(nuScenes, Bench2Drive), 위험 탐지(nuInstruct), 언어(Omnidrive), 일반화(DriveBench)에서 기존 방법들을 능가한다.
일관성 증류(consistency distillation)는 확산 모델의 추론을 크게 가속화했다. 본 연구에서는 흥미로운 비대칭을 밝힌다. 표준 반복 생성에는 Logit-Normal 샘플링 사전분포(prior)가 매우 효과적인 반면, 일관성 증류는 뚜렷이 다른 난이도 프로파일(예: U자형)을 보인다. 우리는 주요 최적화 병목이 중간 단계가 아니라 경계 단계(초기화 또는 최종 정제)에 있다는 점을 확인한다. 진화하는 학습 요구를 수용하는 데 있어 정적 샘플링의 한계를 해결하기 위해, 우리는 Curvature-Adaptive Consistency Flow Matching(CACFM)을 제안한다. 증류를 동적 의사결정 과정으로 공식화함으로써, CACFM은 경량 강화학습 에이전트를 사용해 Probability Flow ODE 궤적을 능동적으로 탐색하고, 수동 스케줄링 없이 중요 영역을 우선시하는 효율 지향 커리큘럼을 자동으로 구성한다. 새로운 Flow Distribution Matching Distillation(DMD) 목적함수와 통합하여, 우리 접근법은 FLUX 및 SDXL과 같은 대규모 모델에서 새로운 최첨단(state-of-the-art) 결과를 달성한다. 이 방법은 극단적인 few-step 환경에서 구조적 왜곡을 효과적으로 완화하고 고주파 세부를 보존하여 전례 없는 시각적 충실도를 달성한다.
비디오 확산 모델의 소수 스텝 지식 증류(distillation)는 실제 응용에서의 효율적 배포에 대한 긴급한 수요에 힘입어 상당한 주목을 받고 있다. 그러나 주류 패러다임인 분포 매칭 증류(Distribution Matching Distillation, DMD)는 제한된 NFE(함수 평가 횟수) 예산 하에서 성능이 저하되는 경향이 있으며, 비디오 생성에서는 레이아웃 불안정, 과포화(oversaturation), 모션 다이내믹스 붕괴로 나타난다. 우리는 이 실패를 구조적 한계로 귀인한다. 표준 DMD는 좌표별 그래디언트를 갖는 샘플 내(intra-sample) 분포 매칭 목적 함수이므로, 배치 요소들 또는 시간 프레임 간 관계적 기하학에 대한 명시적 제약을 부과하지 않아 근본 코퓰러(copula)를 거의 규제하지 못한다. 역 KL(reverse-KL) 목적 함수의 모드 추구(mode-seeking) 성향과 결합되어, 이러한 관계적 가이던스의 부재는 DMD가 소수 스텝 영역에서 국소 최적해로 붕괴하기 쉽게 만든다. 이 통찰에 영감받아, 우리는 동결된 교사 모델과 온라인 fake 모델이 이미 생성한 score 추정값을 재사용하여 샘플 및 프레임 간 쌍wise 관계 행렬을 구성하는 경량 관계 정규화(relational regularizer)인 코퓰러 인식 DMD(Copula-aware DMD, CoDMD)를 제안한다. 이는 추가 네트워크, 데이터셋, 또는 샘플링 궤적 없이 보조 분포 목적 함수를 통해 매칭된다. 1.3B 및 14B 규모의 Wan-2.1-T2V 모델 계열에서 CoDMD는 50스텝 교사 모델을 4스텝 학생 모델로 증류하여, 약 25배 속도 향상을 달성하면서 VBench 점수 84.46 및 84.87을 기록하여, 기존 궤적 기반(rCM 82.81 및 84.05) 및 분포 기반(DMD 83.38 및 83.81) 방법을 능가한다.
고해상도 영상에서의 적외선 소목표 탐지(IRSTD)는 무인항공기(UAV) 감시 및 UAV 기반 지상 모니터링 등 많은 실용 응용에서 중요하다. 그러나 IRSTD는 목표의 작은 크기와 약한 특징, 그리고 복잡한 동적 배경으로 인한 상당한 간섭 때문에 여전히 어려운 문제로 남아 있다. 기존 탐지 방법은 비목표 배경 영역에 대한 중복 연산과 목표 맥락 정보의 불충분한 활용으로 인해 복잡한 배경에서 성능이 제한되는 경우가 많다. 이를 해결하기 위해, 본 연구는 어텐션 사전 정보 기반 지식 증류를 적용한 효율적인 거친-세밀 적외선 소목표 탐지 프레임워크인 ECFNet을 제안한다. 거친(coarse) 단계에서는 그리드 기반 다중 스케일 특징 맵 위에 영역 이진 분류 네트워크(RBCN)를 설계하여 복잡한 배경을 억제하면서 목표를 포함한 맥락 영역 제안을 효율적으로 인식한다. 또한 RBCN의 특징 맵에 노이즈가 추가된 정답(GT) 마스크를 통합하고, 디노이징 과제를 통해 GT 마스크를 재구성하도록 네트워크를 학습시키는 새로운 디노이징 보조 학습 전략을 도입하여 목표 제안과 배경 영역을 구분하는 능력을 향상시키고 수렴을 가속화한다. 세밀(fine) 단계에서는 정확도와 효율성의 균형을 위해 거친 단계의 영역 제안에 맞춘 경량 목표 검출기를 맞춤 설계한다. 더 나아가 교사-학생 교차 어텐션 사전(prior)에 의해 안내되는 지식 증류 전략을 제안한다. 이 메커니즘은 학생 모델이 핵심 목표 영역에 집중하도록 유도하여 적외선 소목표에 대한 판별적 특징 표현을 향상시킨다. 세 가지 실제 적외선 데이터셋에 대한 광범위한 실험 결과, 제안 방법은 높은 실시간 처리 효율을 유지하면서 기존 단일 단계 및 이중 단계 접근법을 모두 능가함을 보여준다.
비전-언어-행동(VLA) 모델은 로봇이 시각적 관측과 언어 지시로부터 직접 행동을 예측할 수 있게 하지만, 새로운 환경에 대한 적응은 여전히 비용이 큰 행동 라벨 시연에 의존한다. 이 의존성을 줄이기 위해, 우리는 제한된 감독 신호 하에서의 반지도 VLA 적응을 연구한다. 전체 궤적 중 소수만 로봇 행동을 포함하고, 나머지 궤적은 행동 라벨이 없는 비전-언어 관측을 제공하는 설정이다. 표준 반지도 학습과 달리, 누락된 감독은 시각적으로 그라운딩(grounding)되어야 하고, 언어와 일관되어야 하며, 물리적으로 실행 가능하고, 시간적으로 안정적인 체화된(embodied) 행동 신호이다. 이 문제를 해결하기 위해, 우리는 라벨 없는 궤적에서 신뢰할 수 있는 pseudo-action으로부터 학습하는 자기 증류(self-distilled) teacher-student 프레임워크인 SemiVLA를 제안한다. SemiVLA는 비전-언어 정렬(alignment), 행동 실행 가능성, 시간적 전이 일관성을 평가하는 VLA 전용 신뢰성 제어기(reliability controller)를 도입하고, 노이즈 피드백 오염을 피하기 위해 Bottleneck-Projected Alignment Update로 teacher를 추가 갱신한다. OpenVLA를 백본(backbone)으로 사용할 때, SemiVLA는 LIBERO와 CALVIN에서 여러 PEFT(파라미터 효율적 파인튜닝) 전략을 일관되게 개선한다. 라벨 궤적 10% 조건에서 Selective LoRA를 적용한 SemiVLA는 LIBERO에서 평균 89.0% 성공률을 달성하며, 추가 추론(inference) 비용 없이 지도 LoRA 대비 8.0%p를 상회한다.
감독 비디오 사전학습은 하위 동작 인식 성능 향상을 위한 일반적인 전이학습 관행이다. 그러나 대규모 라벨이 있는 소스 데이터셋이 필요하며, 학습된 초기화의 효과는 소스와 타깃 도메인 간 유사성의 영향을 받는다. 서로 다른 타깃 도메인을 위한 이러한 라벨 있는 사전학습 데이터셋을 구축하는 것은 비용이 많이 들고 확장하기 어렵다. 이러한 한계를 해결하기 위해, 본 연구는 어노테이션 없는 비디오 사전학습과 타깃 라벨 집합 인식 미세조정을 결합한 라벨 효율적 비디오 학습 프레임워크를 제안한다. 사전학습 과정에서 비전-언어 모델(VLM)이 라벨 없는 비디오의 텍스트 설명을 생성하며, 이를 처리하여 해석 가능한 의미적 의사 라벨 공간을 구축한다. 그다음 고정된 비디오-언어 모델이 이 공간 위에서 제로샷 소프트 타깃 분포를 생성하여, 학생(student) 비디오 인코더가 수동 소스 어노테이션 없이 의미적으로 풍부한 표현을 학습할 수 있게 한다. 하위 적응 단계에서는 타깃 라벨 집합 인식 미세조정이 라벨 있는 타깃 비디오에 대한 감독 학습과 실제 타깃 라벨 집합에 대한 제로샷 증류를 결합하여, 사전학습된 인코더를 타깃 과제에 적응시키는 동시에 VLM에서 유래한 의미적 지침을 보존하도록 돕는다. UCF101과 HMDB51에서의 실험은 제안 프레임워크가 모든 평가된 제한 라벨 체제에서 비교된 준감독 비디오 동작 인식 방법들을 능가함을 보여준다. 또한 어노테이션 없는 사전학습 단계는 비교적 적당한 규모의 라벨 없는 사전학습 풀에 의존함에도 불구하고, 전체 데이터 미세조정을 위한 효과적인 초기화를 제공하는 전이 가능한 표현을 학습한다.
의료 비전-언어 모델(Med-VLM)은 강력한 전문가 수준의 성능을 달성하지만, 환자가 이해하기 쉬운 설명을 생성하는 능력은 아직 충분히 연구되지 않았다. 21세기 치료법(Cures Act)이 이제 진단 영상 결과에 대한 즉각적인 환자 접근을 의무화함에 따라, Med-VLM이 이 전문가-일반인 격차(Expert-Lay Gap)를 해소할 수 있는지 평가하는 것은 환자 교육과 공동 의사결정을 위해 시급하고 임상적으로 중요하다. 이를 위해 우리는 의료 일반인 언어 생성(Medical Lay Language Generation, MLLG)을 위한 최초의 대규모 멀티모달 벤치마크 및 평가 프레임워크인 MedLayXPlain을 제안한다. MedLayXPlain-122K는 공개적으로 이용 가능한 12개 원본 데이터셋의 8가지 영상 방식에 걸친 122,789개의 영역 그라운딩(region-grounded) 샘플을 제공하며, 각 샘플은 7개 의미 그룹, 43개 의미 유형, 2,411개 의료 개념에 걸친 3단계 통합 의학 언어 체계(Unified Medical Language System, UMLS) 온톨로지 계층에 고정된 전문가 및 일반인 캡션이 쌍을 이룬 의료 이미지로 구성된다. 일반인 캡션은 환자 중심 어휘 매핑, LLM 기반 제약 재작성, 그리고 환각(hallucination)을 방지하면서 의미적 동등성을 강제하는 교차 모델 시각 검증을 결합한 3단계 파이프라인인 계층적 온톨로지 검증 정제(Hierarchical Ontology-Verified Refinement, HOVER)를 통해 구성된다. 또한 표준 자연어 생성(NLG) 지표와 임상 판단 간의 낮은 상관관계를 해소하기 위해, 27B 검증기로부터 지식 증류(distillation)된 경량 3B 평가기 MedLayEval을 제안하며, 이는 5가지 임상적 근거가 있는 속성에 걸친 전문가-일반인 정렬(alignment)을 점수화한다. MedLayXPlain-122K에서 33개 VLM을 벤치마킹한 결과 체계적인 전문가-일반인 격차가 드러난다. 의료 VLM은 강력한 전문가 캡션 생성을 달성하지만 일반인 언어체(lay-register)에서 상당한 성능 저하를 겪는 반면, 범용 VLM은 더 접근하기 쉬운 언어를 생성하지만 임상적 정밀도(precision)가 부족하여, 어느 쪽의 현재 패러다임도 환자 대면 의사소통에 충분히 부합하지 않음을 확인한다.
Given a content reference and a style reference, content-preserving style transfer requires the model to generate stylized outputs with content and style consistency. We introduced TeleStyle V1 to tackle this problem. However, TeleStyle V1 is trained with photorealistic content reference and artistic style reference, which makes it incapable to cope with artistic content reference and realistic style reference in most cases. In this paper, we designed a Self-Distillation data synthesis strategy to construct such triplets from TeleStyle V1. Trained with such self-distilled triplets, our TeleStyle V2 supports Content-Style references in the forms of Realistic-and-Realistic (RnR), Realistic-and-Stylized (RnS), Stylized-and-Realistic (SnR), Stylized-and-Stylized (SnS). In addition, we found Distribution Matching Distillation could preserve the general text-guided image editing capability of the foundation model and fix the content consistency degradation caused by SFT process. Through quantitative evaluations, our TeleStyleV2-QIE-2509-DMD performs at least on par with Qwen-Image-Edit-2509-DMD, demonstrating strong general image editing skills beyond content-preserving style transfer. We observed the content/style reference order confusion problem in TeleStyle V1 and further introduced prompt enhancer to solve it. TeleStyle V2 uses Qwen-Image-Edit's VLM encoder, Qwen2.5-VL-7B, to generate content prompt and style prompt for free. TeleStyle V2 could achieve comparable style transfer performance with state-of-the-art commercial model, gemini-3-pro-image-preview.
배치 방식 트레이스 증류에서, 동일한 메모리 연산이 서로 다른 배치에서 상충되는 피드백을 받을 수 있습니다. 기존 방법들은 배치 간 연산 수준의 증거 누적 메커니즘이 부족하여, 안정적으로 효과적인 연산과 우연한 적중을 구별하는 것이 불가능합니다. 본 논문은 이 요구 사항을 정렬 가능성(alignability)과 비교 가능성(comparability)이라는 두 가지 구조적 조건으로 공식화하고, 한계 이점 누적(MAA)을 제안합니다. MAA는 배치 간 비교가 가능하도록 차분 신호를 구성하고, EMA를 통해 연산별 부호가 있는 증거를 누적하며, 의미적 동일성 병합을 통해 배치 간 추적 가능성을 보장합니다. 후처리 아키텍처인 MAA는 4개의 벤치마크와 4개의 타겟 모델에 걸친 16가지 설정 중 14가지에서 최고의 결과를 달성했으며, 최적화 단계 토큰 소비량을 약 75% 줄이면서 기존 배치 수준 증류 베이스라인을 일관되게 능가하고 대부분의 설정에서 온라인 대안들과 동등하거나 그 이상의 성능을 보였습니다.
어텐션 증류는 두 어텐션 분포 간의 쿨백-라이블러(KL) 발산을 최소화하여 하나의 분포가 다른 분포와 일치하도록 학습시키는 기법으로, 지식 증류, 모델 압축, 지속 학습, 희소 어텐션 LLM 학습 등에서 널리 사용됩니다. 그러나 기존 접근 방식은 KL 연산을 수행하기 전에 두 어텐션 분포를 모두 메모리에 적재(materialize)하므로, 긴 컨텍스트 길이에서는 감당하기 힘든 $O(N_QN_K)$ 메모리 및 IO 비용이 발생합니다. 우리는 이러한 이차원 메모리 적재를 제거하는 최초의 어텐션 KL 발산 융합 GPU 프리미티브인 StreamKL을 제안합니다. StreamKL은 결합된 이중 분포 KL 연산을 위한 새로운 온라인 공식을 유도하여, 쿼리-키 타일을 온칩 SRAM을 통해 스트리밍하는 단일 일회 순방향 커널을 가능하게 합니다. 역방향 패스의 경우, StreamKL은 어텐션 확률을 타일 단위로 재계산하여 이차원 중간 결과의 저장을 피합니다. 또한, 우리는 전용 최적화를 적용하여 효율적인 GPU 커널을 설계하고 구현했습니다. 실험 결과, StreamKL은 순방향 및 역방향 패스에서 각각 기준선 방법 대비 최대 $43\times$ 및 $14\times$의 속도 향상을 보여주었습니다. 가장 중요한 점은 StreamKL이 어텐션 증류의 추가 HBM 사용량을 $O(N_QN_K)$에서 $O(1)$로 줄여, 단일 GPU에서 긴 컨텍스트 증류를 가능하게 한다는 것입니다.
다중 에이전트 강화학습(MARL)은 에이전트가 창발적 통신(emergent communication)을 통해 협동 전략을 개발할 수 있게 하지만, 신경망 정책은 드론 군집 및 자율주행 차량 군집과 같은 안전 임계(safety-critical) 로봇 배치에 필요한 형식적 안전성 보장이 부족합니다. 우리는 정책 추상화(policy abstraction)를 통해 학습된 다중 에이전트 통신 정책의 안전성 검증을 위한 최초의 엔드 투 엔드 프레임워크를 제시합니다: 신경망 정책을 해석 가능한 결정 트리로 증류(distill)한 뒤 형식적으로 검증하며, 경험적 검증(empirical validation)을 통해 검증된 안전성 속성이 원래 네트워크로 전이됨을 확인합니다. 우리의 4단계 파이프라인은 에이전트 관찰로부터의 도메인 특화 특징 추출, 신경망 정책에 대해 97.9% +/- 1.2%의 충실도(fidelity)를 달성하는 결정 트리 증류, 완전한 특징-상태 변수 대응을 갖는 PRISM 확률적 모델 검사기(probabilistic model checker) 사양으로의 자동 번역, 그리고 유니온 바운드(union-bound) 집계 및 경험적 이웃 모델링을 통한 쌍별 분해(pairwise decomposition)를 이용한 확률적 계산 트리 논리(PCTL) 속성의 구성적 검증(compositional verification)으로 구성됩니다. 5-7개의 에이전트를 사용한 다중 드론 협동(multi-drone coordination)을 위한 벡터 양자화 변이 정보 병목(Vector-Quantized Variational Information Bottleneck, VQ-VIB) 정책을 평가하여, 우리는 안전성, 활성성(liveness), 협력에 걸쳐 18개의 시간 논리 속성을 검증했으며, 88.9%의 속성 만족도를 달성하고 5개의 안전성 임계값을 모두 충족했습니다(0.3% 충돌 확률 대 1% 임계값). 원래 신경망 정책에 대한 몬테카를로 검증(Monte Carlo validation)은 검증된 안전성 속성이 0.6 퍼센트 포인트 이하의 편차(95% 신뢰 구간)로 전이됨을 확인합니다. 이산 VQ-VIB 메시지는 연속적 방법 대비 +11.6에서 +13.6 퍼센트 포인트의 충실도 이점을 제공하여 3-4배 더 빠른 검증을 가능하게 합니다. 우리의 프레임워크는 증류된 정책 추상화에 대해 경험적으로 검증된 안전성 검증을 제공하며, 다중 로봇 배치를 위한 심층 MARL과 형식적 안전성 워크플로우 사이의 실용적인 가교 역할을 합니다.