자기지도 학습(SSL)은 대규모 비레이블 전체 슬라이드 이미지(WSI)로부터 전이 가능한 표현을 학습하는 효과적인 패러다임으로 부상하고 있다. 그러나 기존의 SSL 방법들은 주로 일반적인 시각적 특징을 학습하며, 질환 특성화에 핵심적인 병리 특이적 형태학적 패턴을 명시적으로 포착하는 데 종종 실패한다. 이러한 한계를 해결하기 위해, 우리는 병리 인식 프로토타입 증류를 갖춘 Tiny Vision Transformer인 TVT-PAPD를 제안한다. 이 자기지도 병리 표현 학습 프레임워크는 Tiny Vision Transformer(TVT)와 새로운 병리 인식 프로토타입 증류(PAPD) 모듈을 통합한다. PAPD는 학습 가능한 병리 프로토타입 뱅크를 활용하여 대표적인 조직 형태학적 패턴을 발견하고 보존하며, 의미론적으로 유사한 병리 영역이 일관되고 판별적인 표현을 학습하도록 유도한다. 제안된 프레임워크는 9,000만 개의 파라미터로 계산 효율성을 유지하면서 병리 인식 특징 학습을 향상시킨다. Cancer Genome Atlas(TCGA) 저등급 신경교종(LGG)/교모세포종(GBM) 데이터셋 및 Indian Pathology Brain(IPD-Brain) 데이터셋에 대한 실험에서, TVT-PAPD는 LGG-GBM 분류에서 각각 93.02% 및 90.23%의 가중 F1-점수를 달성하면서 독립적인 신경교종 데이터셋 전반에 걸쳐 강력한 코호트 간 일반화 능력을 보인다.
3D 비지도 도메인 적응(UDA) 분할은 새로운 도메인 데이터의 수동 어노테이션에 소요되는 높은 비용을 줄여준다. 이 분야에서는 셀프 트레이닝(self-training)이 주류 접근법으로 자리잡았으며, 그 성공은 신뢰할 수 있는 의사 레이블(pseudo label)을 생성하기 위한 잘 초기화된 웜업 모델에 크게 의존한다. 그러나 기존 방법들은 웜업 모델을 얻기 위해 소스 지도학습 또는 출력 수준의 적대적 정렬(adversarial alignment)에 의존하는 경우가 많으며, 도메인 간 큰 도메인 격차로 인해 제한된 일반화 성능과 학습 불안정성 문제를 겪는다. 도메인 유사 표현을 구성하는 것은 이 격차를 좁히는 효과적인 방법이다. 본 연구에서는 CVKD-UDA를 제안하며, 복셀 크기(voxel size)를 도메인 유사 표현 구성의 핵심 설계 요소로 재조명하고, 교차 뷰(cross-view) 상보적 단서를 활용하여 웜업 모델의 전이 가능성(transferability)과 판별 가능성(discriminability)을 균형 있게 조율한다. 먼저, 복셀 크기를 변화시켜 두 가지 상보적 뷰를 생성하고, 교차 뷰 지식 증류(CVKD)를 도입하여 모델의 일반화 성능과 타겟 도메인 인식 능력을 향상시킨다. 다음으로, 전이 가능성과 판별 가능성의 균형을 맞추기 위해 경량 Decouple-Adapter와 보조 모방 분류기(auxiliary imitation classifier)를 설계하여 교차 뷰 지식 전이를 분리한다. 두 가지 벤치마크에 대한 광범위한 실험을 통해 CVKD-UDA가 셀프 트레이닝 방법의 성능을 효과적으로 향상시키고 3D UDA 분할에 새로운 관점을 제시함을 입증한다. 코드는 GitHub에 공개될 예정이다.
전통적으로 지속적 학습은 레이블 데이터에 대한 접근을 가정해 왔지만, 평생 로보틱스와 같은 많은 실세계 응용 분야에서는 모델이 비레이블 스트림으로부터 지속적으로 적응해야 한다. 이로 인해 지속적 자기지도 학습(CSSL)이 발전해 왔으나, 이 빠르게 성장하는 분야는 전용적이고 체계적인 리뷰가 부재한 상황이다. 본 연구에서는 새롭게 부상하는 비전-언어 설정과의 연결점을 포함하여 비전을 위한 CSSL에 대한 포괄적인 서베이를 제시한다. 먼저, 기존 평가 프로토콜을 분석하고 공정한 비교를 저해하는 불일치점을 부각한다. 이어서 자기지도 목적함수가 파국적 망각(catastrophic forgetting)에 대해 향상된 강인성을 보이는 이유를 태스크 무관 표현 및 더 완만한 손실 경관과 연관지어 살펴본다. 다음으로, 지식 증류, 리플레이, 정규화, 아키텍처 접근법, 모델 병합, 목적함수 수준 적응을 포함한 망각 완화 전략을 기반으로 기존 방법들을 통합된 분류체계로 정리한다. 마지막으로, 확장성 및 빠른 적응성의 필요성과 같은 미해결 과제를 도출한다. 우리는 CSSL의 발전이 소규모 벤치마크를 넘어 대규모 시스템을 위한 지속적 사전학습 패러다임으로 나아가야 한다고 주장한다.
압축은 지능의 근본이다. 학습 데이터를 짧은 코드로 표현할 수 있는 모델은 일반화를 가능하게 하는 규칙성을 발견한 것이다. 대형 신경망은 매개변수 수가 시사하는 것보다 훨씬 단순한 함수를 학습할 수 있지만, 이러한 단순성을 실현하는 코드를 구성하기는 어렵다. 양자화와 같은 매개변수 기반 방법은 매개변수가 저장하는 정보량에 무관하게 모델 크기에 비례하는 코드 길이를 생성한다. 프리퀀셜 코딩(Prequential coding)은 학습 궤적을 압축함으로써 이 문제를 우회하지만, 모델이 얼마나 학습하는지와 무관하게 정확한 데이터 시퀀스를 코딩하여 데이터의 엔트로피가 높을 때 큰 코드를 생성한다. 우리는 리퀀셜 코딩(requential coding)을 소개한다. 이 방법에서는 교사 모델이 학생 모델 자신의 분포에서 추출된 학습 샘플을 선택한다. 학생의 코드는 이러한 선택만을 기록하며, 교사와 학생이 불일치하는 경우에만 비트 비용이 발생한다. 결과적인 코드 길이는 매개변수 수와 데이터 엔트로피에 무관하며, 프리퀀셜 방식보다 종종 수 자릿수 더 짧고, 스케일이 커질수록 이점이 커진다. 이러한 압축은 기존 압축기로는 접근할 수 없었던 현상들을 밝혀준다. 손실을 고정했을 때, 더 큰 모델과 앙상블은 더 많은 매개변수를 가짐에도 불구하고 훨씬 작은 크기로 압축된다. PAC-Bayes 바운드에 적용했을 때, 리퀀셜 코드는 수십억 매개변수 대규모 언어 모델(LLM)에 대해 최첨단 일반화 보장을 제공하며, 오류 없음을 가정하더라도 공격적인 사후 학습 양자화를 기반으로 한 바운드를 능가한다. 이 바운드는 컴퓨팅 최적 체제에서 스케일이 커질수록 타이트해지는데, 이는 모델이 데이터셋 크기 대비 점점 더 압축 가능해지기 때문이다. 동일한 코드는 모델이 여러 에폭에 걸쳐 학습될 때 점진적으로 과적합됨을 예측한다. 또한 데이터셋에서 학습 가능한 정보를 예측 불가능한 무작위 내용과 분리하여, 낮은 엔트로피의 텍스트가 높은 엔트로피의 이미지 데이터보다 훨씬 더 많은 학습 가능한 구조를 포함함을 밝혀낸다.
Deploying deep learning models for automated electrocardiogram classification on resource-constrained wearable devices remains challenging due to high computational costs. To address this, we propose LSTrans, a lightweight hybrid model designed for efficient and sensitive ECG analysis. LSTrans introduces a specialized 1D convolutional backbone with an interleaved layer architecture to capture both macroscopic rhythmic trends and microscopic morphological variations. This backbone is cascaded with a Transformer encoder to model long-range temporal dependencies, incorporating Low-Rank Adaptation across critical layers to compress the model and reduce the trainable parameter space. We further employ homogeneous and heterogeneous knowledge distillation to transfer diagnostic expertise from high-capacity teacher models to the student. Experimental results on multiple benchmark datasets demonstrate that LSTrans achieves a competitive balance between diagnostic sensitivity and resource efficiency, substantially reducing peak memory footprints and training latency during downstream adaptation. The source code is available for review at https://github.com/zyee00128/LSTrans4BIBM.
사이버보안 시스템은 새로운 위협에 신속하게 적응해야 한다. 그러나 새로운 위협 카테고리에 대한 레이블 데이터는 해당 위협이 처음 등장할 때 존재하지 않는다. 일반화된 제로샷 학습(generalized zero-shot learning)은 레이블 예제 없이 보조적인 의미론적 지식을 통해 미확인 클래스를 인식할 수 있게 함으로써 자연스러운 해결책을 제공한다. 대규모 언어 모델(LLM)은 비정형 CTI 보고서를 새로운 위협에 대한 의미론적 프로토타입으로 변환할 수 있어 이 환경에서 특히 유망하다. 그러나 언어 기반 제로샷 학습을 사이버보안에 적용하는 것은 위협 설명 간의 강한 의미론적 중첩, 행동 속성과 텍스트 간의 이질성, 심각한 클래스 불균형, 그리고 학습 중 미확인 위협이 알려지지 않은 오픈셋(open-set) 조건으로 인해 어렵다. 우리는 SMETA-ZSL을 제안한다. 이 모델은 대조적 파인튜닝(contrastive finetuning)을 통해 중첩된 언어 설명으로부터 의미론적 프로토타입을 학습하고, 에피소딕 메타러닝(episodic meta-learning)과 지식 증류를 통해 행동 특징을 정렬하며, 확인된 클래스와 미확인 클래스 전반에 걸친 일반화를 위해 적응적 라우팅(adaptive routing)을 수행한다. 7개의 벤치마크에 걸쳐 SMETA-ZSL은 가장 엄격한 귀납적 설정 하에서 전반적으로 가장 강력한 일반화된 제로샷 분류 성능을 달성하며, 평균 10.8포인트, 최대 18.1포인트의 향상으로 기존 방법들을 능가한다. Github: https://github.com/Security-And-Intelligence-Lab-UTEP/SMETA-ZSL
모델 증류(distillation) -- 더 강력한 서드파티 모델의 출력으로 학습하는 것 -- 는 성능 향상에 널리 활용되지만, 불공정한 이점 및 정책 위반에 대한 우려를 야기한다. 이는 근본적인 질문을 제기한다: 한 모델이 다른 모델로부터 증류되었는지 탐지할 수 있는가? 우리는 학생 모델(student model)로부터 교사 모델(teacher model)을 단독으로 식별하는 것은 매우 어렵지만, 참조 기반 설정에서는 다룰 수 있음을 보인다: 동일한 계보의 모델과 이전 세대 체크포인트(checkpoint)가 주어지면, 이후 체크포인트의 학습(training)에 사용된 교사 모델을 식별할 수 있다. 우리는 참조 기반 멤버십 추론(membership inference)에 기반한 증류 탐지 방법을 소개한다. 참조 체크포인트 대비 학생 모델이 서로 다른 후보 교사들의 출력과 얼마나 선호적으로 정렬되는지를 비교함으로써, 우리의 방법은 가장 유력한 교사 모델을 식별하고 증류의 증거를 탐지한다. 숨겨진 프롬프트(prompt)와 같은 알려지지 않은 증류 파이프라인을 처리하기 위해, 모델(model) 출력으로부터 직접 프록시 프롬프트 템플릿을 추론(inference)한다. 추가로, o1/o3 모델에 특유한 독특한 글리프(glyph) 수준의 신호를 식별한다. 현대 모델 계보가 이미 심하게 얽혀 있어 증류 탐지를 평가하는 것은 어렵다. 이를 해결하기 위해, 통제된 증류 실험과 실제 모델 모두를 아우르는 하이브리드 평가를 개발한다. 두 설정 모두에서, 우리의 접근법은 기반 증류 파이프라인이 대체로 알려지지 않은 경우에도 단일 교사 증류 시나리오에서 거의 완벽한 정확도로 실제 교사 모델을 복원한다. 나아가 교사 귀속(teacher attribution)과 증류 탐지 모두에 대한 통계적 검정을 도입하고, 후보 중 교사 모델이 반드시 존재하지 않는 오픈 월드(open-world) 설정으로 프레임워크를 확장한다. 우리의 방법을 현대 모델에 적용한 결과, QwQ, DeepSeek-R1, GPT-OSS와 관련된 잠재적 증류 관계에 대한 새로운 증거를 제시한다.
학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.
지식 그래프(KG)는 대규모 코퍼스로부터 자동 구축되는 경우가 많지만, 노이즈가 많은 소스와 추출 실패로 인해 불가피하게 사실 오류를 포함하며, 산업 규모에서 이를 신뢰성 있게 검증하는 것은 여전히 중요한 과제로 남아 있다. 이를 해결하기 위해 우리는 AgentKGV, 즉 KG 사실 검증을 위한 에이전틱 LLM-RAG 프레임워크를 제안한다. 이 프레임워크는 동적 라우팅과 반복적 쿼리 재작성을 통합하여 문서 수준 검색에서 발생하는 표면 형태 불일치 문제를 처리한다. 산업 배포 환경에서 이 프레임워크의 정확도와 비용 효율성을 높이기 위해, 우리는 2단계 학습 전략을 추가로 도입한다: 안정적인 쿼리 재작성 및 추론을 위해 대형 교사 모델(teacher model)의 추론 능력을 소형 모델(model)로 전달하는 턴 수준 증류 기반 SFT, 그리고 대규모 환경에서 불필요한 검색을 줄이기 위해 검색 정책을 최적화하는 궤적 수준 GRPO이다. 오픈 도메인 T-REx 벤치마크의 롱테일 술어 분할에서, 우리의 프레임워크는 단일 턴 RAG 대비 매크로-F1을 5.5%p 향상시키며, 2단계 학습(training)을 적용하면 추가로 9.4%p 향상된다. 또한 GRPO는 정확도를 저수준화(lowering)하지 않으면서 평균 검색 호출 횟수를 3.24회에서 1.63회로 줄인다.
본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.
범용 머신러닝 원자간 포텐셜(uMLIP)은 양자역학적 정확도와 대규모 분자 동역학을 연결하지만, r²SCAN과 같은 고정밀 계산의 비용으로 인해 학습 데이터셋은 개방된 소재 공간에 비해 여전히 작은 규모에 머문다. 또한 높은 평균 벤치마크 성능이 모든 구조에 대한 신뢰할 수 있는 에너지-힘 예측을 보장하지는 않는다. 본 논문에서는 고충실도 데이터 구축을 불확실성 하의 구조별 의사결정 문제로 재정식화하는 적응형 멀티-티처 라우팅(ATR, Adaptive Multi-Teacher Routing)을 제안한다. 소규모의 실제 r²SCAN 레이블을 활용하여, ATR은 사전학습된 복수의 uMLIP 티처를 보정하고, 구조적 서술자(structural descriptor)·티처 정체성·티처 간 불일치도를 결합하여 각 구조-티처 쌍의 신뢰도를 추정한다. 이를 통해 신뢰도가 높은 예측을 의사 레이블(pseudo-label) 생성에 선택하고, 어떤 티처도 충분히 신뢰할 수 없는 구조는 거부한다. 후보 구조의 단 0.2%에 해당하는 실제 r²SCAN 레이블만으로, ATR은 사전학습용으로 추적 가능한 r²SCAN 수준의 의사 레이블 289만 개를 증류해낸다. 홀드아웃 r²SCAN 구조 및 MP-r²SCAN 벤치마크에서, ATR 생성 데이터셋으로 학습된 경량 CHGNet은 기준선 및 라우팅 미적용 대조군을 일관되게 능가한다. 유한 온도 분자 동역학 시뮬레이션에서도 ATR은 복수의 소재 시스템에 걸쳐 동역학적 견고성을 향상시켜, 기준선 시뮬레이션이 파국적인 구조 붕괴를 겪는 상황에서도 안정적인 궤적을 유지하는 것으로 나타났다. 이러한 결과는 능동적 거부가 사전학습된 복수의 uMLIP을 고충실도 uMLIP을 위한 확장 가능하고 신뢰할 수 있는 데이터 구축 시스템으로 전환하는 효과적인 메커니즘임을 확립한다.
우리는 3B개의 활성화 매개변수를 가진 35B-매개변수 전문가 혼합(MoE) 에이전트 모델인 Mach-Mind-4-Flash를 제시한다. 사전학습 컴퓨팅을 확장하지 않고 사후 학습 최적화만으로, 이 모델은 100B-매개변수 급 모델과 동등하거나 이를 능가하는 성능을 달성한다. 대규모 강화학습을 위한 확장 가능한 에이전트 상호작용 환경을 도입함으로써, 실세계 응용 작업에서 상당한 성능 향상을 달성한다. 우리의 파이프라인은 세 단계로 구성된다: (1) 동적 다중 교사 스케줄링과 연산자 수준 가속을 갖춘 통합 RL/OPD 학습 인프라로, 종단간 학습 속도를 17% 향상; (2) 추론(Reasoning), 일반(General), 에이전트(Agent) 트랙에 걸쳐 병렬로 학습된 여러 도메인별 RL 전문가를, 다중 교사 온-정책 증류(MOPD, Multi-Teacher On-Policy Distillation)를 통해 단일 범용 모델로 융합 -- 이는 혼합 보상 RL의 시소 성능 저하를 제거하는 라우팅된 역방향 KL 목적함수를 사용; (3) 추론 사슬을 ≤0.7 퍼센트포인트 정확도 손실로 19--46% 압축하는 단일 단계 토큰 효율 기법인 하이브리드 중간 길이 정책 최적화(HMPO, Hybrid Median-length Policy Optimization). Mach-Mind-4-Flash는 AIME'26에서 92.70, IFBench에서 82.82, Behavioral-SafetyBench에서 80.74, BFCL-v4에서 75.80, BrowseComp-zh에서 72.31, ClawBench에서 84.20을 기록하며, 활성화 크기의 10--30배에 달하는 모델과 동등하거나 이를 앞서면서도 추론 비용은 훨씬 적다.
대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.
대규모 언어 모델(LLM)에서 지식 증류(KD)의 성공에도 불구하고, 그 효과를 뒷받침하는 근본적인 메커니즘은 여전히 불분명하다. 본 논문에서 우리는 상호작용을 활용하여 다양한 KD 방법들의 공통 메커니즘을 탐구하는 통합적 접근법을 제안한다. 구체적으로, LLM의 출력 점수를 수많은 상호작용의 합으로 분해한다. 각 상호작용은 입력 변수들의 집합(예: 단어들)을 포함하는 비선형 관계를 나타낸다. 분해된 상호작용을 기반으로, 다양한 KD 방법들의 공통 메커니즘이 상호작용의 희소화(sparsification)임을 발견한다. 즉, 학생 모델은 추론 시 더 적은 수의 상호작용을 유지하면서 나머지 상호작용을 영향력이 없도록 억제한다. 나아가, 서로 다른 KD 방법들 간의 성능 차이는 복잡한 상호작용을 처리하는 능력에서 비롯됨을 발견한다. KD 방법은 일반적으로 학생 모델이 복잡한 상호작용에서 더 높은 희소성을 달성할 수 있도록 할 때 더 나은 성능을 발휘한다. 이러한 통찰에 착안하여, 증류 과정에서 복잡한 상호작용의 희소성을 명시적으로 강화하는 플러그 앤 플레이 손실 함수인 복잡 상호작용 페널티(CIP, Complex Interaction Penalty)를 제안한다. 광범위한 실험을 통해 CIP를 통합하면 도메인 내(in-domain) 및 분포 외(out-of-distribution) 벤치마크 모두에서 다양한 KD 방법의 성능이 일관되게 향상됨을 입증한다.
지난 수십 년간 기계학습 알고리즘 설계에서는 초기의 과제별 얕은 모델 연구에서부터 더 범용적인 심층 대규모 언어 모델(LLM)에 이르기까지 괄목할 만한 발전이 있었다. 즉각적인 예측이나 문맥 내 학습(ICL)이 필요한 과제에서 유망한 결과를 보이고 있음에도 불구하고, 기존 모델들은 지속적으로 학습하고 일시적인 문맥 내 지식을 장기 파라미터로 효과적으로 전이하는 능력이 부족하다. 인간의 학습 과정에서 영감을 받아, 우리는 모델이 지속적으로 학습하고, 단기적이고 취약한 기억을 리플레이(replay)를 통해 안정적인 장기 지식으로 증류하며, '드리밍(Dreaming)' 과정을 통해 재귀적으로 스스로를 개선할 수 있게 하는 '수면(Sleep)' 패러다임을 제안한다. 구체적으로, 수면은 두 단계로 구성된다: (1) 기억 통합(Memory Consolidation): 지식 시딩(Knowledge Seeding)이라 불리는 상향식 지식 증류(distillation) 과정으로, 더 작은 자아(smaller-self)의 기억을 더 큰 네트워크로 증류하여 지식을 보존하면서 더 많은 용량을 확보한다. 개념 증명으로, 우리는 지식 시딩을 위한 새로운 일반화 지식 증류 과정(온-정책(on-policy) 증류와 강화학습(RL) 기반 모방 학습의 결합)을 제시한다; (2) 드리밍(Dreaming): 모델이 강화학습을 활용하여 인간의 감독 없이 새로운 지식을 연습하고 기존 능력을 정제하기 위한 합성 데이터 커리큘럼을 생성하는 자기 개선 단계. 장기 수평선(long-horizon), 지속 학습(continual learning), 지식 통합(knowledge incorporation), 퓨샷(few-shot) 일반화 과제에서 수행한 실험들은 수면 단계의 중요성을 뒷받침한다.
의료 및 금융과 같이 규제를 받는 도메인에서 프라이버시를 보호하기 위해, 모델 소유자는 학습 데이터와 모델 파라미터를 비공개로 유지하면서 원격 API 접근만을 허용할 수 있습니다. 그러나 원격 호스팅 모델에서 추론을 수행하는 모델 사용자는 잠재적으로 민감한 입력을 전송해야 할 수 있어 프라이버시 우려가 발생합니다. 본 연구에서는 사용자의 개인 인-디스트리뷰션(in-distribution) 데이터를 활용하면서 프라이버시 누출을 제한하는 비적대적, 프라이버시 보존 모델 지식 증류 프레임워크인 LDPKiT를 제안합니다. LDPKiT는 근사 인-디스트리뷰션 샘플을 생성하는 새로운 중첩(superimposition) 기법을 도입하여, 로컬 차분 프라이버시(LDP) 하에서 효과적인 지식 전달을 가능하게 합니다. Fashion-MNIST, SVHN, PathMNIST에 대한 실험에서 LDPKiT는 프라이버시를 유지하면서 유용성을 일관되게 향상시키며, 더 강한 노이즈 수준에서 그 이점이 더욱 두드러집니다. 예를 들어, SVHN에서 LDPKiT는 $ε=1.25$일 때 $ε=2.0$일 때와 거의 동일한 추론 정확도를 달성하여, 2% 미만의 정확도 감소로 더 강한 프라이버시 보장을 제공합니다. 아울러 데이터셋 크기가 성능에 미치는 영향을 조사하는 민감도 분석을 수행하고, 잠재 공간 표현에 대한 체계적인 분석을 제공함으로써 LDPKiT의 정확도 향상에 대한 직관적이고 실증적인 통찰을 제시합니다.
추천 시스템에서 대형 교사 LLM의 사고의 연쇄(CoT) 트레이스는 불필요한 반복 검증이 많아 지식 증류에 부적합한데, SCOReD는 학생 LLM의 어텐션을 활용해 각 세그먼트의 중요도를 측정하고 KEEP/REWRITE/FUSE/PRUNE 편집을 동적으로 선택함으로써 이를 학생 모델의 출력 분포에 맞게 최적화한다. SCOReD로 최적화된 CoT로 학습하면 기준 SFT 대비 NDCG 1.56%, Recall@5 1.9% 향상과 함께 추론 길이를 27.3% 단축하는 효과를 달성했다.
파운데이션 모델은 전산 병리학을 재편하고 있지만, 그 역량은 사전학습 목표, 데이터 소스, 공간적 스케일에 따라 여전히 제한되며, 상호 보완적인 전문성이 별개의 백본에 분산되어 있다. 본 논문에서는 다단계 집합적 지식 증류(agglomerative distillation)를 통해 학습된 통합 파운데이션 모델 ALICE를 제안한다. ALICE는 8개의 비전 전용, 비전-언어, 슬라이드 수준 교사 모델을 단일 백본의 전용 모듈로 순차적으로 증류한다. ALICE는 24,985,184개의 타일 수준 병리 이미지와 155,604개의 고해상도 이미지로 사전학습되었으며, 관심 영역 조직 분석, 비전-언어 멀티모달 평가, 전체 슬라이드 임상 평가를 아우르는 21개 태스크 시나리오, 96개 다운스트림 태스크, 48개 데이터 소스에 걸쳐 평가되었다. 세 가지 평가 환경 모두에서 ALICE는 태스크 대응 병리학 파운데이션 모델 중 최고 평균 순위를 달성하였다. 이러한 결과는 집합적 지식 증류가 특화된 모델들의 상호 보완적 역량을 단일 백본으로 통합하여 광범위한 전산 병리학 응용에 활용할 수 있음을 입증한다. 모델은 https://github.com/WonderLandxD/ALICE에서 공개되어 있다.
고품질 시각적 표현(visual representation)은 컴퓨터 비전에서 오랜 과제다. 멀티모달 대규모 언어 모델(MLLM)의 맥락에서, 더 높은 해상도의 이미지를 입력하면 보다 세밀한 시각적 토큰을 생성할 수 있다. 그러나 이는 여러 차례의 순전파와 증가된 토큰의 후처리로 인해 추가적인 계산 및 설계 복잡성을 유발한다. 단순히 더 높은 해상도를 채택하기 전에, 표준 해상도에서 모델의 완전한 인식 능력을 진정으로 끌어냈는지 살펴볼 필요가 있다. 따라서 우리는 더 큰 이미지 없이 낮은 비용으로 세밀한 시각적 인식을 달성하는 방법이라는 흥미로운 문제를 연구한다. 본 논문에서는 SigLIP-HD를 제안한다. 핵심은 매우 단순한 세밀에서 거친 방향의 지도(supervision) 설계다. 중간 해상도 이미지의 거친 특징(feature)이 고해상도 버전의 세밀한 특징을 모방하도록 강제한다. 이 프레임워크는 고급 SigLIP 2 모델 위에 구축된다. 최종 모델은 정확히 동일한 추론 비용으로 더 우수한 시각적 토큰을 생성한다. 광범위한 MLLM 벤치마크에서 검증되었으며, 특히 OCR 관련 태스크에서 기준선 모델 대비 일관되게 더 강력한 결과를 제공한다.
비전-언어 모델(VLM)은 멀티미디어 데이터를 처리하기 위해 동종 Transformer를 활용하여 성공을 거두었다. 최근 연구들은 선형 어텐션과 같은 효율적인 메커니즘을 교차 배치한 이종 구조가 동종 설계 대비 성능과 추론 지연 시간 모두를 개선함을 보여준다. 그러나 이러한 연구들은 수작업으로 설계된 정적 혼합 패턴에 의존하며, 이는 최적이 아니고 특정 하드웨어에 적응하기 어렵다. 이 격차를 해소하기 위해 우리는 동종 모델을 최적화된 이종 아키텍처로 자동 변환하는 하드웨어 인식 탐색 방법인 적응형 층간 구성을 위한 다목적 탐색(MOSAIC)을 제안한다. MOSAIC은 선형, 희소(sparse), 저랭크(low-rank) 연산자를 포함한 다양한 효율성 메커니즘을 통합된 탐색 공간으로 구성한다. 선택 문제를 다목적 혼합 정수 계획법(MIP) 문제로 정식화함으로써, 본 방법은 엄격한 하드웨어 지연 시간 제약 하에서 다운스트림 성능을 극대화하는 최적 구성을 도출한다. 구조적 전환으로 인한 성능 저하를 완화하기 위해, 내부 표현을 안정화하는 전역 오프-정책 지식 증류와 지식 확장을 위한 235B 오라클 및 분포 안정성을 위한 원본 4B 교사 모델을 활용하는 듀얼-티처 온-정책 지식 증류로 구성된 2단계 매개변수 복원 과정을 도입한다. 우리는 Qwen3-VL-4B-Instruct에서 파생된 MOSAIC-4B를 통해 MOSAIC을 검증한다. 결과는 MOSAIC-4B가 원본 학습 비용의 2% 미만을 사용하면서 여러 벤치마크에서 기준선 성능에 필적함을 보여준다. 나아가 추론 효율성을 크게 향상시켜 프리필링(prefilling) 1.76배, 디코딩(decoding) 2.54배의 속도 향상을 달성한다.