arXiv:2301.08092

RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation

Utkarsh Nath, Yancheng Wang, Yingzhen Yang

제출 2023-01-19

원문 초록

Deep Neural Networks are vulnerable to adversarial attacks. Neural Architecture Search (NAS), one of the driving tools of deep neural networks, demonstrates superior performance in prediction accuracy in various machine learning applications. However, it is unclear how it performs against adversarial attacks. Given the presence of a robust teacher, it would be interesting to investigate if NAS would produce robust neural architecture by inheriting robustness from the teacher. In this paper, we propose Robust Neural Architecture Search by Cross-Layer Knowledge Distillation (RNAS-CL), a novel NAS algorithm that improves the robustness of NAS by learning from a robust teacher through cross-layer knowledge distillation. Unlike previous knowledge distillation methods that encourage close student/teacher output only in the last layer, RNAS-CL automatically searches for the best teacher layer to supervise each student layer. Experimental result evidences the effectiveness of RNAS-CL and shows that RNAS-CL produces small and robust neural architecture.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09029v1cs.CV공통 태그 Knowledge Distillation, Neural Architecture Search

MOSAIC: 효율적인 이종 비전-언어 모델을 위한 적응형 층간 구성 탐색

MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models

비전-언어 모델(VLM)은 멀티미디어 데이터를 처리하기 위해 동종 Transformer를 활용하여 성공을 거두었다. 최근 연구들은 선형 어텐션과 같은 효율적인 메커니즘을 교차 배치한 이종 구조가 동종 설계 대비 성능과 추론 지연 시간 모두를 개선함을 보여준다. 그러나 이러한 연구들은 수작업으로 설계된 정적 혼합 패턴에 의존하며, 이는 최적이 아니고 특정 하드웨어에 적응하기 어렵다. 이 격차를 해소하기 위해 우리는 동종 모델을 최적화된 이종 아키텍처로 자동 변환하는 하드웨어 인식 탐색 방법인 적응형 층간 구성을 위한 다목적 탐색(MOSAIC)을 제안한다. MOSAIC은 선형, 희소(sparse), 저랭크(low-rank) 연산자를 포함한 다양한 효율성 메커니즘을 통합된 탐색 공간으로 구성한다. 선택 문제를 다목적 혼합 정수 계획법(MIP) 문제로 정식화함으로써, 본 방법은 엄격한 하드웨어 지연 시간 제약 하에서 다운스트림 성능을 극대화하는 최적 구성을 도출한다. 구조적 전환으로 인한 성능 저하를 완화하기 위해, 내부 표현을 안정화하는 전역 오프-정책 지식 증류와 지식 확장을 위한 235B 오라클 및 분포 안정성을 위한 원본 4B 교사 모델을 활용하는 듀얼-티처 온-정책 지식 증류로 구성된 2단계 매개변수 복원 과정을 도입한다. 우리는 Qwen3-VL-4B-Instruct에서 파생된 MOSAIC-4B를 통해 MOSAIC을 검증한다. 결과는 MOSAIC-4B가 원본 학습 비용의 2% 미만을 사용하면서 여러 벤치마크에서 기준선 성능에 필적함을 보여준다. 나아가 추론 효율성을 크게 향상시켜 프리필링(prefilling) 1.76배, 디코딩(decoding) 2.54배의 속도 향상을 달성한다.

arXiv:2607.11012v2cs.CL공통 태그 Knowledge Distillation

EasyOPD: 대규모 언어 모델을 위한 사용하기 쉬운 온-정책 지식 증류 프레임워크

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

기존의 언어 모델 지식 증류는 고정된 교사 생성 데이터에 의존하는 경우가 많은데, 이는 진화하는 학생 정책이 마주치는 상태를 충분히 포괄하지 못할 수 있다. 온-정책 지식 증류(OPD)는 대신 학생이 생성한 롤아웃에 대해 교사 또는 평가자의 감독을 수집한다. 그러나 기존 OPD 방법들은 감독 형식, 토크나이저 호환성, 교사 접근 방식, 감독 세분성 면에서 크게 상이하여, 재현 및 확장이 어려운 파편화된 구현들로 이어졌다. 우리는 대규모 언어 모델을 위한 분산 강화학습 프레임워크인 verl 위에 구축된 온-정책 지식 증류 프레임워크 EasyOPD를 제시한다. EasyOPD는 사용자 측 설정, 방법별 감독 로직, verl 기반 실행을 분리한다. 방법 모듈은 손실 구성, 롤아웃 메타데이터, 보상 처리, 토크나이저 정렬, 교사 측 연산을 위한 확장 경계를 통해 공유 백엔드에 연결된다. 우리는 교차-토크나이저 OPD, 온-정책 자기 지식 증류, 단계별 OPD의 세 가지 OPD 설정에 대한 대표 방법을 구현한다. 추론, 코드 생성, 과학 지식, 도구 사용 벤치마크에서의 실험 결과, 이 구현들이 방법별 목표와 과제 의존적 성능 프로파일을 유지하면서 동일한 verl 기반 백엔드를 통해 실행될 수 있음을 보여준다. 우리는 실행 가능한 YAML 설정, 문서, 설치 가능한 시연 패키지 및 영상과 함께 EasyOPD를 공개한다.

arXiv:2607.08170v2cs.LG공통 태그 Knowledge Distillation

모델 크기 보간에서의 층 패칭 이해

Understanding Layer Patching in Model Size Interpolation

레이어 패칭(layer patching)은 대규모 언어 모델(LLM)의 모델 크기 보간을 위한 핵심 기법으로, 증류된 학생 모델의 레이어 일부를 대응하는 교사 모델의 레이어로 대체하여 추가 학습 없이 중간 크기의 모델을 구성한다. 기존 연구는 레이어를 패치하는 순서를 대체로 무시하였으나, 우리는 이 순서가 결과 모델의 성능과 신뢰성에 극적인 영향을 미칠 수 있음을 보인다. 본 연구에서는 모델 크기 보간에서 레이어 패칭의 역할을 연구한다. 우리는 각 모델 크기에 대한 최적의 레이어 부분집합을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 비순환 그래프에서의 최단 경로 문제로 볼 수 있음을 증명한다. 실험에서 패칭이 보간 거동을 크게 좌우하며 그 효과가 모델 계열에 따라 상당히 다름을 보인다. 또한 첫 번째 레이어에서 마지막 레이어로, 또는 마지막에서 첫 번째로 패치하는 단순한 순차 전략이 실제로 놀라울 만큼 강한 성능을 내는 경우가 많음을 발견한다. 나아가 KL 발산에 기반한 탐욕적 패칭 알고리즘인 KLPatch를 도입하는데, 이는 마지막에서 첫 번째로 패치하는 방식보다 성능이 향상되는 경우가 많으며 최적화 문제를 근사적으로 푼다. 종합하면 우리의 결과는 레이어 패칭이 모델 크기 보간에 어떻게 영향을 미치는지에 대한 원리적 이해를 제공하며, 거의 최적에 가까운 보간 모델을 구성하기 위한 실용적 지침을 제시한다. 코드와 모델은 https://github.com/dcml-lab/boomerang-distillation 에서 이용할 수 있다.

arXiv:2607.19358v3cs.AI공통 태그 Knowledge Distillation

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.