MO-EMT-NAS: Multi-Objective Continuous Transfer of Architectural Knowledge Between Tasks from Different Datasets
원문 초록
Deploying models across diverse devices demands tradeoffs among multiple objectives due to different resource constraints. Arguably, due to the small model trap problem in multi-objective neural architecture search (MO-NAS) based on a supernet, existing approaches may fail to maintain large models. Moreover, multi-tasking neural architecture search (MT-NAS) excels in handling multiple tasks simultaneously, but most existing efforts focus on tasks from the same dataset, limiting their practicality in real-world scenarios where multiple tasks may come from distinct datasets. To tackle the above challenges, we propose a Multi-Objective Evolutionary Multi-Tasking framework for NAS (MO-EMT-NAS) to achieve architectural knowledge transfer across tasks from different datasets while finding Pareto optimal architectures for multi-objectives, model accuracy and computational efficiency. To alleviate the small model trap issue, we introduce an auxiliary objective that helps maintain multiple larger models of similar accuracy. Moreover, the computational efficiency is further enhanced by parallelizing the training and validation of the weight-sharing-based supernet. Experimental results on seven datasets with two, three, and four task combinations show that MO-EMT-NAS achieves a better minimum classification error while being able to offer flexible trade-offs between model performance and complexity, compared to the state-of-the-art single-objective MT-NAS algorithms. The runtime of MO-EMT-NAS is reduced by 59.7% to 77.7%, compared to the corresponding multi-objective single-task approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
Mizar: 오디오 이해를 위한 159M 매개변수 오디오-언어 모델
Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding
오디오-언어 모델(ALM)은 언어 모델에 인코딩된 지식과 음향 인지를 통합하여 청각 이벤트의 문맥적 이해를 가능하게 한다. 메모리와 연산이 제한된 기기에서 이러한 능력을 실용화하려는 목표가 200M 매개변수 미만의 소형 ALM에 대한 우리의 초점을 이끈다. 우리는 아키텍처, 데이터, 3단계 학습을 결합한 레시피를 제안하여 159.3M 매개변수 ALM인 Mizar를 구축한다. 그 아키텍처는 컴팩트한 CED-Small 오디오 인코더를 주파수 병합(frequency-merging) 매퍼를 통해 SmolLM2-135M에 연결한다. ReasonAQA, AudioMCQ, AVQA에서의 지도(supervision)를 바탕으로 모델은 3단계 학습을 거친다: 오디오-언어 정렬(1단계), 오디오 의존 미세조정(2단계), 학습된 능력을 유지하면서 약한 기술을 강화하는 것을 목표로 한 사후 학습(3단계). 5개의 무작위 시드에 걸쳐 Mizar는 MMAU에서 평균 정확도 52.92%, MMAR에서 42.42%, ADQA-clean에서 36.02%를 달성하여 세 벤치마크 모두에서 200M 매개변수 미만 ALM 중 이전 최고 성능을 능가한다. 또한 단일 CPU에서 로컬 추론을 지원한다. MMAU 벤치마크 질문에 대해 오디오 파일을 연 시점부터 완전한 답변을 생성할 때까지의 평균 지연 시간은 1.09초이다. 코드와 체크포인트는 https://github.com/KaiyangLi1992/Mizar_159M 에서 이용할 수 있다.
Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.
저매개변수 직교 행렬 군을 위한 리만 구조 및 최적화
Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices
본 논문에서는 고정된 순열과 교차 배치된 블록 대각 인자들로 구성된 행렬, 즉 유연한 구조화된 행렬군(structured matrices)을 다룹니다. 이 행렬군은 표현력과 효율성 간의 균형 잡힌 절충으로 인해 최근 심층 학습(deep learning) 아키텍처에서 관심을 끌고 있으나, 이를 다루기 위한 효율적인 계산 전략은 아직 밝혀지지 않은 상태입니다. 우리는 리만 기하학(Riemannian geometry)을 통해 이 문제에 접근하며, 어떤 조건 하에서 이 행렬군이 매끄러운 다양체(smooth manifold) 구조를 갖는지 조사합니다. 실용적으로 중요한 직교 2인자 행렬의 경우, 필수적인 리만 도구들을 도출하고 이를 구현하기 위한 효율적인 알고리즘을 제안합니다. 이 알고리즘들은 자동 미분을 활용하고, 각 인자 내 매개변수(parameter) 공유를 지원하며, 명시적인 밀집 행렬 구성을 피합니다. 우리는 최적 행렬 근사 문제와 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정(PEFT)에 대해 리만 최적화 프레임워크 내에서 이를 검증합니다. 2인자 설정을 넘어, 더 많은 수의 블록 대각 인자를 갖는 인수분해의 기하학적 및 행렬론적 특성도 함께 연구합니다.
ScoutNeRV: ScoutNet을 통한 그리드 기반 비디오 INR의 신속 인코딩
ScoutNeRV: Rapid Encoding of Grid-Based Video INRs via ScoutNet
암시적 신경 표현(INR)은 비디오 압축을 위한 유망한 패러다임으로 부상했으며, 유연한 공간·시간 복원을 제공하는 컴팩트한 신경 표현을 제공한다. HiNeRV와 같은 계층적 그리드 기반 아키텍처는 강력한 rate-distortion 성능을 달성하지만, 비디오마다 광범위한 최적화가 필요해 인코딩 비용이 높다. 이 한계를 해결하기 위해 계층적 비디오 INR의 최적화를 가속하는 콘텐츠 적응형 초기화 프레임워크인 ScoutNeRV를 제안한다. ScoutNeRV는 경량의 오프라인 학습 스카우트 네트워크가 소수의 샘플 프레임을 분석하고, 하드 라우팅(hard routing)으로 메모리 뱅크에서 적합한 사전학습 전문가(expert)를 선택한다. 선택된 전문가의 계층적 그리드 및 디코더 파라미터는 비디오별 미세조정 전에 대상 HiNeRV 모델을 초기화하기 위해 이전된다. 보지 못한 ReadySetGo 시퀀스에서 ScoutNeRV는 미세조정 전 초기 PSNR $34.95$~dB를 달성하며, 표준 초기화의 $13.70$~dB 대비 $21.25$~dB 향상에 해당한다. 단 37 에포크 후 ScoutNeRV는 $36.92$~dB에 도달하고, 평가된 rate-distortion 구성 전반에서 300-에포크 HiNeRV 기준선 대비 $0.42$--$0.80$~dB 이내를 유지한다. 또한 제안 초기화는 보고된 런타임 실험에서 wall-clock 기준 $9.25\times$ 속도 향상을 달성한다. 이러한 결과는 콘텐츠 인식 전문가 초기화가 계층적 비디오 INR의 최적화 비용을 크게 줄이면서도 경쟁력 있는 복원 및 압축 성능을 유지할 수 있음을 보여준다. 코드는 https://github.com/nasserdeveloper/ScoutNeRV 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.