원문 초록
Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.
요약
WARP는 공개된 파인튜닝 모델의 가중치만으로 학습에 사용된 도메인 혼합 비율을 역추적하는 프레임워크로, 베이스 모델과 파인튜닝 모델 간의 보간(model merging)으로 유사 체크포인트를 생성하여 가중치 공간의 기하학적 발자국을 추출한다. BERT와 GPT-2 실험에서 각각 평균 MAE 0.046, 0.104를 달성하며 멤버십 추론(membership inference) 기반 방법 및 실제 학습 궤적에 접근 가능한 변형보다 뛰어난 성능을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01686v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구
Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi
감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.
Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구
Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
플라톤적 태스크 산술
Platonic Task Arithmetic
동일한 태스크에 특화된 서로 다른 사전학습(pre-training) 모델들은 매우 유사한 행동으로 수렴하지만, 이를 생성하는 매개변수(parameter) 업데이트는 공통의 좌표계를 공유하지 않습니다. 따라서 가중치(weight) 공간에서의 태스크 산술(task arithmetic)은 단일 모델에 국한되며, 모델 간에 업데이트를 전이하려면 구조적 대응 관계가 필요합니다. 플라톤의 동굴의 비유에 착안하여, 본 논문에서는 이러한 모델별 업데이트가 공유된 하나의 모델 무관 객체인 '플라톤적 태스크 벡터(platonic task vector)'에 의해 드리워진 그림자라는 가설을 세웁니다. 서로 다른 아키텍처를 가진 모델 간에 이를 활용할 수 있도록, 아키텍처 및 임베딩(embedding) 차원과 무관한 형태를 가지며 태스크의 기능적 효과를 기록하고 일반적인 행렬 연산으로서 덧셈과 부정(negation)을 지원하는 행렬인 '범용 태스크 기술자(Universal Task Descriptors)'를 도입하고, 두 가지 방식으로 기술자를 타깃에 전이합니다. 단 한 번의 최소제곱법(least-squares) 풀이로 타깃의 마지막 층(layer)에 접어 넣을 수 있는 선형 연산자를 얻을 수 있으며, 소스 및 태스크당 하나씩 구성된 이러한 연산자 집합은 해당 성분들의 부호가 있는 합으로서 임의의 구성을 실현합니다. 대안적으로, 편집당 한 번의 최적화(optimization) 비용을 들여 타깃 인코더의 저순위 어댑터(low-rank adapter)를 동일한 목적함수로 학습시킵니다. 공유 구성요소와 놈(norm) 크기가 유사한 모델별 잔차가 존재함에도 불구하고, 다른 모델로부터의 전이는 타깃 자체의 기술자가 달성하는 성능 향상의 74~80%를 유지합니다. 6개 모델 패밀리, 8개 태스크 및 오디오-텍스트 모델에 걸친 실험을 통해 두 가지 구현 방식 모두를 검증합니다.
FUSEye: 중첩 뷰와 제로 초기화 어댑터를 활용한 경량 학습 어안 객체 탐지
FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters
어안 렌즈(fisheye) 카메라는 이동 로봇에게 단일 센서 기반의 저비용 주변 시야를 제공하지만, 실무에서 흔히 재사용되는 COCO 사전학습 탐지기는 이러한 카메라에서 제대로 작동하지 않는다. 강한 방사 왜곡(radial distortion)이 국소적 이미지 구조를 뒤틀리게 하고 경계부 압축으로 인해 객체가 거의 보이지 않는 크기로 줄어들기 때문이다. 전체 미세조정(fine-tuning)을 수행하면 이러한 격차를 크게 줄일 수 있지만 대량의 어안 라벨과 연산 자원이 필요하다. 본 논문에서는 백본(backbone)이 동결된 COCO 사전학습 초대형 YOLO26 탐지기(YOLO26-x)를 어안 탐지기로 전환하는 경량 학습 프레임워크인 FUSEye를 제안한다. FUSEye는 삽입된 모듈과 사전학습된 탐지 헤드를 업데이트하면서 약 22만 7천 개의 새로운 파라미터만을 추가한다. 또한 인과적으로 연결된 세 가지 수준에서 전이 격차를 해결한다. 입력 수준에서는 중첩 그리드 뷰 생성 및 박스 재매핑(GridViews)을 통해 압축된 경계 영역을 확대한다. 특징(feature) 수준에서는 제로 초기화 잔차 어댑터(Z-Adapters)가 왜곡으로 인해 유발된 특징 불일치를 교정한다. 결정 수준에서는 학습된 교차 투영 일치도 융합(AgreeFusion)을 통해 여러 뷰에 걸쳐 일관된 근거로 뒷받침되는 경우에만 낮은 신뢰도의 탐지 결과를 승격시킨다. WoodScape 서라운드 뷰 어안 벤치마크에서 FUSEye는 YOLO26-x의 mAP50을 0.148에서 0.266으로 끌어올렸으며 전체 미세조정 정확도의 84.3%를 유지했다. 나아가 라벨링된 학습 이미지의 25%만 무작위로 사용했을 때도 0.2597 mAP50을 달성하여 전체 라벨 사용 성능의 97.6%를 보존했다. 또한 FUSEye는 YOLOv8부터 YOLO11까지의 탐지기 성능을 일관되게 향상시켜 이 기법이 아키텍처에 구애받지 않음을 보였다. 소스 코드는 https://github.com/Su-wenya/FUSEye 에서 공개될 예정이다.
CortexBridge: 파운데이션 모델을 위한 뇌파 몽타주의 대뇌 피질 정렬
CortexBridge: Cortical Alignment of EEG Montages for Foundation Models
뇌파(EEG) 파운데이션 모델은 고정된 채널 어휘나 제한된 몽타주(montage) 집합으로 사전학습되는 경우가 많아, 전극 배치가 바뀔 때 전이(transfer)가 어렵습니다. 본 연구에서는 임의의 몽타주를 공유된 대뇌 피질 잠재 공간으로 매핑하기 위해 EEG 특징을 전극 및 아틀라스 좌표와 결합하는 경량 어댑터인 CortexBridge를 제안합니다. MOABB(Mother of All BCI Benchmarks)의 5개 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 동결된(frozen) 3개의 파운데이션 모델로 평가한 결과, CortexBridge는 15개 평가 중 13개에서 성능을 향상시켰습니다. 균형 정확도(balanced accuracy)의 평균 향상폭은 EEGPT에서 0.80%, LaBraM에서 0.70%, CBraMod에서 3.26%였으며, 12개 클래스 정상상태 시각유발전위(SSVEP) 분류에서는 최대 13.02% 향상되었습니다. 학습된 아틀라스 표현을 시각화한 결과 태스크 의존적인 공간 패턴이 드러났으며, SSVEP는 청각 P300에 비해 Yeo 시각 네트워크에서 더욱 집중된 표현을 보였습니다. 이러한 결과는 피질 정렬(cortical alignment)이 이종 EEG 몽타주에서 사전학습된 파운데이션 모델로 향하는, 학습 가능하며 해부학적 근거를 갖춘 라우팅 메커니즘임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.