대규모 언어 모델(LLM)을 개별 사용자에 맞게 적응시키는 것은 세밀한 개인화와 확장 가능한 배포 사이의 긴장 때문에 여전히 어렵다. 우리는 점진적 정교화를 통해 효과적인 개인화를 달성하는 계층적 프레임워크인 CARD를 제안한다. CARD는 먼저 공유된 스타일 패턴에 따라 사용자를 클러스터링하고 그룹별 LoRA 어댑터를 학습하여, 견고한 일반화와 저자원 환경에서의 강한 성능을 가능하게 한다. 각 클러스터 내 개인 차이를 포착하기 위해, 사용자가 작성한 텍스트와 클러스터 수준 생성물을 대조하는 암시적 선호 학습 메커니즘을 제안하여, 모델이 수동 주석 없이 사용자별 스타일 선호를 추론할 수 있게 한다. 추론 시 CARD는 기본 모델을 고정한 채, 경량 사용자 선호 벡터와 저랭크 로짓 보정을 통해 디코딩 단계에서만 개인화를 주입한다. LaMP 및 LongLaMP 벤치마크 실험에서 CARD는 기준선 대비 우수한 생성 품질을 달성하면서, 실용적 개인화 텍스트 생성을 위한 효율성과 확장성을 크게 개선함을 보여준다.
모델 병합(Model merging)은 추가적인 학습(training) 과정 없이 여러 태스크 특화 모델(model)들을 하나로 통합하는 것을 목표로 한다. 그러나 기존의 부분공간(subspace) 기반 방법들은 태스크 업데이트를 대체로 균일하게 처리하여 내재된 스펙트럼 및 깊이별 이질성을 간과한다. 본 논문에서는 이러한 가정에서 벗어나는 두 가지 주요 편차를 확인하였다. 즉, 서로 다른 태스크는 서로 다른 부분공간 용량을 필요로 하고 스펙트럼 변환에 대해 서로 다른 허용도를 보이는 반면, 부분공간 투영은 깊이에 따른 왜곡을 유발한다는 점이다. 이러한 관찰을 바탕으로, 데이터가 필요 없는(data-free) 모델 병합을 위한 스펙트럼 인식 및 깊이 적응형 프레임워크인 SADA-Merging을 제안한다. SADA-Merging은 스펙트럼 복잡성에 따라 태스크별 부분공간 용량을 할당하고, 태스크별 가소성에 따라 스펙트럼 보존을 적응시키며, 투영으로 인한 왜곡을 보상하기 위해 깊이 의존적 앵커링을 적용한다. 이를 통해 융합 과정이 각 태스크의 고유한 기하학적 구조와 네트워크 깊이에 따른 민감도 모두에 적응할 수 있도록 한다. SADA-Merging은 태스크 업데이트에 직접 작용하며, 전체 미세조정(full fine-tuning) 및 LoRA 설정 모두에 적용 가능하다. 광범위한 실험을 통해 다양한 태스크 규모 및 적응 설정 전반에 걸쳐 기존 데이터 프리 병합 방법 대비 일관된 성능 향상을 입증한다.
아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.
비전-언어(vision-language) 모델의 시각 경로와 언어 경로 간 그래디언트 크기 불균형은 흔히 교정해야 할 결함으로 취급된다. 우리는 이러한 전제를 하나의 교정 계열에 대해 검증하며, 이 연구 범위 밖의 기전적으로 별개인 부류인 적응형·신호 기반 기법(예: BalGrad, OGM, PMR, CGGM)은 의도적으로 제외한다. 서로 다른 물리적 도메인 변화—수중, 항공, 방사선—를 아우르는 아홉 가지 미세조정 조건, 세 개의 시드, 세 개의 캡셔닝 데이터셋에 걸쳐 매개변수 정규화 형태로 보고되는 언어 대 시각 그래디언트 노름 비율을 측정한 결과, 불균형의 크기는 도메인 간에 뚜렷하게 달라지며 예측 가능한 순서를 보이지 않음을 발견했다. 단순한 학습률 감소만으로도 불균형이 크게 줄어들며, 모든 데이터셋에서 최상의 방법과 BLEU 몇 점 이내의 차이를 보인다. 단계적 동결(staged freezing)은 모든 도메인에서 비율을 낮추지만 결코 1위를 차지하지 못하며, 스케줄만 적용한 대조군은 한 데이터셋에서는 동결이 원인임을 밝혀내지만 나머지 두 데이터셋에서는 그렇지 않다. 두 그래디언트 그룹의 크기를 강제로 동일하게 맞추면 모든 도메인에서 매개변수당 불균형이 거의 0에 가까워지지만, 동일한 설정임에도 서로 다른 데이터셋에서 이는 이 연구의 최상의 결과이자 동시에 전체 미세조정 방법들 중 최하위라는 상반된 결과를 보인다. 그래디언트 노름 비율의 감소는 도메인 전반에 걸쳐 캡셔닝 성능을 일관되게 예측하지 못하며, 주어진 수준의 균형에 어떻게 도달했는지가 그 수준 자체만큼이나 중요하다. 부차적인 발견으로, BLIP에 흔히 재사용되는 LoRA 구성이 시각 매개변수를 전혀 적응시키지 않는다는 것을 발견했으며, 이를 수정하면 세 데이터셋 모두에서 BLEU-4가 향상된다.
독립적으로 학습된 여러 LoRA 어댑터를 하나의 대규모 언어 모델(LLM)에 통합할 때 소프트 라우팅이 각 어댑터의 단위 스케일 전제를 깨뜨리는 문제를 해결하기 위해, Hard-Routed MoR-LoRA는 검증 가능한 피드백 기반 강화학습(RLVF)으로 추론 전문가를 학습한 뒤 전문가를 동결하고 하드 top-1 라우팅과 straight-through estimator로 경량 라우터만 학습하는 2단계 프레임워크를 제안한다. 5개 벤치마크 실험에서 소프트 라우팅 기반 전문가 혼합(MoE) 대비 훨씬 적은 학습 파라미터로 전문가 행동을 보존하면서도 동등하거나 더 높은 성능을 달성했다.
Foundation models have revolutionized AI, but adapting them efficiently for multimodal tasks, particularly in dual-stream architectures composed of unimodal encoders, such as DINO and BERT, remains a significant challenge. ParameterEfficient Fine-Tuning (PEFT) methods like LowRank Adaptation (LoRA) enable lightweight adaptation, yet they operate in isolation within each modality, limiting their ability in capturing cross-modal interactions. In this paper, we take a step in bridging this gap with Cross-Modal LowRank Adaptation (CoLA), a novel PEFT framework that extends LoRA by introducing a dedicated inter-modal adaptation pathway alongside the standard intra-modal one. This dual-path design enables CoLA to adapt unimodal foundation models to multimodal tasks effectively, without interference between modality-specific and crossmodal learning. We evaluate CoLA across a range of vision-language (RefCOCO, RefCOCO+, RefCOCOg) and audio-visual (AVE, AVS) benchmarks, where it consistently outperforms LORA, achieving a relative gain of around 3% and 2%, respectively, while maintaining parameter efficiency. Notably, CoLA enables the first multitask PEFT framework for visual grounding, bridging a key gap in efficient multimodal adaptation. Code is available at https://github.com/peterwisu/CoLA
단백질 언어 모델은 전이 가능한 서열 표현을 학습한다. 그러나 이들은 주로 아미노산 서열을 따른 문맥적 의존성을 모델링하기 때문에, 학습 목표가 접힘(folding) 이후 형성되는 3차원 잔기(residue) 접촉을 명시적으로 학습하도록 모델을 제약하지 않는다. 본 연구에서는 LC-SEPLM(Long-range Contact-supervised ESM Protein Language Model)을 제안한다. 이는 LoRA와 장거리 잔기 쌍 접촉 지도를 통해 ESM2를 적응시키면서 서열 전용 하류 추론을 유지한다. 쌍 특이적(pair-specific) 쿼리는 전체 서열에 대한 크로스 어텐션(cross-attention)을 사용하여 장거리 공간 접촉과 연관된 전역 서열 문맥을 추출한다. 다양한 구조 정보에 모델을 노출하기 위해, 우리는 500,000개의 AlphaFold Swiss-Prot 단백질로 LC-SEPLM을 학습했다. 하류 평가에서 LC-SEPLM은 ESM2 대비 8개의 단백질 수준 과제 모두에서 성능을 개선했다. 가장 큰 향상은 원격 상동성(remote-homology) 인식에서 나타났으며, macro-F1은 0.6122에서 0.6769(+0.0647, 즉 6.47 percentage points)로 증가했다. 공식 ESM-S EC 벤치마크에서도 LC-SEPLM은 ESM-S를 능가했으며, 최대 절대 향상은 0.1771이었다. 이러한 결과는 서열 전용 추론을 유지하면서 단백질 서열 표현에 구조 정보를 도입하는 제한적 경로로서 잔기 쌍 접촉 지도를 뒷받침한다.
사전학습된 대규모 언어 모델(LLM)에 대한 지속적 지식 업데이트는 점점 더 필수적이지만 여전히 어려운 과제로 남아 있다. 문맥 내 학습(ICL), 검색-증강 생성(RAG)과 같은 추론 시점 방법이 널리 쓰이지만, 컨텍스트 예산, 비용, 검색 분절의 제약을 받는다. 이러한 문맥 의존적 패러다임에서 벗어나, 본 연구는 Low-Rank Adaptation(LoRA)를 모듈형 지식 메모리로 활용하는 매개변수적 접근을 조사한다. 최근 일부 연구가 이 개념을 다루고 있지만, 용량과 결합 가능성을 좌우하는 근본적 메커니즘은 대체로 탐구되지 않았다. 본 연구는 LoRA 기반 메모리의 설계 공간을 밝히는 최초의 체계적 실증 연구를 통해 이 공백을 메운다. 저장 용량 특성화, 내재화 최적화, 다중 모듈 시스템 확장, 장문맥 추론 평가를 포괄한다. 단일 아키텍처를 제안하는 대신, LoRA 메모리의 운영 경계에 대한 실용적 가이드를 제공한다. 전체적으로, 본 연구 결과는 LoRA를 RAG 및 ICL과 나란히 놓인 메모리의 보완적 축으로 자리매김하며 고유한 이점을 제공한다고 보여 준다.
2천 년 전 키케로와 퀀틸리아누스가 분류한 수사학적 기법이 대규모 언어 모델(LLM)의 텍스트에서 체계적으로 다시 나타난다: 에파노르토시스(epanorthosis), 즉 «This is not a course. It is a journey of transformation»와 같은 자기 수정이다. 본 에세이는 이러한 과다 사용이 학습된 성향이며, 주로 홍보적 산문이 풍부한 학습 분포와 확신에 찬 강조적 표현을 보상하는 선호 튜닝(RLHF)에 의해 주도된다고 주장한다. 생성의 좌→우 특성은 근본 원인이라기보다 증폭 요인이다. 모델이 인간의 수사학적 스타일과 벗어난다는 증거와, Fontanier의 에파노르토시스를 사고의 figure(figure of thought)로 분류한 것을 바탕으로, 장르별 인간 기준선 대비 이 기법을 Epanorthosis Index(인간 비율 대비 밀도)로 점수화하는 프로그램을 제시한다. 하나의 인스트럭션 튜닝 모델 패밀리의 세 가지 크기에 대한 첫 측정은, 문체(register) 양방향에서의 오보정(miscalibration)을 보여준다: 모델은 연설체(oratory)에서 과다(약 2배, 이탈리아어에서는 거의 3배, 더 큰 tier에 집중)하고, 비공식 Q&A 글쓰기에서는 과소하며, 논증, 저널리즘, 백과사전적 산문에서는 인간과 일치한다. 세 가지 건설적 기여가 이어진다: 경량 LoRA 어댑터를 중심으로 한 완화 기법 개관; 이탈리아어에서 한 줄 instruction이 이 기법을 절반에서 거의 3/4까지 줄이고, 지도 미세조정(supervised fine-tuning) 어댑터가 거의 완전히 제거하며, scaling coefficient가 감소를 다시 인간 비율로 맞춘다는 시연; 그리고 목표는 제거가 아니라 각 장르별 인간 비율에 대한 calibration이라는 주장. 마지막으로 그 함의를 짚는다: 진짜 위험은 우리가 기계처럼 쓰기 시작하는 것이다.
수백 개 언어를 포괄하는 대규모 다국어 자동 음성 인식(ASR) 모델은 다양한 언어적·음향적 조건에서 견고한 성능을 유지해야 한다. 그러나 이러한 모델은 종종 다국어성의 저주(curse of multilinguality)에 직면하며, 이는 모델 용량이 여러 언어에 걸쳐 희석되는 현상이다. 이 문제를 해결하기 위해, 우리는 음성 자기지도 학습 모델(S3M)을 기반으로 한 언어 그룹 전문가 혼합(MoLGE)을 제안한다. MoLGE는 유사한 언어들의 클러스터에 전용 전문가 모듈을 할당하여, 기존의 언어별 전문가 혼합(MoE) 방식에 비해 필요한 하위 모듈 수를 줄인다. 또한 S3M 아키텍처의 분리된 음향·언어 구성요소에 계층적 저랭크 적응(LoRA) 전략을 통합하여, 매개변수 효율성을 유지하면서 언어별 특성을 효율적으로 모델링할 수 있게 한다. 또한 언어학적·데이터 기반 기준 모두에 따른 언어 그룹화 전략이 전체 성능에 미치는 영향을 조사하여, 다국어 음성 시스템에서 언어 구조가 확장성(scalability)에 어떻게 영향을 미치는지에 대한 해석 가능한 관점을 제공한다. 실험에서 우리는 495개 언어를 포괄하는 다국어 벤치마크에서 MoLGE를 평가한다. 결과는 MoLGE가 학습 가능한 매개변수의 최소한의 증가만으로 밀집(dense) 다국어 기준선을 지속적으로 능가함을 보여준다. 특히 이러한 언어 그룹화 전략은 ASR 모델링의 음성학적(phonetic) 측면과 정서법적(orthographic) 측면 모두에서 상당한 개선을 가져온다. 우리의 발견은 구조화된 언어 특화(language specialization)가 다국어 ASR의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공함을 시사한다.
성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.
본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.
효율적인 수술 분할은 임상 진단, 수술 중 모니터링, 재구성 및 시뮬레이션을 위한 후속 로봇 파이프라인을 가능하게 한다. Segment Anything Model 3(SAM3)과 같은 프롬프트 기반 기반 모델(foundation model)은 자연 이미지에서 강력한 분할 성능을 달성하지만, 수술 데이터는 사전학습 데이터와 도메인 격차를 보여 분할 정확도가 저하된다. 또한 기존 의료 SAM 방법은 전체 매개변수 미세조정을 요구하여 높은 계산 소비와 낮은 효율성을 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 수술 개념 분할을 위해 SAM3의 매개변수 효율적 Low-Rank Adaptation(LoRA) 적응을 제안한다. 우리는 비전 백본을 완전히 동결한 채 프롬프트 인코더, 검출기, 트래커에 저랭크 어댑터를 주입하며, 이는 전체 모델 매개변수의 0.98%만 최적화하고 단일 소비자용 GPU에서 학습을 지원한다. 종합적인 실험을 통해 우리 방법이 제로샷 SAM3 및 기타 주류 기준선(baseline)을 지속적으로 능가함을 보여주며, 생성된 분할 결과는 후속 로봇 수술 장면 재구성 및 물리 시뮬레이션 파이프라인을 지원하기 위해 직접 배포할 수 있다.
기존 원격 탐사 영상 생성 방법은 대부분 단일 모달리티 합성에 국한되어 있어, 다중 모달 영상에 내재된 상보적 정보를 활용하지 못한다. 이 한계를 해결하기 위해, 우리는 다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리(contrastive parameter disentanglement) 프레임워크를 제안한다. 이 프레임워크는 단일 텍스트 프롬프트로부터 광학(optical), 적외선(infrared), 합성개구레이더(SAR, synthetic aperture radar) 등 여러 모달리티에 걸쳐 의미적으로 일관되고 구조적으로 정렬된 영상을 생성한다. 구체적으로, 우리는 직교 코어 부공간(orthogonal core subspace) 내에서 매개변수 수준에서 공유 의미와 모달리티별 속성을 분리하는 대조적 매개변수 분리 모듈을 도입한다. 이 모듈을 기반으로, 우리는 먼저 LoRA 어댑터의 매개변수 행렬 A가 다중 모달 대조 목적 함수를 통해 모달리티 불변 의미를 포착하도록 제약하고, 이어서 텍스트 조건화(text conditioning) 하에 여러 매개변수 행렬 B가 모달리티별 속성을 학습하도록 유도하는 분리 최적화 전략을 개발한다. 이 전략은 일관된 의미 내용과 뚜렷한 모달리티 특성을 갖는 다중 모달 영상의 동시 생성을 가능하게 한다. 또한 생성된 영상 간 구조적 정렬을 보장하기 위해, 우리는 추론 시 앵커(anchor) 모달리티로부터 나머지 모달리티로 구조적 상관 사전(structural correlation priors)을 전달함으로써 다중 모달 샘플링 궤적을 공동으로 모델링하는 쿼리-키(query-key) 구조 전달 메커니즘을 설계한다. 광범위한 실험을 통해 우리 방법이 생성 품질, 의미적 일관성, 구조적 정렬 측면에서 최신(state-of-the-art) 원격 탐사 영상 생성 접근법을 능가하며, 하류 객체 분류 작업에서도 우수한 성능을 달성함을 보인다.
대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 달성하지만, 매개변수로 인한 메모리 및 연산 비용이 배포를 제약한다. 구조적 가지치기(structured pruning)는 어텐션 헤드와 다층 퍼셉트론(MLP) 뉴런과 같은 전체 구조를 제거하여 표준 하드웨어에서 효율적으로 실행되는 더 작은 dense 모델을 생성함으로써 이를 해결한다. 그러나 기존 방법은 메모리 사용량이 과도한 그래디언트 기반 중요도 추정, 또는 제거가 손실에 미치는 영향을 직접 측정하지 못하는 활성화 기반 통계적 대리 지표 중 하나에 의존한다. 또한 중요도 기준과 가지치기 후 복구 전략 간의 상호작용은 체계적으로 연구되지 않았다. 우리는 활성화 노름으로 스케일링한 가중치 크기와 1차 그래디언트 민감도를 기하평균을 통해 결합하여 구조적 신호와 손실 민감도 신호를 모두 포착하는 채널 수준 점수를 생성하는 중요도 지표인 TriSP(Tri-Signal Structured Pruning)를 제안한다. 적응적 층별 예산 할당과 저랭크 적응(LoRA) 복구와 결합하면, TriSP는 모든 테스트 구성에서 최저 perplexity와 최고 제로샷 정확도를 달성하며, LLaMA-7B에서 20% 가지치기 시 WikiText-2 perplexity 6.80에 도달한다. 50% 가지치기에서 추론 처리량이 82% 향상되며, 여전히 경쟁력 있는 성능을 유지한다.
고차원 공변량을 갖는 다중 시계열 예측은 공통의 시간적 패턴을 통합하면서도 의미 있는 시계열별 정보를 유지해야 한다는 핵심 과제를 제기한다. 우리는 이 과제를 다루는 2단계 프레임워크인 Hopformer(Homogeneity-Pursuit Transformer, 동질성 추구 트랜스포머)를 제안한다. 첫 번째 단계에서, 공변량을 반영한 공통의 저분산 추세를 추출하는 희소성 패턴 집계(Sparsity Pattern Aggregation, SPA) 기법을 수행한다. 이는 동질화 층으로 작용한다. 두 번째 단계에서는 LoRA로 파인튜닝된 트랜스포머가 잔차에 남은 복잡한 의존성을 모델링한다. 본 방법은 이론적으로 근거를 둔다. 우리는 SPA가 오라클 부등식을 통해 근최적의 바이어스-분산 트레이드오프를 달성함을 증명한다. 또한 종속 시계열 데이터 하에서 두 번째 단계에 대한 일반화 경계를 제시한다. Hopformer는 합성 및 실세계 예측 벤치마크 전반에서 MASE를 평균 6.56% 개선하며 새로운 최신 성능을 달성한다.
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
전문가 혼합(MoE) 아키텍처는 대규모 언어 모델(LLM)에서 널리 채택되었지만, MoE 모델에 대한 매개변수 효율적 미세조정(PEFT)은 아직 충분히 탐구되지 않았다. 기존 MoE용 PEFT 방법은 균일한 어댑터로 라우터 prior를 무시하여 효율성을 떨어뜨리고 망각 위험을 키우거나, 정적 전문가 선택에 의존하여 토큰별 용량과 전문가 간 특징 학습을 제한한다. 본 논문에서는 MoE 스타일 저랭크 적응(low-rank adaptation)으로 MoE 모델을 미세조정하는 최초의 시도를 제시한다. 우리의 방법인 MoE²-LoRA는 이중 채널 라우팅 조건 투영(RCP) 모듈을 통해 사전학습된 전문가 특화와 과제별 적응성을 깊이 결합하며, 이 모듈은 기본 라우터 활성화를 재사용하여 LoRA 라우팅을 안내한다. 또한 모든 층에 걸쳐 공유되는 단일 전역 LoRA 전문가 풀을 도입하여, 창발적 층별 친화도와 균형 잡힌 전문가 활용과 함께 모델 전반에 걸친 적응을 가능하게 한다. MoE²-LoRA는 prior 재사용, 동적 어댑터 라우팅, 모델 전반 지식 공유의 장점을 동시에 누린다. 다양한 규모와 전문가 세분화를 갖춘 여러 MoE 백본에서 평가한 결과, MoE²-LoRA는 더 강한 일반 역량을 유지하면서 하류(downstream) 정확도에서 일관되게 최첨단(state-of-the-art) 성능을 달성한다.
우리는 LoRA를 통해 문서를 4-bit Gemma-4-e4b 모델의 가중치에 직접 내재화하는 방법을 연구한다. 이를 통해 시스템은 검색 없이, 컨텍스트 윈도우 예산 없이 코퍼스에 관한 질문에 클로즈드북으로 답할 수 있다. 단일 문서부터 99개 문서 코퍼스까지 약 100회의 학습 실행에서, 어댑터 용량이 충분하면 학습 데이터 품질이 클로즈드북 정확도에 대한 지배적 요인임을 확인했으며, LoRA 랭크·학습률·두 가지 대안 아키텍처를 합친 영향보다도 컸다. 용량 자체는 그 이하에서는 어떠한 데이터 개입도 도움이 되지 않는 하드 게이트이다. 단일 큐레이션 패스(골드 정답을 표준적인 1–6단어 구간으로 짧게 줄이고 사소한 사실을 제거)만으로 15개 문서 코퍼스에서 클로즈드북 정확도가 57.7%에서 85.7%로 올랐으며, 이는 어떤 아키텍처 변경보다도 큰 향상이다. 우리는 코퍼스 크기에 따라 랭크가 커져야 한다는 용량 경향을 확인했으며, 이는 처음에 잘못 진단했던 랭크와 학습률 간의 결합과 얽혀 있다. 15개 문서 슬라이스에 실제 검색 기준선을 추가한 결과, 내재화된 어댑터(재현율 84.2%)는 기본 리더를 사용한 BM25 검색-증강 생성(RAG) 파이프라인(58.9%)은 물론 현실적인 골드 청크 오라클(65.6%)보다도 낮은 지연 시간으로 더 우수했다. 세 가지 오진을 포함한 전체 과정을 대규모 언어 모델(LLM) 학습을 경험적으로 디버깅한 사례 연구로 보고한다.
저랭크 적응(LoRA)은 신경망의 효율적인 미세조정을 위한 널리 채택된 기법으로, 모델 업데이트를 저랭크 행렬로 분해한다. 그러나 LoRA는 적응에 대한 실제 기여와 관계없이 모든 행렬을 균일하게 업데이트하기 때문에 여전히 계산 비용이 크다. 이 비용은 수십억 개의 매개변수를 가진 대규모 모델과 엣지 배포 및 온디바이스 미세조정과 같은 자원 제약 환경에서 특히 부담이 된다. 우리는 처음으로 모든 LoRA 행렬이 동등하게 튜닝할 가치가 있는 것은 아니라는 것을 보여준다. 조건수(최대 특이값과 최소 특이값의 비율)가 작은 행렬은 이미 방향 전반에 걸쳐 잘 균형 잡혀 있어 적응에 미미하게만 기여하는 반면, 조건수가 큰 행렬은 더 풍부한 부분공간을 포괄하는 미발달 방향을 포함하며 대부분의 성능 향상을 이끈다. 이 관찰 자체가 우리 연구의 핵심 기여이며, 보다 선택적인 미세조정 접근법을 동기화한다. 이 통찰을 바탕으로, 우리는 변화의 가장 정보가 풍부한 방향을 포착하는 조건수가 가장 큰 행렬에 업데이트를 집중하여 LoRA를 최적화하는 방법인 κ-LoRA를 제안한다. 조건수 순위 기준 상위 50%의 가중치 행렬로 LoRA 업데이트를 제한함으로써, κ-LoRA는 학습 가능한 매개변수 수를 절반으로 줄이고 이에 따라 연산 및 메모리 비용을 절감한다. 여러 벤치마크에 걸친 광범위한 실험에서 이 설계는 표준 LoRA와 동등한 정확도를 유지하면서 평균 16.2% 미세조정 시간을 단축하고 메모리 비용을 4.5% 절감함을 보여준다. 추가 분석에 따르면, 선택된 행렬의 조건수는 학습 과정에서 지속적으로 감소하며, 이는 κ-LoRA의 효과가 단순한 매개변수 선택이 아니라 표적화된 스펙트럼 재균형에서 비롯됨을 시사한다.