PyTorchKR Papers

최신 논문

총 155편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21975v1cs.LG

확률적 저차원 적응의 수렴

On the Convergence of Stochastic Low-Rank Adaptation

저차원 적응(LoRA)은 동결된 사전학습 가중치 행렬 $W_\mathrm{base} \in \mathbb{R}^{m \times n}$에 대한 저차원 업데이트를 구성하는 두 어댑터 $B \in \mathbb{R}^{m \times r}$와 $A \in \mathbb{R}^{r \times n}$에 대해 $J(B,A)=\mathcal L(W_\mathrm{base}+sBA)$를 최적화한다. 기존 분석에 따르면, LoRA-GD는 결정론적 설정에서 $\|\nabla J(B,A)\|\leq ε$인 $ε$-정상점(stationary point)을 찾기 위해 $\exp\{\mathcal{O}(ε^{-2})\}$번의 오라클 호출이 필요하다. 본 연구는 분석을 정교화하여 동일한 1차 기준에 대해 $\mathcal{O}(ε^{-4})$번의 전체 그래디언트 평가로 충분함을 보인다. 또한 편향되지 않은 그래디언트 추정과 유한 분산 하에서 확률적 LoRA를 추가로 연구한다. LoRA-NSGDM을 제안하며, 이는 $\mathcal{O}(ε^{-8})$의 확률적 오라클 복잡도로 $ε$-정상점을 찾는다. 추가적인 평균제곱(mean-square) 매끄러움(smoothness) 조건 하에서 분산 감소(variance reduction) 전략을 사용하여 LoRA-STORM을 제안하고, 이는 확률적 오라클 복잡도를 $\mathcal{O}(ε^{-6})$으로 개선한다.

arXiv:2604.22407v2cs.LG

지속 학습에서 Adam 하의 그래디언트 수정 숨겨진 실패 모드와 적응형 분리 모멘트 라우팅을 통한 보완

Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair

많은 지속 학습(continual learning) 방법은 투영(projection), 페널티 재조정(penalty rescaling), 리플레이 혼합(replay mixing) 등과 같이 상류에서 그래디언트를 수정하면서 Adam을 중립적인 백엔드로 취급한다. 우리는 이 조합에 숨겨진 실패 모드가 있음을 보인다. 고중첩(high-overlap), 비적응형 8-도메인 지속 LM에서, 공유 라우팅 투영 기준선은 모두 바닐라 망각에 근접하게 붕괴한다(12.5–12.8 대 13.2). 0.5% 리플레이 버퍼가 가장 강한 공유 대안이지만 여전히 11.6에 도달하며, 고정 강도 분리는 14.1로 바닐라보다 낮게 떨어진다. 적응형 분리 라우팅만이 9.4에서 안정적으로 유지되며, 바닐라 대비 3.8 단위 개선을 달성한다. 16-도메인 스트림에서는 가장 강한 공유 라우팅 투영 기준선 대비 이득이 4.5–4.8 단위로 커진다. 이 실패는 깨끗한 벤치마크에서는 대부분 드러나지 않는다. 우리는 Adam의 2차 모멘트 경로를 통해 이 효과를 설명한다. 시험된 체제에서 투영은 이전 방향의 유효 학습률에 1/(1-alpha) 팽창을 유발하며, 8개 alpha 값에 걸쳐 측정값과 8% 이내로 일치한다. 동일한 충돌은 페널티 방법, 리플레이 혼합, LoRA 하 7B 규모에서도 나타난다. 우리의 수정은 수정된 그래디언트를 1차 모멘트에만 라우팅하면서 크기에 충실한 2차 모멘트 통계를 보존하고, 중첩 인식 적응형 강도를 적용한다. 이 단순한 변경은 방법, 옵티마이저, 규모 전반에 걸쳐 일관되게 붕괴를 피하는 유일한 시험된 구성이다.

arXiv:2602.05988v2cs.LG

층별 LoRA 미세조정: 유사도 지표 접근법

Layer-wise LoRA fine-tuning: a similarity metric approach

웹 규모(web-scale) 데이터셋에서 대규모 언어 모델(LLM)을 사전학습하는 것은 범용 AI 발전의 기반이 되고 있다. 반면, 하위 태스크(downstream tasks)에서의 예측 성능을 향상시키는 것은 일반적으로 미세조정을 통해 지식을 적응시키는 과정을 포함한다. 매개변수 효율적 미세조정(parameter-efficient fine-tuning) 기법, 예를 들어 Low-Rank Adaptation(LoRA)은, 사전학습된 모델을 동결하고 더 적은 수의 매개변수만 갱신함으로써 이 과정의 계산 비용을 줄이는 것을 목표로 한다. 전체 미세조정과 비교하면, 구성에 따라 이러한 방법은 학습 가능한 매개변수 수를 99% 이상 줄인다. 불행히도 LLM의 규모가 계속 커지면서 이러한 감소만으로는 부족할 수 있다. 본 연구에서는 LoRA 또는 그 변형을 사용하여 미세조정할 소수의 층만 체계적으로 선택함으로써 앞서 언급한 문제를 해결한다. 모든 층이 모델 적응에 동등하게 기여하는 것은 아니라고 주장하며, 이를 활용하여 내부 표현(internal representations) 변화에 대한 기여도를 측정함으로써 미세조정에 가장 관련 있는 층을 식별한다. 제안 방법은 기존 저랭크 적응(low-rank adaptation) 기법과 직교(orthogonal)하며 쉽게 호환된다. 다양한 모델과 태스크에서 예측 성능을 유지하면서 LoRA 기반 기법의 학습 가능한 매개변수를 최대 50%까지 줄인다. 구체적으로, 인코더 전용(encoder-only) 아키텍처에서는 학습 가능한 매개변수 감소가 GLUE 벤치마크에서 무시할 만한 수준의 예측 성능 하락만을 초래한다. 디코더 전용(decoder-only) 아키텍처에서는 수학 문제 해결 능력과 코딩 태스크에서 예측 성능의 소폭 하락 또는 심지어 향상을 달성한다. 마지막으로, 이러한 효과는 멀티모달(multimodal) 모델에도 확장되며, 모든 층에 LoRA 모듈을 적용한 미세조정 대비 경쟁력 있는 결과도 관찰한다. 코드는 다음에서 확인할 수 있다: https://github.com/c2d-usp/Layer-wise-LoRA-with-CKA

arXiv:2607.21612v1cs.AI

절차적 지식은 저랭크가 아니다: LoRA가 다단계 절차를 내재화하지 못하는 이유

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

LoRA와 같은 매개변수 효율적 미세조정 방법은 대규모 언어 모델(LLM)을 적응시키는 기본 방식이 되었으며, 인스트럭션 따르기(instruction following), 스타일 전환(style transfer), 사실적 적응(factual adaptation)에서 성공을 거두었다. 우리는 절차적 지식—조건부 분기를 거쳐 종료 상태까지 다단계 절차를 따르는 능력—에 대해 LoRA가 효율성 이점을 유지하는 rank에서 전체 미세조정(full fine-tuning)에 미치지 못함을 보인다. 절차적 여행 예약 작업(14 nodes)에 대한 체계적 ablation(r = 16--128)에서 모든 LoRA 구성이 균일하게 실패했으며(작업 성공률 <= 2.54 vs. 전체 미세조정 4.11, 모두 p < 0.001), 대화 완료율 95--99%를 유지함에도 불구하고 rank가 높을수록 점수가 감소했다. 8B에서 Zoom 지원(14 nodes) 및 보험 청구(55 nodes)에 대한 교차 도메인 재현은 이 실패가 일반화됨을 확인한다: LoRA는 r = 32와 r = 128 모두에서 평균 0.8--2.2점만큼 전체 미세조정보다 저조한 성능을 보였으며, 가장 복잡한 절차에서 격차가 가장 컸다. rank를 32에서 128로 4배 늘리는 것은 미미한 개선을 제공하지만 격차를 메우지는 못한다. 전체 미세조정이 만든 가중치 변화에 대한 SVD 분석이 그 이유를 설명한다: 3B와 8B 모두에서 세 도메인에 걸쳐 업데이트의 평균 유효 rank는 761에서 1,026까지 범위이며, rank 128은 squared Frobenius norm의 43--51%만 포착한다. 종합하면, 이러한 발견은 절차적 작업에서 LoRA가 전체 미세조정에 크게 미치지 못한다는 것—에이전트(agentic) 응용에 대한 근본적 한계—을 확립한다.

arXiv:2601.03499v2eess.IV

GeoDiff-SAR: 기하학적 사전정보 기반 SAR 영상 생성 확산 모델

GeoDiff-SAR: A Geometric Prior Guided Diffusion Model for SAR Image Generation

합성개구레이더(SAR) 영상 생성은 데이터 부족을 완화할 수 있지만, 희소 관측 각도에서의 제어 가능한 생성은 여전히 어렵다. 최근 SAR 생성 연구는 질감 현실감을 개선했지만, 명시적인 기하학 인식 제어는 여전히 제한적이다. 본 논문은 중간 방위각(azimuth) 보완이라는 집중적이고 검증 가능한 설정을 다룬다. 3D 모델에서 유도된 기하학적 사전정보가 확산 모델을 안내하여 희소 각도 학습 데이터에서 누락된 시점의 영상을 합성한다. GeoDiff-SAR는 경량 다중 반사(multi-bounce) 광선 추적(ray-tracing) 사전정보를 구성하고, 결과 point cloud를 인코딩하며, low-rank adaptation을 통해 Stable Diffusion 3.5 Medium을 적응하면서 텍스트 조건화와 융합한다. 실제 4개 카테고리 항공기 데이터셋에서 GeoDiff-SAR는 SSIM 0.812와 방위각 일관성 0.940에 도달하며, 텍스트 조건화 SD3.5 Medium 기준선의 0.738과 0.782와 비교된다. 5개 MSTAR 차량 클래스에 동일한 희소 각도 프로토콜을 적용하면 SSIM 0.878과 방위각 일관성 0.917을 얻는다. 이러한 결과는 경량 3D 기하학적 사전정보가 제어 가능한 SAR 생성에서 시점 준수(viewpoint adherence)를 개선한다는 결론을 뒷받침하며, 이는 고정밀 전자기 재구성이 아니라 생성 안내(generation guidance)를 목적으로 한다.

arXiv:2508.01782v4eess.IV

대규모 언어 모델(LLM)을 이용한 의료 영상의 무손실 압축 및 스테가노그래피 통합

Joint Lossless Compression and Steganography for Medical Images via Large Language Models

최근 대규모 언어 모델(LLM)이 무손실 이미지 압축에서 유망한 진전을 이끌어 왔다. 그러나 기존 패러다임을 의료 영상에 직접 적용할 경우 압축 성능과 효율성 사이에서 만족스럽지 못한 트레이드오프를 겪는다. 더욱이 기존 LLM 기반 압축기는 현대 의료 환경에서 중요한 압축 과정의 보안을 종종 간과한다. 이를 위해, 우리는 새로운 무손실 압축 및 스테가노그래피 통합 프레임워크를 제안한다. 비트 평면 슬라이싱(bit plane slicing, BPS)에서 영감을 받아, 의료 영상에 프라이버시 메시지를 보이지 않는 방식으로 안전하게 임베딩하는 것이 가능함을 확인했다. 이 통찰을 바탕으로, 먼저 적응형 모달리티 분해 전략을 고안하여 전체 이미지를 두 세그먼트로 분할하고, 이후 이중 경로 무손실 압축을 위한 전역 및 지역 모달리티를 제공한다. 이중 경로 단계에서, 압축 과정의 보안을 보장하기 위해 지역 모달리티 경로 내 세분화된 메시지 스테가노그래피 알고리즘을 혁신적으로 제안한다. 제안한 해부학적 사전지식(anatomical priors) 기반 저랭크 적응(A-LoRA) 미세조정 전략과 결합하여, 광범위한 실험 결과가 압축률, 효율성 및 보안 측면에서 제안 방법의 우수성을 입증한다. 소스 코드는 공개될 예정이다.

arXiv:2607.20438v1cs.CL

스펙트럴 업데이트 재구성으로서의 선호 튜닝

Preference Tuning as Spectral Update Reorganization

선호 기반 사후 학습은 보통 최종 행동을 통해 이해되지만, 이러한 행동을 만들어내는 학습된 업데이트는 여전히 대체로 불투명하다. 우리는 인간 피드백 강화학습(RLHF) 및 관련 선호 최적화를 그들이 유도하는 매개변수 업데이트의 스펙트럴 구조를 통해 연구한다. 효과적인 LoRA 업데이트를 분해하고 스펙트럴 성분을 플러그인 모듈로 다시 로드함으로써, 선호에 의해 유도된 업데이트를 분리·재구성·직접 개입이 가능한 객체로 전환한다. 모델 계열, 최적화 알고리즘, 감독 체계에 걸쳐 이러한 업데이트는 일관되게 스펙트럴 head–tail 구조를 형성한다. 컴팩트한 head가 초기에 나타나 지배적인 최종 변화를 담당하는 반면, 이질적인 잔차 tail이 남는다. 이 분할은 단순히 기술적인 수준을 넘어 기능적으로 작용한다. 플러그인 개입은 head가 베이스 모델로부터의 가시적 행동 이탈을 설명하는 반면, tail은 단독으로는 약함을 보여준다. 실행 간 재구성은 혼합 어댑터가 head의 출처를 따름을 추가로 보여주며, 이는 head가 실행 수준의 solver 바이어스를 담고 있음을 시사한다. 이러한 최종 지배성은 학습의 충분성을 의미하지 않는다. Head만 학습하는 방식은 무의미하지 않지만 전체 해법을 복원하지 못하며, 특히 분포 밖(out-of-distribution) 행동에서 그렇다. Tail만 학습하면 가시적 이득은 거의 없지만, tail 없이는 전체 해벅을 복원할 수 없다. 이러한 발견은 선호 사후 학습을 단일형 행동 교정이 아닌 구조화된 업데이트 재구성으로 재해석하며, 정렬(alignment) 이득과 커버리지 손실(coverage loss)이 학습된 업데이트 자체의 조직 방식과 연결되어 있음을 시사한다.

arXiv:2605.27390v3cs.CL

EvoSpec: 실시간 어휘 및 매개변수 적응을 통한 투기적 디코딩(speculative decoding) 진화

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

투기적 디코딩(speculative decoding)은 초안-검증(draft-then-verify) 생성을 통해 대규모 언어 모델(LLM) 추론을 가속하지만, 경량 초안(draft) 모델은 효율성과 품질이 결합된 한계에 직면한다. 대규모 어휘 출력 투영(projection)은 비용이 크고, 제한된 초안 용량과 정적 매개변수는 전문화되거나 변화하는 입력에서 수용률(acceptance)을 낮춘다. 어휘 가지치기(pruning)는 투영 비용을 낮추지만, 정적 변형은 국소적으로 중요한 롱테일(long-tail) 토큰을 놓치고, 동적 변형은 사전 설정된 선택 정책과 예산에 민감하다. 또한 제한된 초안 용량은 대상 토큰이 포함되어 있더라도 초안 분포를 정렬(alignment)되지 않은 상태로 둘 수 있다. 온라인 정렬(alignment)은 초안 품질을 개선하지만, 전체 매개변수 업데이트는 상당한 메모리와 지연(latency) 오버헤드를 유발한다. 우리는 검증 피드백으로부터 활성 어휘와 경량 초안 매개변수를 공동으로 적응시키는 EvoSpec을 제안한다. EvoSpec은 의미적·통계적 토큰 이웃을 비동기적으로 검색하고, 정확한 대상 모델 검증을 유지하면서 커리큘럼 가중 온라인 LoRA 정렬을 수행한다. Qwen3-8B/EAGLE-2에서 EvoSpec은 기본 디코딩 대비 $2.18\times$ 속도 향상, EAGLE-2 대비 $1.20\times$ 이득을 달성하며, 전문 도메인 커버리지를 개선하고 전체 매개변수 온라인 적응보다 $27\%$ 적은 보조 GPU 적응 메모리를 사용한다.

arXiv:2607.21351v1cs.LG

어댑터는 몇 비트를 기록할 수 있을까? 파라미터 효율적 미세조정의 용량과 기억화 측정

How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning

LoRA 어댑터는 몇 메가바이트에 불과하지만, 거의 모든 사람이 이를 뒤에 있는 데이터의 기록이 아니라 일종의 능력으로 취급한다. 우리는 그 가정을 검증한다. 압축 기반 기억화(memorization) 분석을 고정 베이스(frozen-base) 설정으로 확장하여, 저랭크(low-rank) 어댑터가 전혀 변경하지 않는 모델에 몇 비트만큼 기록하는지를 직접 측정한다. 그 답은 전체 미세조정보다 작으며, 매개변수 개수로 예측하는 것보다 덜 규칙적이다. 어댑터는 학습 가능한 매개변수당 몇 비트 정도를 저장하며, 이는 전체 모델의 예산에 훨씬 못 미치지만, 그 수치는 어댑터가 얼마나 많은 매개변수를 갖는지보다 어디에 위치하는지에 더 크게 좌우된다. 동일한 매개변수 예산을 어텐션에서 MLP로 옮기면 거의 두 배 가까이 담을 수 있고, 고정 베이스의 구조를 제거하면 용량은 거의 사라진다. Qwen2.5에 대한 현실적인 미세조정에 적용하면, 동일한 측정 도구는 프라이버시 누출이 어댑터가 명목상 갖는 매개변수 수가 아니라 어댑터가 기록하는 비트 수에 따라 증가함을 보여 주며, 지도 미세조정과 강화학습 사이에 뚜렷한 경계를 그어 준다. 지도 미세조정이 그대로 복사해 내려 놓는 비밀은, 검증 가능한 보상으로 학습된 어댑터는 결코 기록하지 않는다. 사후에 공격하는 대신 미세조정이 무엇을 기록하는지 측정하는 것은, 일종의 미신을 설계에 대응할 수 있는 정량으로 바꾼다.

arXiv:2607.21074v1cs.LG

Vision Transformer 연합 LoRA에서 층별 전역 랭크 발견을 위한 스펙트럴 변환

Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers

Vision Transformer(ViT)를 저랭크 어댑터(LoRA)로 미세조정하면 연합 설정에서 더 나은 통신 효율을 기대할 수 있지만, 기존 집계 전략은 근본적인 한계에 직면한다. 이러한 LoRA 인수들을 독립적으로 평균내는 것은 수학적으로 일관되지 않아 교차항 집계 오류를 유발한다. 반면, 서버에서 로컬 어댑터를 연결하여 이질적인 클라이언트 랭크를 보존하는 접근법은 다운로드 비용을 크게 증가시키며, 종종 클라이언트에서 전역 LoRA 업데이트를 사전학습 가중치에 병합해야 하므로 재초기화 지연과 불안정한 수렴을 야기한다. 다른 접근법은 밀집 가중치 업데이트를 재구성하거나 집계 오류를 정제하기 위한 보조 모델을 학습함으로써 서버 측 오버헤드를 더욱 증가시킨다. 본 연구에서는 이러한 과제들을 통합 설계 내에서 해결하는 SpecTraL(층별 전역 랭크 발견을 위한 스펙트럴 변환, spectral transformation for layer-wise global rank discovery)을 제안한다. SpecTraL은 클라이언트의 로컬 LoRA 모듈을 쌓고, 쌓인 어댑터에 대해 저랭크 잠재 공간에서 직접 직교 정규 Householder 변환을 수행하여, 전역 업데이트의 밀집 재구성과 서버에서의 보조 정제를 모두 제거한다. 무작위 행렬 이론(Random Matrix Theory)의 Spiked Covariance Model을 활용하여, SpecTraL은 전역 합의 신호를 non-IID 노이즈로부터 해석적으로 분리하고, 수동 하이퍼파라미터 튜닝 없이 최적의 층별 전역 랭크를 발견한다. 후속 라운드에서 로컬 랭크를 맞추기 위해, 클라이언트가 잔차 LoRA 차원을 사전학습 기본 모델에 다시 병합하지 않고도 통합할 수 있는 패딩 인식(padding-aware) 초기화 프레임워크를 도입한다. DomainNet 및 NICO++에서 ViT-B/16과 ViT-L/16의 연합 미세조정 실험은 정확도-통신 트레이드오프 개선, 서버 연산 감소, 랭크 선택을 위한 하이퍼파라미터 탐색 제거를 보여준다. 코드는 https://github.com/DASS-Lab-Group/SpecTraL 에서 이용할 수 있다.

arXiv:2607.20914v1cs.LG

연합 매개변수 효율적 미세조정을 위한 삼중 스펙트럴 제어

Three-Pronged Spectral Control for Federated Parameter Efficient Fine Tuning

연합 매개변수 효율적 미세조정(PEFT)은 분산된 엣지 데이터에서 대규모 사전학습 모델의 통신 효율적 적응을 가능하게 하지만, 비동일(non-IID) 클라이언트 이질성 하에서는 여전히 취약하다. 저차(rank) 적응(LoRA)에서는 서로 다른 클라이언트가 국소적으로는 유용하지만 스펙트럴적으로 정렬되지 않은 업데이트 부분공간을 학습할 수 있어, 높은 분산의 집계와 낮은 전역 전이 성능을 초래한다. 우리는 견고한 연합 PEFT를 위한 스펙트럴 제어 프레임워크인 TRISHUL을 제안한다. TRISHUL은 FL의 원시 데이터 비공유 설정을 따르지만, 그 자체로는 형식적인 프라이버시 보장을 제공하지 않는다. TRISHUL은 공유된 고정(frozen) 다중 헤드 저차(rank) 기저를 사용하여 컴팩트한 코어 업데이트의 대수적으로 정확한 집계를 얻고, 업로드 전에 클라이언트별 고차(rank) 스펙트럴 성분을 억제하기 위해 핵 노름(nuclear norm) 근접(proximal) 수축(shrinkage)을 적용하며, 사전학습된 층 용량에서 유도된 오목(concave) 워터필링(water filling) 예산 규칙을 사용하여 적응 헤드를 층 전반에 비균등하게 할당한다. 수축이 작은 코어 행렬에만 수행되므로, TRISHUL은 기본 다중 헤드 PEFT 프로토콜 대비 무시할 수 있는 계산량만 추가하며 라운드당 추가 통신은 없다. CIFAR-100, SVHN, 20 Newsgroups, MRQA, GLUE 및 LLaMA3.2-1B를 포함한 비전 및 언어 벤치마크 전반에서 TRISHUL은 연합 LoRA 기준선 대비 수렴, 안정성, 최종 성능을 향상시키며, 더 강한 이질성 하에서 더 큰 이득을 보인다.

arXiv:2607.20561v1cs.LG

CT-Merging: LoRA 어댑터 병합을 위한 합의 방향과 태스크 수준 스케일링

CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging

LoRA 어댑터는 사전학습된 모델을 다양한 다운스트림 태스크에 특화시키는 효율적인 방법을 제공하지만, 태스크마다 하나의 어댑터를 배포하려면 어댑터 저장 공간과 추론 시 태스크 선택이 필요하다. 모델 병합은 독립적으로 학습된 어댑터들을 하나의 멀티태스크 어댑터로 결합함으로써 이 문제를 해결한다. 최근 SVD 기반 LoRA 병합 방법들은 주로 공유 또는 태스크별 방향을 구성하는 데 초점을 맞추지만, 최종 방향에 할당되는 계수는 종종 원본 태스크 SVD에서 직접 가져온다. 고정된 병합 기저 위에서, 상속된 계수는 높은 rank 상관을 유지하며 성분 순서를 보존하지만, 그 크기는 태스크 업데이트로 유도된 계수와 실질적으로 다르다. 이 불일치를 해결하기 위해, 우리는 평균 태스크 부분공간 투영자로부터 합의 방향을 추정하고 최종 업데이트에 태스크 수준 RMS 계수 스케일을 할당하는 LoRA 인식 병합 알고리즘인 CT-Merging을 제안한다. CT-Merging은 태스크 SVD 부분공간 전반에 걸친 반복적 지지를 사용하여 공통 기저를 구성하고, 방향 구성 이후 rank별 SVD 크기에 대한 의존을 줄인다. DC-Merge CLIP 어댑터 벤치마크에서 CT-Merging은 최신 병합 방법들 대비 우수한 평균 정규화 정확도를 달성하며, ViT-B/32에서는 2.56점, ViT-L/14 KnoTS 학습 체크포인트에서는 1.51점 DC-Merge 대비 추가로 향상된다.

arXiv:2606.28445v2cs.SD

다중 관점 음성 파생 특징을 활용한 치매 감지를 위한 LoRA 튜닝 대규모 언어 모델

LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features

치매의 조기 감지는 적시 개입을 가능하게 하며, 인지 장애를 반영하는 자발적 발화는 비침습적 선별 검사 방식을 제공한다. 기존 접근법은 음향 기술자(acoustic descriptor), 포즈(pause) 모델링, 자동 음성 인식(ASR) 전사본, 또는 멀티모달 융합 등 단일 표현 차원에 집중하는 경우가 많아, 이질적인 인지 증상에 걸친 통합적 추론이 제한된다. 우리는 네 가지 상호 보완적인 음성 파생 신호—포즈 마커가 포함된 ASR 전사본, 담화 수준의 토픽 단서, 시간적 유창성 통계, 음운 시퀀스—에 대해 구조화된 다중 관점 추론을 수행하는 저랭크 적응(LoRA) 튜닝 대규모 언어 모델(LLM)을 제안한다. 이러한 단서들은 단일 프롬프트 내에 인코딩되어, 모달리티별 인코더나 후기 융합 없이 하나의 LLM이 일관된 결정 함수를 학습할 수 있게 한다. ADReSSo에서 우리의 최선 모델은 F1 점수 90.14%를 달성하였으며, 어블레이션(ablation) 분석을 통해 각 관점의 상호 보완적 기여가 확인되었다.

arXiv:2607.14605v1cs.CL

LLM 기반 자동 에세이 채점에서 모국어(L1) 바이어스 조사: TOEFL 에세이에 대한 오픈 가중치 AI 모델의 크로스-프롬프트 평가

Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays

본 연구는 자동 에세이 채점에 적용된 LoRA 적응 오픈 가중치 대규모 언어 모델(Gemma-3-27B-it)의 크로스-프롬프트 일반화와 모국어(L1) 채점 효과를 조사한다. "AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models" (Gayed, 2026)에서 보고된 동일한 모델과 추론 구성을 사용하며, 이 모델은 두 개의 프롬프트에서 나온 480편의 논증 에세이로 미세조정되었다. 이를 바탕으로 전체 TOEFL11 코퍼스에서 채점 정확도를 평가한다. 이 코퍼스는 11개 모국어 배경의 응시자가 작성한 12,100편의 에세이로, 8개의 프롬프트에 걸쳐 있으며, 어떤 프롬프트도 학습 중에 보지 못한 것이다. 모델의 원점수(0.5-5.0)는 ETS가 사용하는 동일한 세 가지 숙련도 구간(낮음, 중간, 높음)으로 매핑되어 직접 비교가 가능하다. 모델은 전체 구간 일치율 77.79%, 이차 가중 카파(quadratic weighted kappa) 0.702, 인접 구간 일치율 99.98%를 달성했다. 정확도는 보지 못한 8개 프롬프트 전반에서 안정적이었으며, 학습 데이터와 주제적으로 관련된 프롬프트에 대한 이점은 없어 강건한 크로스-프롬프트 일반화를 시사한다. 그러나 모델은 체계적이고 L1과 연관된 채점 오프셋을 보였다. 모든 숙련도 구간 내에서 유럽어권 배경의 에세이가 동아시아어권 배경의 에세이보다 일관되게 더 높은 점수를 받았으며, 이 패턴은 미세조정 데이터의 구성으로 설명할 수 없다. 이는 자동 에세이 채점을 위한 미세조정된 오픈 가중치 LLM에 대한 최초의 대규모 L1 공정성 분석이다.

arXiv:2607.14571v1cs.LG

Gate-Zero Growth: 함수 보존 지속 학습을 위한 기하학적 프레임워크

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

우리는 영(zero) 초기화된 게이트를 통해 새로운 잔차 블록을 추가하는, 지속 학습(continual learning)을 위한 함수 보존(function-preserving, FP) 연산자인 \emph{gate-zero growth}를 제안한다. 횡단(transversality) 조건 하에서 gate-zero growth는 함수적 야코비안(functional Jacobian)에서 \emph{rank separation}을 유도한다. 기존 방향은 변하지 않고, 새 가중치 방향은 성장 지점에서 정확히 평평(flat)하며, 새 게이트 방향만이 새로운 함수적 변화의 1차 소스이다. 지속 학습 중 게이트가 열리면 함수 drift는 $O(\|\boldsymbolα\|^2)$이고 야코비안 누출(leakage)은 $O(\|\boldsymbolα\|_\infty)$이 되어 FP locus로부터의 통제된 이탈을 제공한다. WikiText-103에서 BookCorpus로 적응된 $300\mathrm{M}\to857\mathrm{M}$ 트랜스포머에서 gate-zero growth는 정확 보존(Isolation)과 공동 프론티어(Freeze-Nothing) 운영점 모두에서 거의 0에 가까운 구 도메인 망각($Δ_A < 0.1$)에 도달하는 반면, 비-FP 대조군($G_{\text{stack}}$)은 동일한 설정에서 한 자릿수(order-of-magnitude) 더 큰 망각을 겪는다. 동일한 기하학적 분석은 LoRA, ReZero, 영 초기화 어댑터 구성까지 포괄하며, gate-zero growth를 CL에서 안전한 용량(capacity) 활성화를 지배하는 공유 국소 기하학의 표준(canonical) 사례로 확립한다.

arXiv:2607.14367v1cs.LG

Dysco: 연합 학습에서 LoRA 간섭을 완화하기 위한 동적 부분공간 부스팅

Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

대규모 사전학습 모델의 연합 미세조정은 통신 및 연산을 줄이기 위해 Low-Rank Adaptation(LoRA)에 점점 더 많이 의존하고 있지만, 이질적인 클라이언트는 어댑터 집계를 불안정하게 만들 수 있다. 우리는 데이터-매개변수 간섭을 이러한 불안정성의 기하학적 원인으로 규명한다. 이 간섭은 LoRA 업데이트 부분공간과 클라이언트 활성화(activation) 사이의 정렬(alignment)에 의해 제어되며, 연합 LoRA 집계는 매개변수 평균화뿐 아니라 부분공간 할당(subspace allocation)으로도 바라봐야 함을 시사한다. 우리는 Dynamic Subspace Boosting(Dysco)을 제안하는데, 이는 연합적이고 동적인 방식으로 클라이언트별 LoRA 부분공간을 할당하는 플러그인 방식이다. 각 라운드에서 클라이언트는 로컬 표현(representation)으로부터 활성화-비민감(activation-insensitive) 부분공간을 계산하고 결과 기저(basis)만 전송하며, 서버는 다른 클라이언트의 비민감 방향과의 호환성을 최대화하는 폐형(closed-form) 해법을 통해 클라이언트별 병합 부분공간을 구성한다. 표현 드리프트(representation drift)를 처리하기 위해 Dysco는 미래 표현에 적응하면서 과거 업데이트 방향을 보존하도록 다중 라운드 부분공간 부스팅을 수행한다. 우리는 데이터-매개변수 간섭을 표준 연합 최적화(optimization) 상계(bound)에 집계 오류(aggregation-error) 항으로 내재하는 수렴 분석을 제공하고, Dysco의 서버-고정 병합 부분공간이 이 오류에 대한 더 타이트한 상계를 제공함을 증명한다. 통제된 합성 연합 작업 및 Llama-3.2-1B을 사용한 MIMIC-IV 임상 노트 분류 실험은 Dysco가 간섭을 상당히 줄이고, 이론이 식별하는 직교 부분공간 분할 하에서 베이스라인 대비 최종 라운드 합성 학습 손실을 최대 9배까지 줄이며, MIMIC에서 테스트한 다섯 가지 FL 알고리즘 모두를 최대 4.3%까지 개선하고, 최근 연합 LoRA 방법들을 능가하며, 벽시계(wall-clock) 오버헤드는 0.9%만 추가함을 보여준다. 코드는 https://github.com/illidanlab/Dysco 에서 제공한다.

arXiv:2607.14287v1cs.CV

XCT-SAM: 산업 XCT 결함 분할을 위한 SAM의 순차적 매개변수 효율 도메인 적응

XCT-SAM: Sequential Parameter-Efficient Domain Adaptation of SAM for Industrial XCT Defect Segmentation

적층 제조(additive manufacturing, AM) X선 컴퓨터 단층촬영(X-ray computed tomography, XCT) 영상에서의 결함 분할은 클래스 불균형이 심하고 스캔 조건에 따른 분포 변화가 크기 때문에 여전히 어려운 과제이다. 최근 Segment Anything Model(SAM)과 같은 파운데이션 모델이 범용 분할 사전지식을 강력하게 제공하지만, 자연 영상 사전학습은 결함이 미세하고 비의미적(non-semantic) 미세구조 이상으로 나타나는 AM XCT 도메인으로는 잘 전이되지 않는다. 또한 SAM을 AM 도메인에 적응시키는 것은 도메인 간격이 크고 라벨이 붙은 실제 XCT 데이터가 부족하다는 점에서 더욱 제한된다. 우리는 AM XCT 결함 분할을 위한 순차적 매개변수 효율적 적응 프레임워크인 XCT-SAM을 제안한다. 자연 영상에서 XCT 데이터로 SAM을 직접 적응시키는 대신, 먼저 합금 미세구조 데이터셋에서 Conv-LoRA 어댑터를 파인튜닝하고, 이후 적응된 모델을 XCT 영상으로 전이하여 도메인 간격을 점진적으로 줄인다. rank r=2의 Conv-LoRA 어댑터를 사용하여, 이 프레임워크는 SAM 백본에 합성곱 공간적 귀납적 바이어스(inductive bias)를 주입하면서 약 4.15M 매개변수만 학습하고 모델의 99% 이상을 고정(frozen)한다. XCT-SAM을 분포 외(out-of-distribution) CycleGAN-XCT 벤치마크와 실제 NIST XCT 스캔에서 평가한다. 두 설정 모두에서 XCT-SAM은 제로샷(zero-shot) SAM 및 기타 도메인 적응 SAM 기준선을 일관되게 능가하며, 전체 IoU 및 Dice 점수에서 최고 성능을 달성한다. 이러한 결과는 산업 XCT 결함 분할에서 매개변수 효율적 어댑터를 이용한 중간 도메인 적응의 효과를 보여준다. 소스 코드는 https://github.com/Mahedi-61/XCT-SAM.git 에서 공개되어 있다.

arXiv:2607.05623v3cs.CL

IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 제한 조건에 맞게 재구현한 연구로, SeamlessM4T-v2-large 음성 인코더와 Qwen3-4B-Instruct LLM 백본을 적용하고 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합의 3단계 학습 방식을 유지했다. 10가지 음성 중심 태스크 유형에 걸쳐 10만 개의 합성 인스트럭션 팔로잉 데이터를 추가 구축하였으며, 최종 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역 COMET 0.781, 영어 SQA BERTScore-F1 0.346을 달성했다.

arXiv:2607.12248v1q-fin.ST

방향 정확도가 속일 때: 주식 예측을 위한 LoRA 적용 TimesFM의 기준율 반영 벤치마크

When Directional Accuracy Lies: A Base-Rate-Honest Benchmark for LoRA-Adapted TimesFM on Equity Forecasting

TimesFM과 같은 대규모 사전학습 시계열 모델은 금융 예측에 매력적이지만, 원시 방향 정확도는 주식 시장에서 오해를 부르는 성적표이다. 본 프로젝트의 초기 LoRA 어댑터는 방향 정확도 약 80%에 도달한 것처럼 보였으나, 이는 예측력의 증거가 아님을 보인다. 상승장에서 장기간에 걸쳐, 입력을 전혀 사용하지 않는 사소한 "항상 상승(always-up)" 규칙이 비슷하게 높은 정확도를 달성한다. 이 기준율(base rate) 아티팩트와 진정한 예측력을 분리하기 위해, 우리는 재현 가능한 동결 데이터 벤치마크를 구축한다. 여기에는 확장형 walk-forward 폴드, 계층화된 보류 티커(hold-out ticker) 분할, 정직한 베이스라인(제로샷 TimesFM, always-up, random-walk, persistence, AR(1)), Benjamini-Hochberg FDR 통제 하의 쌍체 유의성 검정(McNemar, Diebold-Mariano)이 포함된다. 동일한 방법을 두 유니버스—기술주 중심 NASDAQ-100과 광범위한 S&P 500—에 적용하고, always-up 기준율 대비 초과 정확도를 보고한다. 세 가지 발견이 재현된다. 첫째, 역사적으로 ~80% 조건을 재현하면, 높은 수치는 기준율 ~0.70에 불과하며 미세조정 모델은 이를 하회한다. 둘째, pooled LoRA는 어느 유니버스에서도 어떤 예측 구간(horizon)에서도 기준율 대비 방향 예측력을 보이지 않는다(6개월 horizon에서는 음수). 셋째, 섹터별 특화는 단일 pooled 어댑터보다 유의하게 더 나쁘다(보류 주식에서 h=128일 때 Diebold-Mariano p<0.001). 미세조정의 유일한 측정 가능한 이점은 제로샷 TimesFM 대비 통계적으로 유의한 점 예측 오차 감소이며, 그럼에도 단순 베이스라인을 이기지 못하고 거래 가능한 방향적 우위를 제공하지 않는다. 기여는 방법론적이다: 기준율 함정을 방지하는 방어 가능하고 완전히 시드가 고정된 프로토콜, 그리고 이를 통해 얻은 재현된 부정적 결과.

arXiv:2607.12111v1cs.LG

PFAdapter: 개인화 연합 MLLM을 위한 계층적 LoRA 분해

PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

에이전트형 AI 시스템은 네트워크 엣지에서 데이터 프라이버시를 유지하면서 협업 학습이 가능한 자율 지능형 에이전트를 배포함으로써 통신 및 네트워킹을 재편하고 있다. 분산 네트워크 환경에서 멀티모달 대규모 언어 모델(MLLM)은 엣지 디바이스의 인지 엔진 역할을 하지만, 연합 미세조정은 이질적인 네트워크 조건 하에서 전역 지식 집약과 로컬 적응의 균형을 맞추는 데 상당한 어려움이 있다. 기존 연합 프로토콜은 일반적으로 균일한 매개변수 집약에 의존하여, 도메인 불변 특징과 클라이언트별 세부 사항을 혼동하게 되고, 이로 인해 비최적의 개인화와 과도한 통신 오버헤드가 발생한다. 이러한 과제를 해결하기 위해, 우리는 글로벌-공유 및 로컬-프라이빗 구성 요소로 어댑터 매개변수를 명시적으로 분리하는 계층적 LoRA 분해를 도입한 통신 효율적 프레임워크 PFAdapter를 제안한다. 쿼리 및 키 투영은 네트워크 전반에 걸친 보편적 멀티모달 의미론을 포착하기 위해 전역 동기화에 할당되며, value 및 output 투영은 엣지별 적응을 위해 로컬에 유지된다. 또한 Frobenius norm 기반 직교성 정규화는 이러한 구성 요소 간의 엄격한 분리를 강제하여 중복 특징 학습을 방지한다. 선택적 집약 프로토콜은 연합 네트워크 전반에서 글로벌-공유 구성 요소만 동기화하여 로컬 전문성을 보존하고 통신 비용을 거의 50% 감소시킨다. VQA-RAD, SLAKE, Hateful Memes, CrisisMMD 데이터셋에 대한 광범위한 실험은 PFAdapter가 최신 베이스라인을 지속적으로 능가하며, 다양한 엣지 지능 과제에서 2.4%에서 4.8%에 이르는 정확도 향상을 달성함을 보여준다. 결과적으로, 우리의 프레임워크는 자원 제약이 있는 통신 네트워크에서 에이전트형 AI 배포를 위한 효율적인 솔루션을 제시한다.