개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.
본 논문에서는 모델의 안정성을 유지하면서 매개변수(parameter) 수정을 체계적으로 탐색하는 대규모 언어 모델(LLM) 적응용 선택적 미세조정(fine-tuning) 방법인 APE(Adjacent Possible Exploration)를 제시합니다. 진화적 최적화 원리에서 영감을 얻은 APE는 소규모 데이터 하위 집합에 대한 미세조정을 통해 여러 후보 매개변수 업데이트를 평가하고 성능 임계값을 초과하는 업데이트만을 수락합니다. 단일 그래디언트(gradient) 방향을 따르는 표준 미세조정과 달리, APE는 체계적인 개선을 가능하게 하면서도 모델을 불안정하게 만드는 매개변수 변화를 방지하는 필터링된 선택 프로세스를 구현합니다. 우리 방법은 최소한의 계산 자원만을 사용하면서도 뉴스 요약 태스크에서 33.9%의 BLEU 향상과 36.2%의 퍼플렉서티(perplexity) 감소를 달성합니다. 이 접근법은 성능 향상과 표현 안정성 사이의 균형을 맞추는 제어된 모델 적응을 위한 실용적인 프레임워크를 제공합니다.
활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
Depression is a leading cause of disability worldwide, yet validated questionnaires such as the Patient Health Questionnaire-9 (PHQ-9) often go uncompleted, yielding sparse, biased data. Users of AI mental health applications often describe their mood, sleep and functioning unprompted, producing a continuous record of symptoms. Here, we predict PHQ-9 scores from these conversations alone. As in many clinical language tasks, labels are scarce and imbalanced. We address both by fine-tuning Qwen 3.5 27B with a regression head and augmenting 3,111 ground-truth labels with pseudo-labels from a frontier reasoning model and iteratively trained intermediate models, expanding to 5,524 users with more balanced scores. On 422 held-out users, the model achieved MAE $= 3.98$, Pearson $r = 0.67$, and AUC $= 0.88$ at the clinical threshold (PHQ-9 $\geq 10$); AUC was $> 0.80$ across severity thresholds from PHQ-9 $\geq 3$ to PHQ-9 $\geq 24$, demonstrating that the model captures depression severity across the full clinical spectrum. These results support passive depression monitoring without self-report.
Safety evaluations often assume that behavior observed during testing reflects behavior in ordinary use, but fine-tuning can break this assumption. A checkpoint can appear fixed under evaluation-style prompts while the same behavior persists under ordinary-use prompts. Output scores reveal this mismatch but do not locate it. We investigate whether the distinction is encoded in a stable internal site and introduce an audit that fits a paired activation contrast at a path-patching-informed mid-depth window, then modifies the resulting coordinate on held-out prompts. The intervention reduces the evaluation-to-deployment gap by more than $0.12$ in ten of twelve model--behavior settings and closes it (post-intervention gap below $0.06$) in four, across four full-matrix instruction-tuned model instances; among the eight settings with $n{\geq}120$ paired questions, six reduce and one closes. A fifth model supports localization and edit-provenance checks, and in the twelve settings deployment-framed rates change by at most $6.1$pp. On retrained checkpoints, random directions at the same dose do not reproduce the effect, and off-window controls do so only in part. The strongest literal evidence for an evaluation-versus-deployment distinction comes from sandbagging, whose prompt framing is explicitly evaluative; sycophancy and refusal test framing-contingent task distinctions. The two weak cells, both sycophancy, show where a single-coordinate audit at a fixed window is not sufficient. The audit is a non-adaptive, white-box diagnostic for controlled fine-tuned checkpoints, not a training-time defense, a guarantee of deployment safety, or evidence about naturally arising failures.
창발적 정렬 실패(Emergent Misalignment, EM)는 언어 모델을 좁은 범위의 과제에 미세조정했을 때, 그와 무관한 과제들에서도 모델이 정렬에서 벗어나게 되는 현상이다. 조직들이 이제 자신들의 데이터로 모델을 일상적으로 미세조정하고 있기 때문에, 어떤 종류의 학습 데이터가 EM을 유발하는지가 중요하다. 지금까지의 연구들은 안전하지 않은 코드나 유해한 조언과 같이 이미 알려진 안전성 실패를 포함한 데이터로 EM을 유도해 왔으며, 바이어스가 있는 학습 데이터는 주로 공정성(fairness) 연구에서 모델이 그로부터 학습하는 바이어스 자체를 조사하기 위해 다루어졌을 뿐, 안전성에 대한 영향을 다루지는 않았다. 실제 텍스트에서는 인구통계적 고정관념(stereotype)과 같은 이러한 바이어스의 상당 부분이 모욕적인 언어가 아니라 사람에 대한 판단 속에 공손하게 내재된 형태로 나타난다. 우리는 이러한 공손한 고정관념을 학습하는 것 자체가 EM을 유발할 수 있는지를 질문한다. 우리는 고정관념에 의존하는 공손한 답변으로 미세조정하는 것이 모델을 무관한 과제들에서 덜 안전하고 덜 진실하게 만든다는 것을 발견했다. 이러한 효과는 4개의 오픈 가중치(open-weight) 모델 패밀리(7B~12B), 성별 및 인종 고정관념 모두, 그리고 반복된 학습 실행에 걸쳐, 고정관념 없이 동일한 질문으로 학습된 대조군과 비교했을 때 일관되게 나타난다. 우리는 추가로 학습된 고정관념이 모델 활성값(activation) 내에서 기만(deception)과 같은 일반적인 정렬 실패 특성의 방향과는 구별되는 고유한 방향을 가진다는 것을 보인다. 이 방향은 미세조정 이전에도 존재하며, 학습된 고정관념을 통제하는 데에도, 그 습득 과정을 모니터링하는 데에도 사용할 수 있다. 기존의 EM 방어 기법들은 안전성을 개선하지만 고정관념은 대체로 그대로 남겨둔다. 이러한 통제된 설정을 넘어서, 정치 뉴스 보도에 대한 미세조정 역시 EM을 유발하며, 이는 편파적 프레이밍(framing)에 의해 증폭되는 것으로 보이고, 고정관념을 학습한 모델이 도구를 사용하는 에이전트(agent)로 작동할 경우 유해한 작업을 수행하고 근거 없이 사람을 비난할 수 있다. 우리의 결과는 바이어스가 있는 학습 데이터가 공정성 문제일 뿐만 아니라 안전성 문제이기도 하다는 것을 보여준다. 우리는 EM이 너무 좁게 연구되고 있으며, 공정성에 대한 우려와 방법론들이 그 유발 요인을 찾는 범위를 넓히는 자연스러운 방법을 제공한다고 주장한다.
본 연구에서는 대규모 모델, 대규모 협업, 복잡한 네트워크 토폴로지 전반으로 확장되도록 설계되었으며 통신 오버헤드를 거의 발생시키지 않으면서 전역 합의(global consensus)를 달성하는 탈중앙화된 대규모 언어 모델(LLM) 미세조정(fine-tuning)의 새로운 접근법인 SeedFlood를 제시합니다. 기존 방식들은 모델 크기에 비례하여 증가하는 높은 통신 비용으로 인해 어려움을 겪으며, 네트워크 홉(hop)에 따른 정보 감소로 인해 전역 합의가 비효율적이었습니다. SeedFlood는 0차 기울기(zeroth-order gradient)의 시드 재구성 가능 구조를 활용하여 전송할 메시지 크기를 실질적으로 0에 가깝게 만듦으로써 이러한 기존 관행에서 크게 벗어납니다. 이를 통해 메시지를 네트워크의 모든 클라이언트에 플러딩(flooding)할 수 있게 하여 탈중앙화 학습(training)의 확장성을 향상시킵니다. 결과적으로 SeedFlood는 수십억 매개변수(parameter) 규모의 모델이나 수백 개의 클라이언트에 걸친 분산 환경과 같이 이전에는 비실용적으로 여겨졌던 영역에서의 학습을 가능하게 합니다. 탈중앙화 LLM 미세조정에 대한 실험 결과, SeedFlood는 통신 효율성과 일반화 성능 모두에서 표준 0차 베이스라인을 지속적으로 능가하며, 대규모 설정에서는 몇 자릿수(orders-of-magnitude) 더 적은 통신 비용을 요구하면서도 1차 가십 기반(gossip-based) 방식과 대등한 결과를 달성함을 보여줍니다. 또한 이론적 분석을 제공하여 SeedFlood가 클라이언트 참여 증가로 인한 가속 효과를 유지하면서도 수렴(convergence) 경계에서 토폴로지 의존적 합의 항을 피함을 정식화합니다.
대규모 언어 모델(LLM)을 위한 수학 학습(training) 데이터를 선정할 때 자연스러운 구성 원칙은 확률 목표에는 확률 예제를 사용하는 것과 같은 '주제'입니다. 대안적인 방식은 수학적 영역이 다르더라도 목표 문제와 풀이 기법을 공유하는 모범 풀이와 같은 '추론 방식'입니다. 본 연구에서는 미세조정(fine-tuning) 후 어떤 관계가 더 큰 전이(transfer)를 만들어내는지 질문합니다. 연구진은 두 가지 상호 균형 $2\times2$ 설계를 평가합니다: 불변량 추론 및 이중 계산과 교차된 확률 및 조합론(2,000개 문제), 그리고 여집합 및 비둘기집 원리 추론과 교차된 정수론 및 기하학(800개 문제)입니다. 각 설계에서 모든 셀은 차례로 보류된(held-out) 목표 역할을 합니다. 동일 방식(SA) 소스는 목표와 기법을 공유하지만 주제를 바꾸며, 동일 주제(ST) 소스는 주제를 공유하지만 기법을 바꿉니다. 모든 소스는 각 역할에 한 번씩 등장하므로, 동등한 가중치의 집계 대비에서 가산적 소스 품질 효과가 상쇄됩니다. 5개의 기본 모델(model)과 설계당 3개의 학습 시드에 걸쳐, 시드를 통합한 40개의 모든 모델-목표 비교에서 SA가 ST보다 우수한 성능을 보였습니다. 모델 수준의 이점은 기본 설계에서 8.2~16.2%p(평균: 10.8), 두 번째 설계에서 12.0~16.0%p(평균: 14.3) 범위였으며, 10개의 모든 모델 수준 95% 신뢰 구간은 0을 제외했습니다. 두 설계 모두에서 ST 소스는 임베딩(embedding) 및 어휘 척도상 목표와 더 유사했으므로, SA의 이점은 측정된 문제 진술 수준의 유사도 순서와 반대로 나타납니다. 이러한 발견은 평가된 주제-방식 조합 전반에서 수학적 전이를 위한 매칭 기준으로 추론 방식이 주제보다 더 효과적임을 규명합니다.
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
엔지니어링 변경 지시(ECO)는 칩 설계 후반 단계에서 타이밍 및 전기적 위반을 수정하는 중요한 단계입니다. 기존의 에이전틱 EDA 방식은 주로 도구 호출에 집중하며, 모델의 의사결정 품질과 맞춤형 학습에는 덜 주목해 왔습니다. ECO의 핵심 과제는 다중 라운드 의사결정으로, 모델은 각 라운드의 결과를 활용하여 다음 수정 조치를 결정해야 합니다. 본 논문에서는 에이전트가 ECO 의사결정을 효과적으로 실행할 수 있도록 대규모 언어 모델(LLM)과 폐루프 실행 플랫폼을 통합한 WaveletECO를 제안합니다. 또한 실행 시연 및 의사결정 선호도 데이터를 활용하여 지도 미세조정(supervised fine-tuning) 및 CPO-SimPO를 통해 로컬 9B 모델을 학습시킴으로써, 로컬에 배포된 모델로 ECO 의사결정을 수행할 수 있도록 합니다. 22개 설계에 대한 594회의 평가 실행 전반에서 WaveletECO-Policy (BF16) 및 (INT8)은 각각 79.63점과 79.65점을 기록하여 GPT-6 Astra의 77.44점과 대비됩니다. INT8의 예상 추론 비용은 GPT-6 Astra의 약 1/147 수준입니다. 이러한 결과는 특화된 모델 학습이 효과적이고 저비용인 다중 라운드 ECO 수정을 뒷받침하며, INT8 양자화 하에서도 수정 품질이 유지됨을 보여줍니다.
최근 비디오 확산 모델의 발전으로 시각적 충실도가 크게 향상되었지만, 생성된 동작은 종종 물리적 타당성을 위반한다. 우리는 흔한 운동학적 실패인 "motion entanglement(모션 얽힘)", 즉 카메라 움직임과 객체 동작과 같은 독립적인 동작 원천의 의도치 않은 결합을 관찰한다. 이 문제가 데이터 바이어스와 확산 모델의 재구성 기반 학습 설계에서 기인함을 확인했다. 거친 동작 단서를 여전히 보존하는 노이즈가 있는 비디오에 대한 학습은, 운동학적으로 타당한 동작을 모델링하는 방법을 배울 유인 없이 기존 동작을 복제하도록 우발적으로 유도한다. 이를 해결하기 위해, 우리는 모델이 실제 비디오를 직접 재구성하는 대신 자신이 생성한 비디오로부터 학습할 수 있게 하는 Self-Imagination Fine-Tuning(SIFT) 패러다임을 제안하여 재구성 지름길을 끊는다. 또한 학습을 안정화하고 가속하기 위해 동작 인식 판별적 감독과 점진적 어려운 사례 재생 전략을 사용한다. 자유롭게 생성된 텍스트 프롬프트를 활용함으로써, 우리 방법은 비디오 데이터로 수집하기 비용이 많이 드는 희귀하거나 세밀하게 분리된 시나리오를 포함해 넓은 동작 공간을 조밀하게 포괄할 수 있다. 광범위한 실험을 통해 우리 접근법이 생성 비디오의 물리적 현실감, 모션 분리, 제어 가능성을 상당히 개선함을 보여준다.
대규모 언어 모델(LLM)의 학습 효과는 근본적으로 학습 데이터의 품질과 구성에 의해 제한된다. 기존 동적 데이터 스케줄링 방법은 산업 규모의 사전학습 및 지도 미세조정(SFT)에서 중요한 한계에 직면한다: 데이터 선택은 테라바이트급 코퍼스에서 감당하기 어려운 O(N) 비용을 발생시키고, 혼합 최적화 방식은 심각한 I/O 병목을 유발하거나 보조 참조 모델의 학습을 요구하며, 샘플 수준 재가중 전략은 노이즈, 난이도, 신규성을 혼동하는 손실 신호에 의존한다. 본 논문은 도메인 수준 손실 기반 2단계 데이터 혼합 최적화 프레임워크인 DomainPilot을 제안한다. DomainPilot은 데이터 파이프라인을 중단하지 않고 학습 중 도메인별 학습 역학을 포착하기 위해 토큰 수준 도메인 손실 모니터링을 도입한다. 이러한 신호를 바탕으로, 도메인별 수렴 곡선을 적합하고 혼합 조정을 위한 원칙적 사전 분포를 도출하는 Scaling Law 기반 거친(coarse) 최적화 단계를 제안한다. 이후 Mixing Law 기반 정밀(fine) 최적화 단계에서는 통제된 스윕(sweep) 실험을 통해 도메인 간 상호작용 효과를 모델링하여 혼합을 정제한다. 전체 메커니즘은 패치 기반 아키텍처를 통해 구현되며, 기존 학습 프레임워크(예: MindSpeed/Megatron-LM)에 도메인 인식 손실 계산을 주입하며, 프레임워크별 어댑터 코드는 약 30줄에 불과하다. DomainPilot을 Qwen3-1.7B 모델의 SFT 과정에서 검증하였다. 기존 데이터 혼합과 비교할 때, 최적화된 혼합은 총 데이터량이나 학습 비용을 늘리지 않으면서 MMLU-Redux에서 +2%, AIME24에서 +1.8%, LiveCodeBench v5에서 +3.8%, BFCL v3에서 +3.6%의 향상을 달성한다. 이러한 결과는 도메인 수준 학습 신호가 혼합 최적화를 위해 값비싼 데이터 선택이나 보조 모델 학습에 대한 효과적이고 경량의 대안을 제공함을 보여준다.
소형 언어 모델은 관련 법 조항을 제공받아도 여전히 잘못된 답을 할 수 있다. 우리는 관련 법률이 포함된 예시에 대한 미세조정이 이후 검색된 법률의 활용을 개선하는지 검증한다. 방글라데시 법률 6개와 부칙 3개에서 2,165건의 이중언어 QA 레코드를 구축한 뒤, Qwen3.5 0.8B, 2B, 4B 규모에서 미세조정한다. 평가는 2022년 및 2023년 방글라데시 변호사협회 시험 문제를 벵골어 원문과 기계 번역 영어로 사용하며, 검색(retrieval), BM25, FAISS 없이 세 번의 시드 고정 실행에 대한 엄격한 일관성으로 채점한다. 0.8B에서는 미세조정으로 2022 영어 FAISS 점수가 100점 만점에 2점에서 34점으로 상승한다. 0.8B와 2B에서의 이득은 대응 검정(paired testing)을 통과하지만, 4B 모델에서는 관측 가능한 순이득이 없다. 벵골어 성능은 개선되는 반면 여러 영어 조건에서는 후퇴한다. 미세조정은 또한 벵골어로 요청했음에도 답변이 대부분 영어로 흐르는 비율을 44.0–53.2%에서 0.2–0.7%로 줄이며, 모든 규모에서 보정 p<.001이다. 따라서 검색 품질만이 병목은 아니다. 소형 이중언어 법률 모델은 제공된 법률을 어떻게 활용하는지, 그리고 요청된 언어로 답하는지 여부에서도 차이를 보인다. 데이터셋은 https://huggingface.co/datasets/momahadi/bangladesh-legal-qa-dataset 에서 공개된다.
사후 학습은 대규모 언어 모델(LLM)을 하위 과제에 적응시키는 핵심 메커니즘이다. 선행 연구는 과제 적응이 모델의 기존 정렬, 특히 안전성 행동을 변경할 수 있음을 시사하지만, 정렬 도메인 전반에 걸친 그 광범위한 영향은 여전히 잘 이해되지 않는다. 우리는 지도 미세조정(SFT), KL 정규화 지도 미세조정, 검증 가능한 보상을 이용한 강화학습(RLVR)을 포함한 대표적인 과제 적응 방법을 체계적으로 평가하여 이 공백을 해소한다. 평가는 안전성, 사실성, 입장 안정성, 사회적 해로, 제어 가능성, 지시 따르기 능력(instructability)의 6개 핵심 도메인에 걸친 15가지 정렬 측면을 아우른다. 결과는 사후 학습이 정렬을 균일하게 재형성하지 않음을 보여준다. RLVR은 과제 성능을 향상시키면서 비교적 작지만 0이 아닌, 지표별 변화를 유발하는 반면, SFT는 도메인 전반에 걸쳐 훨씬 더 큰 정렬 드리프트를 초래한다. KL 정규화는 이 효과를 완화한다. 더 강한 참조 모델 앵커링은 기준선으로부터의 정렬 드리프트를 줄이지만, KL-SFT는 정렬 보존 면에서 여전히 RLVR에 미치지 못한다. 표현 수준 분석은 정렬 관련 표현의 변화가 행동적 드리프트를 따라간다는 점에서 이 패턴을 더욱 뒷받침한다. 종합하면, 이러한 결과는 과제 적응이 단순한 역량 향상 단계가 아니라 그 자체로 정렬 개입임을 보여주며, 다차원 정렬 평가를 사후 학습 파이프라인의 표준 구성 요소로 삼을 필요성을 제기한다.
원자력 산업에 대규모 언어 모델(LLM)을 통합하려면 도메인 특화 지식에 기반한 출력이 필요하다. 본 연구는 미국 원자력 규제위원회(NRC) 원자로 운전원 면허 시험을 기준으로 8가지 모델-검색 구성을 벤치마킹하여, 310억 매개변수 오픈 가중치 다중모달 모델(Gemma 4 31B-IT)의 원자력 지식 적용 능력을 평가한다. 2015–2021년 3월 시행분의 Generic Fundamentals Examination(GFE) 14회(가압수형 원자로 7회, 비등수형 원자로 7회)를 표준 80% 인간 합격 기준으로 평가한다. 기본 모델을 Gemini로 증류한 사고의 연쇄(Chain-of-Thought, CoT) 근거에 대한 지도 미세조정(SFT), 미국 에너지부 Fundamentals Handbook에 대한 BM25 희소 검색을 활용한 검색-증강 생성(RAG), 검색-증강 미세조정(RAFT)을 적용한 구성과 비교한다. 검색 파이프라인 내에서 고정 크기 슬라이딩 윈도우 청킹과 구조 인식 청킹을 비교한다. 고정 크기 청킹 RAG를 결합한 SFT 구성은 14회 시험 중 8회에서 기준을 충족하여 모든 대안을 능가했으며, 미세조정 없는 구성은 어느 시험도 통과하지 못했다. 전체 정확도는 79.7%에 달했으며, 신뢰구간이 임계값을 포함했고, PWR 항목에서는 구체적으로 80.2%였다. 또한 두 가지 규칙성이 나타났다: 선호되는 청킹 전략은 모델의 학습 상태에 따라 역전되며, RAFT는 검색 환경을 맞춘 표준 SFT에 비해 성능이 낮았다. 이 결과는 어떤 미세조정과 검색 접근법의 조합이 운전원 수준의 역량에 도달하는지를 보여준다.
웹 규모(web-scale) 데이터셋에서 대규모 언어 모델(LLM)을 사전학습하는 것은 범용 AI 발전의 기반이 되고 있다. 반면, 하위 태스크(downstream tasks)에서의 예측 성능을 향상시키는 것은 일반적으로 미세조정을 통해 지식을 적응시키는 과정을 포함한다. 매개변수 효율적 미세조정(parameter-efficient fine-tuning) 기법, 예를 들어 Low-Rank Adaptation(LoRA)은, 사전학습된 모델을 동결하고 더 적은 수의 매개변수만 갱신함으로써 이 과정의 계산 비용을 줄이는 것을 목표로 한다. 전체 미세조정과 비교하면, 구성에 따라 이러한 방법은 학습 가능한 매개변수 수를 99% 이상 줄인다. 불행히도 LLM의 규모가 계속 커지면서 이러한 감소만으로는 부족할 수 있다. 본 연구에서는 LoRA 또는 그 변형을 사용하여 미세조정할 소수의 층만 체계적으로 선택함으로써 앞서 언급한 문제를 해결한다. 모든 층이 모델 적응에 동등하게 기여하는 것은 아니라고 주장하며, 이를 활용하여 내부 표현(internal representations) 변화에 대한 기여도를 측정함으로써 미세조정에 가장 관련 있는 층을 식별한다. 제안 방법은 기존 저랭크 적응(low-rank adaptation) 기법과 직교(orthogonal)하며 쉽게 호환된다. 다양한 모델과 태스크에서 예측 성능을 유지하면서 LoRA 기반 기법의 학습 가능한 매개변수를 최대 50%까지 줄인다. 구체적으로, 인코더 전용(encoder-only) 아키텍처에서는 학습 가능한 매개변수 감소가 GLUE 벤치마크에서 무시할 만한 수준의 예측 성능 하락만을 초래한다. 디코더 전용(decoder-only) 아키텍처에서는 수학 문제 해결 능력과 코딩 태스크에서 예측 성능의 소폭 하락 또는 심지어 향상을 달성한다. 마지막으로, 이러한 효과는 멀티모달(multimodal) 모델에도 확장되며, 모든 층에 LoRA 모듈을 적용한 미세조정 대비 경쟁력 있는 결과도 관찰한다. 코드는 다음에서 확인할 수 있다: https://github.com/c2d-usp/Layer-wise-LoRA-with-CKA
트랜스포머 기반 모델은 언어, 비전, 멀티모달 태스크 전반에서 전례 없는 능력을 가능하게 하였다. 트랜스포머 모델의 온디바이스 미세조정은 개인화 AI를 위한 프라이버시 보호 경로를 제공하지만, 심각한 메모리 제약과 학습 중 어텐션 메커니즘에서의 빈번한 레이아웃 변환으로 인해 모바일 GPU에서는 여전히 비효율적이다. 기존 모바일 학습 프레임워크는 순전파와 역전파에 통합 레이아웃을 사용하여 역전파 시 단편화된 메모리 접근과 낮은 GPU 활용률을 초래하거나, 명시적 레이아웃 변환에 의존하여 상당한 변환 오버헤드를 유발한다. 이를 극복하기 위해, 우리는 모바일 GPU 플랫폼과 텐서 구성을 공동 설계하는 레이아웃 인식 프레임워크인 FBLayout을 제안한다. FBLayout은 다음을 도입한다: (1) 순전파/역전파 전반의 다차원 축약을 위한 통합 R-Tile 레이아웃; (2) 물리적 데이터 이동을 제거하는 타일 기반 인덱스 변환; (3) 효율적인 레이아웃을 전역적으로 전파하는 활성화 기반 레이아웃 선택. 서로 다른 모바일 기기( ARM Mali 및 Qualcomm Adreno GPU 포함)에서 7개의 트랜스포머 모델에 대한 평가 결과, FBLayout은 MNN, TFLite, TVM 대비 2.2-5.7배의 속도 향상을 달성하며, 캐시 효율을 크게 개선하고 메모리 사용량을 줄여 실용적인 온디바이스 대규모 모델 미세조정을 가능하게 한다.
LoRA 어댑터는 몇 메가바이트에 불과하지만, 거의 모든 사람이 이를 뒤에 있는 데이터의 기록이 아니라 일종의 능력으로 취급한다. 우리는 그 가정을 검증한다. 압축 기반 기억화(memorization) 분석을 고정 베이스(frozen-base) 설정으로 확장하여, 저랭크(low-rank) 어댑터가 전혀 변경하지 않는 모델에 몇 비트만큼 기록하는지를 직접 측정한다. 그 답은 전체 미세조정보다 작으며, 매개변수 개수로 예측하는 것보다 덜 규칙적이다. 어댑터는 학습 가능한 매개변수당 몇 비트 정도를 저장하며, 이는 전체 모델의 예산에 훨씬 못 미치지만, 그 수치는 어댑터가 얼마나 많은 매개변수를 갖는지보다 어디에 위치하는지에 더 크게 좌우된다. 동일한 매개변수 예산을 어텐션에서 MLP로 옮기면 거의 두 배 가까이 담을 수 있고, 고정 베이스의 구조를 제거하면 용량은 거의 사라진다. Qwen2.5에 대한 현실적인 미세조정에 적용하면, 동일한 측정 도구는 프라이버시 누출이 어댑터가 명목상 갖는 매개변수 수가 아니라 어댑터가 기록하는 비트 수에 따라 증가함을 보여 주며, 지도 미세조정과 강화학습 사이에 뚜렷한 경계를 그어 준다. 지도 미세조정이 그대로 복사해 내려 놓는 비밀은, 검증 가능한 보상으로 학습된 어댑터는 결코 기록하지 않는다. 사후에 공격하는 대신 미세조정이 무엇을 기록하는지 측정하는 것은, 일종의 미신을 설계에 대응할 수 있는 정량으로 바꾼다.
장기 기상 예보는 대기 과학의 근본적인 과제이며, 자기회귀적 심층 학습 기상 예측(Deep Learning Weather Prediction, DLWP)이 주요 패러다임으로 부상했다. 자기회귀 파이프라인은 확장성과 유연성이 매우 높지만, 예측 오차는 긴 예보 구간에서 빠르게 증가한다. 본 연구에서는 이 오차 증가 현상을 이론적·실증적 관점 모두에서 분석한다. 분석 결과, 이러한 증가는 출력 오차와 입력 분포 변화 사이의 피드백 루프에 의해 촉진됨을 밝혔다. 구체적으로, 자기회귀 과정은 초기의 작은 출력 오차를 증폭시키고, 이는 후속 입력 분포를 점진적으로 왜곡하며, 대기 과학의 나비 효과를 연상시키고 궁극적으로 더 긴 구간에서 예보 정확도를 저하시킨다. 또한 이 분포 변화는 추론의 가장 이른 단계에서 기인하며, 첫 번째 자기회귀 단계만으로도 분포 외(out-of-distribution) 특성이 감지 가능함을 보였다. 이 문제를 완화하기 위해, 우리는 \textbf{Self-Output Fine-Tuning (SOFT)}를 제안한다. 이는 플러그 앤 플레이 전략으로, 모델 자체의 1-step 예측을 활용하여 첫 단계에서 발생하는 편향된 입력 분포를 보정한다. 광범위한 실험을 통해, 단순함에도 불구하고 SOFT가 장기 예보 과제에서 최첨단(state-of-the-art) 성능을 달성하고 예측 오차와 분포 불일치를 모두 크게 줄임을 입증했다. SOFT의 성공은 심층 학습 기상 예측의 근본적 파이프라인을 재검토하는 것의 중요성을 부각하며, 대기 과학을 위한 중요한 파이프라인 발전을 나타낸다.