Adaptive Label Smoothing with Self-Knowledge in Natural Language Generation
원문 초록
Overconfidence has been shown to impair generalization and calibration of a neural network. Previous studies remedy this issue by adding a regularization term to a loss function, preventing a model from making a peaked distribution. Label smoothing smoothes target labels with a pre-defined prior label distribution; as a result, a model is learned to maximize the likelihood of predicting the soft label. Nonetheless, the amount of smoothing is the same in all samples and remains fixed in training. In other words, label smoothing does not reflect the change in probability distribution mapped by a model over the course of training. To address this issue, we propose a regularization scheme that brings dynamic nature into the smoothing parameter by taking model probability distribution into account, thereby varying the parameter per instance. A model in training self-regulates the extent of smoothing on the fly during forward propagation. Furthermore, inspired by recent work in bridging label smoothing and knowledge distillation, our work utilizes self-knowledge as a prior label distribution in softening target labels, and presents theoretical support for the regularization effect by knowledge distillation and the dynamic smoothing parameter. Our regularizer is validated comprehensively, and the result illustrates marked improvements in model generalization and calibration, enhancing robustness and trustworthiness of a model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
사고의 연쇄(Chain-of-Thought) 엔트로피는 무엇을 측정하는가? 스캐폴딩, 라우팅, 콘텐츠에 대한 채널 감사
What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content
사고의 연쇄 토큰에 대한 엔트로피는 어떤 토큰이 정책 그래디언트를 받는지, 어떤 토큰이 가지치기되는지, 한 실행(run)이 붕괴했는지를 결정하지만, 이러한 각 통계량은 세 가지 선택—연결 스캐폴딩(connective scaffolding)을 낼지 여부, 어떤 연결어를 쓸지, 실질적(substantive) 후속이 무엇이어야 하는지—를 섞은 다음 토큰(next-token) 분포를 읽는다. 스캐폴드 어휘 부분집합을 지정하면 엔트로피, Kullback–Leibler(KL) 발산, 소프트맥스 정책의 1차 엔트로피 속도(velocity)에 대해 이 세 가지를 정확히 분리한다. 우리는 raw 규약과 content 규약이 명시적 개 영역(open region)에서 어느 위치가 더 큰 분기(fork)인지에 대해 불일치함을 증명하고, 답 다양성(answer diversity)을 콘텐츠 채널(content channel)과 측정된 witness가 보증하는 leakage 항(leakage term)으로 상한(bound)한다. 23가지 구성(configuration) 전반에서 스캐폴드 측은 raw 고엔트로피 집합의 최대 41%를 차지한다. matched-tokenizer ladder에서는 coupling이 math-corpus 단계에서만 바뀌는 반면, 스캐폴드의 엔트로피 점유율은 지식 증류(distillation)를 거치며 계속 커진다. 한 채널 상관(correlation)으로부터의 닫힌 형(closed-form) 예측은 피팅 없이(unfitted) 54포인트 구간의 선택 유지(selection retention)를 5포인트까지 추적한다. 압축(compression)에서는 content 규약이 모든 셀(cell)에서 raw surprisal을 능가한다. 답 leakage 감사(audit)는 우리 자신의 헤드라인 대조(headline control)를 바로잡는다. 재투입(re-fed)된 사고의 연쇄는 재진술된 답(restated answers)으로 정확도의 4분의 1에서 절반을 얻으며, 이를 제거하면 어떤 토큰 스코어러(token scorer)도 무작위 연속 블록(random contiguous block)을 이기지 못한다.
온-정책 증류에서 프롬프트 폭과 롤아웃 갱신의 상호작용
Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation
온-정책 증류(on-policy distillation, OPD)에는 얼마나 많은 프롬프트가 필요하며, 그 답은 학습 응답을 생성하는 학생 정책에 따라 어떻게 달라지는가? 본 연구는 프롬프트 폭(prompt breadth)과 롤아웃 갱신(rollout refresh)이라는 두 가지 제어 요소를 함께 연구한다. 3x3 수학적 추론 실험은 14,080개의 궤적(trajectory)과 110회의 옵티마이저 업데이트를 고정한 채, 프롬프트 뱅크와 응답을 생성하는 정책 스냅샷의 수를 달리한다. 스냅샷이 10개일 때, 8개의 프롬프트로 평균 정확도 24.09%에 도달하며, 이는 14,080개의 서로 다른 프롬프트를 사용했을 때의 24.51%에 근접한 수치이다. 그러나 응답을 초기 정책에 고정한 경우에는 프롬프트 폭을 늘리면 정확도가 21.16%에서 19.05%로 낮아지는 반면, 업데이트마다 갱신하는 경우에는 정확도가 23.61%에서 25.57%로 높아진다. 그 결과로 나타나는 상호작용은 4.07%p이며, 질문 단위로 짝지은(question-paired) 95% 구간은 [2.00, 6.28]이다. 두 교사 모델(teacher)에서 매칭된 비교를 수행하면 두 번째 역전 현상이 드러난다. 주기적으로 갱신한 모델은 짧은 예산에서 더 높은 정확도와 답변 완결률을 보이지만, 32K 출력 제한에서는 응답 토큰을 1.7~1.8배 더 사용하는 응답 고정 모델이 평균 정확도에서 앞선다. 이러한 결과는 OPD에서 프롬프트 효율성이 갱신 방식과 추론 예산 모두에 의존할 수 있음을 보여준다.
멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
바이트 접두사 주변화를 통한 크로스-토크나이저 온-정책 지식 증류
Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
서로 다른 계열의 오픈 가중치 언어 모델은 상호 보완적인 능력을 보이며, 이는 온-정책 지식 증류(OPD)를 통해 이를 소형 학생 모델로 통합하려는 동기가 됩니다. 그러나 전체 어휘집 OPD는 일반적으로 공유 토크나이저를 가정하는 반면, 기존 크로스-토크나이저 방법은 교사 모델의 확률 질량을 버리거나 관련 없는 내용의 학생 토큰에 할당할 수 있습니다. 우리는 교사의 다음 토큰 분포를 공유 바이트 공간에서 학생 어휘집 위로 재표현하는 Byte-Prefix Marginalization(BPM)을 제안합니다. 구체적으로 BPM은 각 교사 토큰의 확률을, 해당 토큰의 바이트 표현이 교사 토큰 바이트의 접두사인 학생 토큰 중 가장 긴 토큰에 할당하고, 동일한 학생 토큰에 매핑된 질량을 집계하며, 그렇지 않아 매칭되지 않은 질량은 명시적 잔여 범주에 둡니다. 이는 dense OPD를 위한 어휘집 전체를 포괄하고 바이트 정렬되며 질량을 보존하는 목표를 생성합니다. 해당 목표는 관련 접두사가 여러 교사 토큰에 걸치지 않을 때(학습 위치의 99% 이상에서 충족되는 조건) 교사가 유도한 바이트 접두사 주변화를 정확히 복원하고, 그렇지 않은 경우에는 질량을 보존하는 연쇄 분해 하한을 사용합니다. Qwen3-32B, GLM-Z1-9B-0414, MiniMax-M2.7을 교사로 사용한 실험에서 BPM은 6개의 수학 및 프로그래밍 벤치마크에서 기존 크로스-토크나이저 방법을 일관되게 능가하며, 6개 벤치마크 avg@8에서 가장 강한 기준선 대비 3.7–6.6점을 개선했습니다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.