PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.19266v3cs.CL

FormalASR: 구어 중국어를 공식 텍스트로 End-to-End 변환

FormalASR: End-to-End Spoken Chinese to Formal Text

음성 인식(ASR) 시스템은 일반적으로 충실 전사(verbatim transcription)에 최적화되어 있으며, 이는 불유창성, 군더더기 단어, 구어체 구조를 그대로 보존하여 글쓰기 중심의 하위 응용에 종종 부적합합니다. 흔한 우회 방법은 후편집을 위한 2단계 ASR+LLM 파이프라인이지만, 이 설계는 지연 시간과 메모리 비용을 증가시키며 온디바이스 배포가 어렵습니다. 본 연구는 구어 중국어를 공식적인 문어체 텍스트로 직접 전사하는 두 가지 소형 end-to-end 모델(0.6B, 1.7B)인 FormalASR을 제안합니다. 이를 위해 LLM 기반 재작성과 품질 필터링으로 구성한 대규모 구어-공식 텍스트 데이터셋 WenetSpeech-Formal과 Speechio-Formal을 구축했습니다. 이어서 두 규모(0.6B, 1.7B)의 Qwen3-ASR을 지도 미세조정으로 미세조정했습니다. WenetSpeech-Formal과 Speechio-Formal에서의 실험 결과, FormalASR은 충실 전사 기준선 대비 최대 37.4% 상대 CER 감소를 달성했으며, ROUGE-L과 BERTScore도 개선했습니다. FormalASR은 배포 시 후처리 LLM이 필요 없어, 구어-공식 텍스트 전사를 위한 경량 온디바이스 솔루션을 제공합니다.

arXiv:2601.08648v2cs.CL

극한에서의 안전한 언어 생성

Safe Language Generation in the Limit

최근 극한에서의 언어 학습(learning in the limit) 관련 결과들은, 언어 식별(language identification)은 불가능함에도 불구하고 언어 생성(language generation)은 다룰 수 있음(tractable)을 보여 주었다. 이 기초 영역이 확장됨에 따라 실세계 환경에서의 언어 생성의 함의를 고려할 필요가 있다. 본 연구는 안전한 언어 생성에 대한 최초의 이론적 분석을 제공한다. 극한 학습(learning in the limit)의 계산 패러다임을 바탕으로, 안전한 언어 식별 및 생성 과제를 형식화한다. 우리는 이 모델 하에서 안전한 언어 식별이 불가능함을, 또한 안전한 언어 생성이 (일반) 언어 식별만큼은 어렵다는 것—이 역시 불가능한 문제—을 증명한다. 마지막으로 여러 다루기 어려운(intractable) 경우와 다룰 수 있는(tractable) 경우를 논의한다.

arXiv:2604.20328v2cs.CV

HyLaR: 분리된 정책 최적화를 통한 하이브리드 잠재 추론

HyLaR: Hybrid Latent Reasoning with Decoupled Policy Optimization

사고의 연쇄(Chain-of-Thought, CoT) 추론은 멀티모달 대규모 언어 모델(MLLM)의 복잡한 문제 해결 능력을 크게 향상시킨다. 그러나 비전에 CoT를 적용할 때는 일반적으로 LLM 입력에 맞추기 위해 신호를 이산화하며, 이로 인해 조기 의미 붕괴가 발생하고 세밀한 세부 정보가 버려진다. 외부 도구로 이를 완화할 수 있지만, 경직된 병목을 도입하여 추론을 사전 정의된 연산에 국한시킨다. 최근 잠재 추론(latent reasoning) 패러다임은 이러한 한계를 극복하기 위해 시각 상태를 내재화하지만, 그 결과로 생기는 하이브리드 이산-연속 행동 공간의 최적화는 여전히 어렵다. 본 연구에서는 이산 텍스트 생성과 연속적인 시각 잠재 표현을 원활하게 교차 배치하는 프레임워크인 HyLaR(Hybrid Latent Reasoning)을 제안한다. 구체적으로, 초기 콜드스타트 지도 미세조정(SFT) 이후, 이러한 하이브리드 공간에서 효과적인 강화학습을 가능하게 하는 DePO(Decoupled Policy Optimization)를 도입한다. DePO는 정책 그래디언트 목적을 분해하여 텍스트 구성 요소와 잠재 구성 요소에 각각 독립적인 신뢰 영역(trust-region) 제약을 적용하고, 정확한 폐형식 von Mises-Fisher(vMF) KL 정규화를 함께 사용한다. 광범위한 실험을 통해 HyLaR이 표준 MLLM 및 최첨단 잠재 추론 접근법보다 세밀한 인지와 일반 멀티모달 이해 벤치마크에서 우수함을 입증한다. 코드는 https://github.com/EthenCheng/HyLaR 에서 이용 가능하다.

arXiv:2603.10863v2cs.CV

순차적 거리를 넘어: 모달 간 거리 불변 위치 인코딩

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

다중모달 대규모 언어 모델(MLLM)의 놀라운 능력에도 불구하고, 긴 컨텍스트 시나리오에서 여전히 시각적 페이딩(visual fading) 문제를 겪는다. 구체적으로, 텍스트 시퀀스가 길어질수록 시각 토큰에 대한 어텐션이 약해져 시각적 제약에서 벗어난 텍스트 생성이 발생한다. 우리는 이러한 성능 저하의 원인을 다중모달 RoPE의 고유한 귀납적 바이어스에 두는데, 이는 시각 토큰과 텍스트 토큰 사이의 거리가 증가할수록 모달 간 어텐션에 페널티를 부과한다. 이를 해결하기 위해, 모달리티 상호작용에 기반하여 위치 인코딩을 분리하는 단순하지만 효과적인 메커니즘인 모달 간 거리 불변 위치 인코딩(DIPE)을 제안한다. DIPE는 모달 내 상호작용에 대해 자연스러운 상대적 위치 관계를 유지하여 지역 구조를 보존하면서, 모달 간 상호작용에 대해서는 고정된 지각적 근접성을 강제한다. 이 전략은 모달 간 거리 기반 페널티를 효과적으로 완화하여, 컨텍스트 길이와 관계없이 시각 신호가 지각적으로 일관되게 유지되도록 한다. 실험 결과, DIPE를 다중모달 RoPE와 통합하면 모델이 긴 컨텍스트 시나리오에서 안정적인 시각적 그라운딩(visual grounding)을 유지하며, 시각적 페이딩을 크게 완화하면서 표준 단기 컨텍스트 벤치마크에서의 성능은 보존함을 보여준다. 코드는 https://github.com/lchen1019/DIPE 에서 제공된다.

arXiv:2506.07460v2cs.CV

SIGNER: 시간 해상도 조건화를 통한 시간적 그라운딩 수어 생성

SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning

수어 생성(SLG, sign language generation)은 텍스트-수어 생성(text-to-sign generation)으로도 알려져 있으며, 수어 사용자와 비수어 사용자 간의 의사소통 격차를 해소하는 것을 목표로 한다. 다른 많은 생성 과제와 달리 SLG는 두 가지 근본적인 언어학적 제약을 만족해야 한다. 첫째, 수어는 gloss라고 불리는 단어와 유사한 단위에 정렬된 제스처 순서를 통해 의미를 표현하므로, 의도한 의미를 보존하기 위해 올바른 어휘 순서(lexical ordering)가 필요하다. 둘째, 각 제스처는 의도된 gloss를 충실히 반영해야 한다(의미 정확도). 최근의 진전에도 불구하고, 기존 SLG 방법은 종종 잘못된 어휘 순서와 낮은 의미 정확도의 수어를 생성한다. 기존 접근법의 흔한 한계는 전역 융합(globally fused) 조건화 전략에서 비롯되며, 이는 gloss와 실제화된 수어 세그먼트 간의 시간적 대응, 즉 시간적 그라운딩(temporal grounding)을 약화시킨다. 이는 종종 잘못된 어휘 순서와 의미적으로 모호한 수어를 초래한다. 이 한계를 해결하기 위해, 우리는 시간적 그라운딩을 보장하기 위해 시간 해상도(timE-Resolved) 조건화를 갖춘 SIGN(SIGN language generation) 프레임워크인 SIGNER를 제안하며, temporal-gloss condition과 국소 시간 융합(LTF, local temporal fusion)을 활용한다. SIGNER는 입력 텍스트로부터 gloss sequence와 그 지속 시간을 추정하고, 시간 차원 전반에 gloss 의미를 할당하여 temporal-gloss condition을 구성한다. 다음으로, 우리는 디노이징(denoising) 과정 동안 제한된 시간 윈도우 내에서 temporal-gloss condition을 통합하는, 시간적 그라운딩된 융합 모듈인 LTF를 도입한다. 조건 융합에서 시간적 국소성(temporal locality)을 강제함으로써, LTF는 시간적 그라운딩을 유지하여 올바른 어휘 순서와 더 명확한 gloss별 의미를 달성한다. Phoenix-2014T와 CSL-Daily에서의 실험은 최신 최고(state-of-the-art) 성능을 보여주며, 모션 평활도(motion-smoothness) 분석으로 추가로 뒷받침된다. 프로젝트 페이지는 https://taeryunglee.github.io/projects/signer 에서 확인할 수 있다.

arXiv:2606.27474v1cs.SE

Speculative Refinement: 하이브리드 자기회귀-확산 디코딩 전략과 벤치마크 전반에 걸친 특성

Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks

자기회귀(AR) 디코딩과 확산 디코딩을 결합한 생성 시스템을 어떻게 평가해야 할까? 우리는 Speculative Refinement(SpecRef)를 통해 이 질문을 연구한다. SpecRef는 학습 없이 AR 초안(draft)으로 마스크된 확산 언어 모델을 웜스타트(warm-start)하고, 엔트로피 기반 선택적 마스킹을 사용하는 하이브리드 방법이다. HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag의 여섯 벤치마크에서 세 가지 평가 프로토콜(실행 기반 pass@1, exact-match, 가능도(log-likelihood) 채점)로 SpecRef를 평가한 결과, 본 시스템을 넘어서는 여러 발견을 드러낸다: (1) 코드 벤치마크는 구조적 탐색과 논리적 정확성을 혼동한다. 구문적 스캐폴드(syntactic scaffold)를 제공하면 모델을 변경하지 않고도 정확도가 거의 0에서 20% 이상으로 상승하여, 기준선 실패의 상당 부분이 구조적임을 시사한다; (2) 다단계 수정이 이미 올바른 토큰을 손상시키는 정제 긴장(refinement tension) 현상으로, 단일 모델 평가로는 보이지 않는 벤치마크 포화 한계가 드러난다; (3) 가능도와 생성적 평가는 동일한 모델 쌍에 대해 서로 다른 모델 순위를 산출하여, 서로 다른 역량을 측정함을 시사한다; (4) 표준 Python 후처리(post-processing)가 비-AR 생성기에 대해 코드 평가를 조용히 깨뜨린다. 이러한 관찰은 다단계 또는 비-자기회귀(non-autoregressive) 생성 파이프라인 전반에 적용되며, 더 진단적인 평가 관행을 가리킨다.

arXiv:2606.26879v2cs.AI

대규모 언어 모델 기반 종단 합성 임상 노트 생성 파이프라인

A Pipeline for Generating Longitudinal Synthetic Clinical Notes Using Large Language Models

실제 환자 데이터의 개인정보 위험 없이 임상 AI 개발·평가를 지원하기 위해, 구조화된 환자 생성·반구조화된 병원 여정 시뮬레이션·LLM 기반 임상 노트 생성을 결합한 모듈형 합성 임상 노트 파이프라인과 데이터셋을 제안한다. LLM 검증·증강으로 종단 기록의 내부 일관성과 서술 다양성을 높였으며, 전체 병원 여정에 걸친 20~50개 노트를 가진 합성 환자 70명 규모 데이터를 여러 검증 수준으로 공개한다.

arXiv:2606.23533v2cs.AI

POTracker: 표준 준수 정전 보고서 생성을 위한 대규모 언어 모델 최적화

POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

최근 대규모 언어 모델(LLM)은 일반적인 텍스트 생성에 능숙하지만, 출력이 엄격한 형식 및 구조 규칙을 따라야 하기 때문에 도메인 특화 데이터 생성에 활용하기는 여전히 어렵다. 질의응답이나 번역과 같은 개방형 과제와 달리, 도메인 특화 생성은 의미적으로 올바를 뿐만 아니라 기존 지침 및 표준을 준수해야 한다. 본 연구에서는 미국 전역의 유틸리티 정전 보고서 전국 상호운용성(interoperability) 문제를 연구한다. 실무에서는 정전 보고서가 기계 판독 가능해야 하며(예: JSON 또는 XML), 에너지 부문 규제 기관의 요구사항을 엄격히 따라야 한다. 이 문제를 해결하기 위해 정전 보고서 생성을 위한 최적화된 LLM인 POTracker를 제안한다. 제안한 목적 함수(objective)를 사용하여 Qwen2.5-7B-Instruct를 미세조정한다. 핵심 기여는 생성된 보고서와 정답(ground-truth) 보고서 간의 텍스트 유사도와 구조적(태그) 유사도를 모두 고려하는 새로운 손실 함수 POTrackerLoss이다. POTracker를 1,000건의 정전 보고서 데이터셋에서 평가하고, 널리 알려진 미세조정 방법 5가지 및 규칙 기반 XML 변환 방법 1가지와 비교한다. 결과는 POTracker가 다른 미세조정 접근법을 능가하며, 전체 정확도를 최대 51% 향상시키고 생성된 정전 보고서에 대해 86.47%의 구조적 정확도를 달성함을 보여준다. 또한 정답 표준 보고서의 품질을 평가하기 위한 인간 연구를 수행했으며, 도메인 전문가가 생성된 라벨에 0~5 척도에서 평균 4.03점을 부여했다.

arXiv:2606.27359v1stat.ML

가능성이 높은 답은 언제 맞을까? LLM에서의 시퀀스 확률과 정확성

When are likely answers right? On Sequence Probability and Correctness in LLMs

대규모 언어 모델(LLM)에서 디코딩(decoding) 방법·하이퍼파라미터·데이터셋·동일 프롬프트 반복 응답 등 네 수준에서 시퀀스 확률과 정확성의 관계를 정량화한 결과, 고정 데이터셋 내 프롬프트-답변 쌍에서는 더 높은 시퀀스 확률이 종종 정확성을 예측하지만 하이퍼파라미터나 방법을 바꿔 확률을 높여도 정확도가 안정적으로 개선되지는 않으며 동일 프롬프트에 대한 응답에서는 시퀀스 확률이 유용한 지표가 아니다. 이는 디코딩, 자기 일관성(self-consistency), 검증기 없는 자기 개선(verifier-free self-improvement)에서 확률을 언제 신뢰할 수 있는지에 대한 실용적 기준을 제시한다.

arXiv:2606.27291v1cs.LG

이식 가능한 쿼리 생성을 위한 보상 신호 설계: 산업용 시맨틱 구직 검색 사례 연구

Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search

산업용 의미 기반 구직 검색에서 구직자 프로필을 구직자별 식별자를 제거하면서도 일반화 가능한 자격을 담은 이식 가능한(portable) 쿼리로 생성하기 위해 RLAIF(AI 피드백 강화학습) 프레임워크를 제시하고, LLM-as-judge 보상 루브릭 결함을 이용한 원문 복사형 보상 해킹(reward hacking) 실패 모드를 분석한다. 크리틱(critic) 없는 최적화기에서는 알고리즘 선택보다 강건한 보상 형성(reward shaping)이 성능을 좌우하며, 원문 복사를 교정하는 결정론적 규칙 기반 보상 하한선(reward floor)이 크로스 패밀리 평가 판정에서 +0.147 품질 향상을 낳고 학습 시 보상 모델이 성능 이득을 2.4배 과장함을 보인다.

arXiv:2606.26744v1cs.LG

HyperDFlash: 게이트 잔차 축소를 통한 MHC 정렬 블록 투기적 디코딩

HyperDFlash: MHC-Aligned Block Speculative Decoding with Gated Residual Reduction

DeepSeek-V4의 다중 하이퍼 연결(MHC) 아키텍처에 맞춘 블록 병렬 투기적 디코딩(speculative decoding) 프레임워크 HyperDFlash는 사전 접합(pre-collapse) 잔차 조건화, 하이퍼 연결 헤드에서 상속한 경량 게이트 잔차 축소기, LM 헤드 KL 증류로 MHC와 DFlash 간 특징 불일치를 해소한다. 수학·코드·대화 벤치마크에서 네이티브 MTP와 순수 DFlash보다 평균 수용 draft 길이와 디코딩 속도를 크게 높였다.

arXiv:2606.26660v1hep-th

트랜스포머를 이용한 특수 삼각분할 생성

Generating Special Triangulations with Transformers

4차원 반사 폴리토프의 FRST(fine, regular, and star triangulation)는 칼라비-야우 쓰리폴드와 끈 이론 연구에 핵심적이지만 조합적 복잡성으로 생성이 어렵다. 폴리토프·삼각분할 전용 인코딩과 데이터 증강을 적용한 인코더-디코더 트랜스포머 CYTransformer가 다양한 크기의 폴리토프에서 새 FRST를 대표적으로 생성하고, 자체 출력 재학습을 통한 자기 개선도 가능함을 보였다.

arXiv:2606.26472v1cs.LG

어텐션 행렬 없는 에피파니 인식 KV 캐시 제거

Epiphany-Aware KV Cache Eviction Without the Attention Matrix

긴 사고의 연쇄로 KV 캐시가 배포 병목이 되는 문제에서, EpiKV는 어텐션 행렬 없이 순전파의 내부 표현 변화를 에피파니 점수로 삼아 토큰을 제거하며 학습·분류기·커스텀 커널 없이 FlashAttention 추론 스택에 그대로 적용 가능하다. 4096 토큰 캐시에서 MATH-500 72%로 어텐션 기반 최강 기준선과 동등하고, 8192 토큰에서 AIME-2024 37%로 기존 최고(33%)를 넘기며 최대 2.8배 빠른 속도를 달성한다.

arXiv:2606.27306v1cs.CL

다국어 추론 캐스케이드에는 더 많은 컨텍스트가 필요하다

Multilingual Reasoning Cascades Need More Context

추론을 위한 번역 캐스케이드(translation cascade)는 다른 언어의 쿼리를 영어로 번역하고, 영어로 추론한 후, 답변을 원래 언어로 다시 번역한다. 이는 다국어 추론에 경쟁력 있는 접근 방식이지만, 구조적으로 손실이 발생한다. 각 단계에서 이후 단계가 필요로 할 수 있는 정보, 즉 문화적 그라운딩(cultural grounding), 문체(register), 중의성 해소(disambiguation) 단서 등이 버려지기 때문이다. 우리는 간단하고 학습이 필요 없는 개입의 이점을 검토한다: 문맥 인식 번역 캐스케이드(context-aware translation cascade)로, 원본 질문, 영어로 번역된 질문, 그리고 추론 트레이스를 최종 번역 모듈의 컨텍스트에 추가로 제공한다. 우리는 다양한 태스크 유형을 포함한 9개의 다국어 벤치마크, 3개의 백본 모델, 그리고 285개의 고자원·중자원·저자원 언어에 걸쳐 성능 향상을 평가하며, 모델과 자원 환경 전반에 걸쳐 개방형 생성(open-ended generation)에서 강력한 성능 향상을 입증한다. 우리는 원본 언어 질문이 유익한 컨텍스트의 대부분을 제공함을 보인다. 본 연구는 오류 전파를 완화하기 위해 기계 번역 캐스케이드에서 정보 흐름을 더 잘 설계할 필요성을 강조하며, 간단하고 실행 가능한 기본 전략을 제시한다: 파이프라인 끝까지 원본 사용자 질문을 보존하라.

arXiv:2606.26654v1cs.CL

SocialPersona: 멀티모달 소셜 미디어 컨텍스트 기반 개인화 프로파일링 및 응답 벤치마킹

SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context

SocialPersona는 171명의 종단적 소셜 미디어 타임라인(텍스트·이미지·타임스탬프)에서 드러난 선호를 복원해 프로파일을 구축하고 대화에 반영하는 멀티모달 LLM(MLLM) 개인화 능력을 평가하는 벤치마크로, 안정적 관심과 최근 관심을 구분하는 7개 도메인·2,597개의 사람 검증 선호 태그를 제공한다. 독점·오픈 가중치 MLLM 실험에서는 넓은 관심 도메인 식별은 가능하나 세분화·최근 관심 추론과 추론된 프로파일 기반 대화 개인화에서 성능이 크게 떨어지며, 텍스트와 이미지가 상보적 선호 신호를 제공한다는 점에서 강건한 cross-modal 장기 사용자 모델링이 핵심 과제로 남아 있음을 보인다.

arXiv:2606.26566v1cs.CR

모달리티를 아우르는 적대적 확산: 텍스트, 비전, 비전-언어 모델의 공격·방어·평가에 대한 융합 서베이

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

텍스트·LLM, 이미지 분류기, 비전-언어 모델, 확산 기반 방어로 분절된 적대적 확산 연구를 단일 프레임워크로 통합한 서베이로, 50편을 6계급 분류 체계와 5차원 평가 기준(공격 성공률, 전이성, 쿼리 예산, perplexity, 방어 회피)으로 정리하고 LLM 측 문헌의 반복적 약점과 후속 연구 의제를 제시한다. 공격자-방어자 이중 관점으로 확산 기반 공격·방어를 모달리티 전반에 걸쳐 비교하며, 동반 카탈로그와 스프레드시트를 함께 공개한다.

arXiv:2606.26120v1cs.CL

Dynamic-dLLM: 동적 캐시 예산 및 적응형 병렬 디코딩을 통한 학습 없는 Diffusion LLM 가속

Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM

확산 대규모 언어 모델(dLLM)은 시퀀스 길이에 따라 계산 복잡도가 L³로 증가하고 KV 캐싱이 어려워 긴 시퀀스·실시간 추론에 병목이 된다. Dynamic-dLLM은 학습 없이 층별 토큰 동역학에 맞춰 캐시 업데이트 예산을 적응 할당하는 DCU와 디코딩 임계값을 동적으로 보정하는 APD로 추론을 가속하며, LLaDA·Dream 등과 MMLU, GSM8K, HumanEval에서 성능을 유지한 채 평균 3배 이상의 속도 향상을 달성한다.

arXiv:2606.26112v1cs.CL

어휘집에서 AI까지: 저자원 언어 특화 대화형 시스템을 위한 구조화 데이터 파이프라인

From Lexicon to AI: A Structured-Data Pipeline for Specialized Conversational Systems in Low-Resource Languages

저자원 언어에서 대규모 학습 말뭉치 없이 특화 대화형 시스템을 만들기 어려운 문제를, Hindi WordNet 같은 구조화된 어휘 자원을 125만 개 instruction-response 쌍으로 변환한 뒤 4-bit 양자화 LoRA로 120억 매개변수 언어 모델을 파인튜닝하는 체계적 파이프라인으로 해결한다. 힌디어 언어 학습 챗봇 평가에서 구조화 지식 기반 시스템은 교육적 효과 91.0(범용 모델 79.4–83.6)을 달성하면서 의미적 성능과 일관성도 경쟁력 있게 유지했다.

arXiv:2606.21097v2cs.CL

GRAG: 개인화 대화 시스템을 위한 범용 응답 증강 생성 프레임워크

GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems

자원이 제한되거나 프라이버시에 민감한 환경에서 개인화와 문맥 그라운딩을 한꺼번에 학습하는 기존 방식의 한계를 GRAG(Generic Response-Augmented Generation)가 고용량 범용 LLM의 오프라인 범용 응답을 스캐폴드로 활용해 콘텐츠 그라운딩과 페르소나 주입을 분리함으로써 해결한다. 사전·사후 융합 아키텍처로 구현한 GRAG는 여러 벤치마크 대화 데이터셋에서 보조 스캐폴딩 없는 최신 방법 대비 ROUGE-2 최대 47%, BLEU 36% 향상을 보였다.

arXiv:2606.14122v2cs.CL

Perplexity를 넘어서: 바이트 인식 언어 모델의 UTF-8 유효성

Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models

바이트 수준 토큰화(tokenization) 언어 모델은 드물거나 미등장 문자에서 유효하지 않은 UTF-8 시퀀스를 생성할 수 있어, perplexity와 분리된 구조적 유효성 평가가 필요하다. 영·일·한·중 균형 말뭉치 800억 토큰으로 학습한 3.55억 매개변수 모델에서 UTF-8 유효성 수렴은 perplexity보다 약 2배 늦게(42억 vs 21억 토큰) 안정화되며, 컨텍스트 없는 생성에서는 흔한 문자가 드문 문자보다 구조적 유효성이 더 높다.