PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17609v1cs.CL

벤치마크 환상: 가지치기된 LLM은 객관식은 통과하지만 답변에는 실패한다

The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer

대규모 언어 모델(LLM)을 압축하면 메모리 사용량과 추론 비용이 줄어들지만, 표준 벤치마크가 놓치는 실패도 발생할 수 있다. 가지치기된 모델은 객관식 평가에서는 여전히 좋은 성능을 낼 수 있지만, 동일한 질문에 대해 개방형 생성에서는 답변에 실패할 수 있다. 우리는 가지치기가 무엇을 바꾸는지 묻는다: 정답을 지워버리는 것인가, 아니면 정답을 최상위 출력으로 생성하기 어렵게 만드는 것인가? 우리는 가지치기 전후에 동일한 질문을 추적하며, 다국어 질의응답을 통해 이 질문을 연구한다. 우리는 벤치마크 환상(benchmark illusion)을 발견한다. 높은 희소성 가지치기, 특히 Wanda에서, 모델은 객관식 채점에서는 정답을 선택하면서도 탐욕적(greedy) 개방형 생성에서는 종종 실패한다. 이러한 인식 전용(recognition-only) 오류에서 정답은 보통 사라진 것이 아니라 순위가 낮아진 것이다: 빔 탐색(beam search), 샘플링(sampling), 또는 하나의 문맥 내 예제(in-context example)로 종종 다시 나타난다. 전반적으로 객관식 벤치마크는 압축된 LLM의 실용성을 과대평가할 수 있으며, 평가의 사각지대를 만든다. 압축된 모델은 인식할 수 있는 것뿐만 아니라 생성할 수 있는 것에 대해 테스트되어야 한다.

arXiv:2606.17391v1cs.CL

NarrativeWorldBench: 장기 공동 창작 오디오 드라마를 위한 프론티어 포화 벤치마크와 잠재 세계 모델

NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama

200~800화 규모의 아크를 갖는 장편 연재형 오디오 드라마는 주요 창작 매체이며, 프론티어 대규모 언어 모델(LLM)이 실패하는 분야이기도 하다. 클래식, 파인튜닝, 오픈 프론티어, 클로즈드 프론티어, 추론 등급에 걸친 21개 모델을 동일한 구조적 내러티브 지표 집합으로 벤치마킹한다. 모든 클로즈드 프론티어 시스템은 플롯 비트 F1이 [0.78, 0.81] 구간에서 포화되며, 지평 h=200에서 약 -0.20 F1만큼 붕괴한다. NarrativeWorldBench를 제안한다. 이는 지평 h ∈ {10, 20, 50, 100, 200}에서 평가되는 9개의 내러티브 구조 지표로 구성된 공개 벤치마크이며, 힌디어, 타밀어, 텔루구어, 마라티어 등 4개 인도어에 대한 교차 언어 평가를 포함한다. N-VSSM(Narrative Variational State-Space Model)을 제안한다. 이는 이벤트 조건부 사후분포와 8B 디코더를 갖춘 Mamba-2 백본을 통해 200화 이상에 걸쳐 구조화된 256차원 잠재 세계 상태를 유지한다. N-VSSM은 클로즈드 프론티어 구간 대비 4배 낮은 연산량으로 모든 지평에서 플롯 비트 F1 >= 0.84를 유지한다. 학습된 Cultural Transfer Function은 교차 언어 충실도를 Likert 척도 +0.20~+0.23점만큼 향상시킨다. 전문 작가 12명(n = 12, 240 trials)을 대상으로 한 피험자 내(within-subjects) 작가 연구에서, N-VSSM은 장기 아크 일관성에서 Claude Opus 4.5보다 71%의 경우 선호되었으며, 제어 가능성(controllability)에서는 Likert 척도 +1.3점 더 높게 평가되었다.

arXiv:2606.17213v1cs.CL

3D CT 리포트 생성을 위한 LLM 적응 재검토: 스케일링과 진단 사전 지식에 대한 연구

Revisiting LLM Adaptation for 3D CT Report Generation: A Study of Scaling and Diagnostic Priors

최근 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 포함한 멀티모달 학습의 발전은 자연 이미지에 대한 강한 적응력을 보여주었다. 그러나 이를 의료 영역, 특히 체적(3D) 이미지에 확장하는 것은 높은 계산 복잡도, 체적 의존성, 시각 특징과 임상 용어 간의 의미적 격차로 인해 어렵다. 제한된 의료 데이터로 LLM을 단순히 미세조정하면 종종 과적합과 임상 환각이 발생하며, 이 경우 언어적 유창성이 임상적 사실성보다 우선시된다. 본 연구에서는 체적 CT 리포트 생성을 위한 매개변수 효율적 적응 전략을 조사하고, 광범위한 매개변수 학습의 필요를 최소화하는 경량 진단 사전 지식 조건화 프레임워크인 RAD3D-Prefix를 제안한다. 이 모듈은 이미지 임베딩과 다중 라벨 진단 분류 logit을 통합하여 의미적 격차를 줄이면서 중요한 임상 세부 정보를 보존한다. LLM을 동결함으로써, 우리 방법은 최소한의 학습 가능 매개변수만 필요로 하며 소규모 도메인 특화 데이터셋에서 과적합 위험을 완화한다. 96.1M부터 1.6B 매개변수에 이르는 LLM에 걸친 체계적 연구를 통해, 미세조정은 더 작은 LLM에 가장 유익한 반면, 더 큰 LLM(~1B+)을 동결하고 경량 투영층만 학습하는 것이 성능, 일반화, 계산 효율성 사이의 우수한 절충을 제공함을 확인했다. 여러 자동 지표와 임상 판독자 연구 전반에 걸쳐, RAD3D-Prefix는 유사한 매개변수 효율적 기준선들을 능가하며, 완전 미세조정 대안보다 훨씬 적은 학습 가능 매개변수를 사용하면서 강한 도메인 외 일반화를 보여준다.

arXiv:2606.17175v1cs.CL

확산 언어 모델에서 토큰 편집을 위한 자기 생성 오류 학습

Self-Generated Error Training for Token Editing in Diffusion Language Models

토큰 대 토큰(T2T) 편집은 LLaDA2.1이 블록 확산(block-diffusion) 디코딩 중 확정된 토큰을 수정할 수 있게 한다. 공개된 방법은 이 편집기를 무작위 어휘 손상으로 학습하지만, 추론 시에는 편집기가 대신 모델 자신의 유창하고 높은 신뢰도 초안 오류를 마주한다. 우리는 이러한 학습-추론 불일치를 연구하고, 그래디언트 없는 초안 패스를 수행한 뒤 마스크된 위치를 예측 토큰으로 채우고, 이러한 자기 생성 손상 하에서 두 번째 패스에서 복구를 지도하는 자기 생성 T2T(self-generated T2T)를 제안한다. 우리는 LLaDA2.1-mini에서 짧은 LoRA 지속 사전학습(continued-pretraining) 패스로 업데이트를 구현하고, 추론 매개변수를 변경하지 않은 공식 Q-Mode T2T 절차 하에서 여러 벤치마크에서 평가한다. 이 방법은 일반적으로 T2T 편집 강도를 줄이면서 정확도를 향상시키며, 그 밖의 추론은 올바른 뒤 최종 자릿수 전사 오류나 짧은 사실적 답변 전 과도한 자기 수정과 같은 실패 양상을 완화한다.

arXiv:2606.17164v1cs.CL

PromptMN: 의사 프롬프팅 언어

PromptMN: Pseudo Prompting Language

프롬프팅은 인간과 생성형 AI 사이의 주된 인터페이스가 되었지만, 많은 자연어 프롬프트는 여전히 취약하다. 역할, 목표, 제약, 기대 출력은 종종 산문 속에 묻혀 있거나 암묵적으로 남겨진다. 에이전트 및 소프트웨어 개발 워크플로에서 첫 전달 단계의 오해석은 모든 단계로 전파될 수 있으며, 에이전트 실패의 상당 부분은 모델 한계가 아니라 컨텍스트 모호성에서 비롯된다. 본 논문은 PromptMN을 소개한다. PromptMN은 역할, 목표, 요구사항, 우선순위, 제약, 계획, 입력, 출력을 포괄하는 간결한 % 접두사 타입 지시문으로 자연어를 주석 처리하는 의사 프롬프팅 도메인 특화 언어이다. 의미 해석(semantic resolution)을 통해 작성자는 어떤 순서로든 작성할 수 있고, 모델은 기능에 따라 지시문을 해석한다. PromptMN은 비공식적 프롬프팅과 프로그래밍 스타일 의사코드 사이에 위치한다. 검사 가능하고 재사용할 수 있을 만큼 구조화되어 있으면서도, 소프트웨어 개발 생명주기(SDLC) 전반에 걸친 분석가, 관리자, 개발자, 이해관계자에게 충분히 가벼운 수준이다. PromptMN은 역프롬프트 엔지니어링과도 결합된다. 모델에게 원하는 결과를 PromptMN으로 다시 서술하도록 요청하면, 사용자는 실행 전에 추론된 역할, 목표, 제약, 누락된 가정을 검토할 수 있어 수정 주기를 줄이고 사람과 AI 도구를 정렬하는 재사용 가능한 산출물을 얻을 수 있다. PromptMN의 실현 가능성은 Claude Fable 5, Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5를 포함한 여러 최첨단 모델에서 평가된다. 모델들은 미세조정 없이 반복, 조건문, 메서드, 소수 판별 작업과 같은 복잡한 구조를 포함한 PromptMN 지시문을 올바르게 해석했다. 동일한 어휘는 제시된 SDLC 시나리오의 신규 코드베이스, 유지보수, 재설계에 걸쳐 적용된다. 대규모 검증은 향후 과제로 남아 있지만, 이러한 초기 결과는 PromptMN이 더 명확하고 검토 가능한 인간-AI 상호작용을 향한 실용적 진전임을 시사한다.

arXiv:2606.17162v1cs.CL

MemSlides: 다중 턴 국소 수정을 통한 개인화 슬라이드 생성을 위한 계층적 메모리 기반 에이전트 프레임워크

MemSlides: A Hierarchical Memory Driven Agent Framework for Personalized Slide Generation with Multi-turn Local Revision

개인화 프레젠테이션 생성은 현재 프롬프트나 템플릿에 조건을 거는 것만으로는 충분하지 않다. 에이전트는 작업 간 안정적인 사용자 선호를 유지하고, 다중 턴 수정 중 새로 도입된 선호와 제약을 보존하며, 국소 편집을 안정적으로 수행해야 한다. 우리는 MemSlides를 제안한다. 이는 장기 메모리와 작업 메모리(working memory)를 분리하고, 장기 메모리를 사용자 프로필 메모리와 도구 메모리로 더 세분화하는 개인화 프레젠테이션 에이전트용 계층적 메모리 프레임워크이다. 사용자 프로필 메모리는 라운드 0 개인화를 위한 의도 조건 프로필을 저장하고, 작업 메모리는 수정 라운드 전반에 걸친 활성 선호와 세션 제약을 유지하며, 도구 메모리는 안정적인 국소 편집을 위해 재사용 가능한 실행 경험을 저장한다. MemSlides는 이 메모리 설계를 범위가 한정된 슬라이드 국소 수정과 결합하여, 대상 갱신이 전체 덱을 반복적으로 재생성하는 대신 가장 작은 영향 영역에 작용하도록 한다. 통제된 실험에서 사용자 프로필 메모리는 다중 페르소나·다중 의도 프로필 뱅크에서 페르소나 정합(persona-alignment) 판정을 개선하고, 도구 메모리 주입은 진단용 매칭 페어 설정에서 폐루프(closed-loop) 수정 동작을 개선하며, 정성적 사례는 작업 메모리의 선호 이월 능력을 보여준다. 종합하면, 이러한 결과는 프레젠테이션 작성에서 효과적인 개인화가 생성과 국소 수정 전반에 걸쳐 지속적인 사용자 프로필, 세션 수준 작업 메모리, 재사용 가능한 실행 경험을 분리하는 데 달려 있음을 시사한다.

arXiv:2606.09376v2cs.CL

정밀도가 곧 충실도는 아니다: 완전 오라클을 활용한 근거 기반 생성의 커버리지 인식 평가

Precision Is Not Faithfulness: Coverage-Aware Evaluation of Grounded Generation with a Complete Oracle

참조 없는 충실도 메트릭은 모델이 생성하는 각 원자적 주장을 정답(ground truth)과 대조하여 검증하며, 근거 기반 생성(grounded generation)을 평가하는 데 점차 더 많이 사용되고 있습니다. 우리는 이러한 메트릭들이 공통된 맹점을 가지고 있음을 보입니다. 즉, 정밀도(제시된 주장이 지지되는가?)만을 측정하므로, 모델이 거의 아무것도 말하지 않음으로써 거의 완벽한 충실도 점수를 얻을 수 있기 때문에 회피(abstention)를 보상한다는 것입니다. 우리는 포뮬러 원(F1) 텔레메트리를 사용하여 이를 측정 가능하게 만듭니다. 이 도메인은 전략적 정답이 결정론적으로 그리고 무엇보다 완전하게 도출되는 곳입니다. 즉, 각 결정에 대해 영향을 미친 사실들의 전체 집합을 알고 있습니다. 이러한 완전성(오픈 도메인 충실도 벤치마크에는 결여된)은 우리가 정밀도와 함께 재현율(관련 사실의 커버리지)을 정확하게 측정할 수 있게 합니다. 157개 레이스에 걸친 7,253개 결정 인스턴스의 다국어(EN/ES/PT) 벤치마크에서, 가장 정밀도가 높은 프론티어 모델조차 관련 사실의 절반 미만을 커버하며 F1 기준으로는 최하위를 기록하여, 커버리지 요구 사항이 시스템 순위를 재배치함을 보여줍니다. 동일한 효과는 두 번째 완전 오라클 도메인(NOAA 날씨 예보)에서도 다시 나타납니다. 완전 오라클에 대해 작은 모델(1B-7B)을 미세조정하면 정밀도-재현율 격차를 완전히 해소하여(F1 ~0.98), 규모에 상관없이 모든 제로샷 프론티어 시스템을 능가합니다. 우리는 충실도와 커버리지를 결합하여 단일 점수로 만들고, 메트릭을 검증하며(제어된 섭동; 모델 없는 정규 표현식 추출기와 교차 패밀리 LLM 추출기 간의 일치, 시스템 수준 스피어만 상관계수 1.0), 참조 없이 정밀도와 재현율을 향상시키는 검증기 유도 생성 방법을 제시합니다. 우리는 벤치마크, 구조화된 주석, 메트릭, 베이스라인 및 대화형 데모를 공개합니다.

arXiv:2601.04574v2cs.CL

FeedEval: LLM 생성 에세이 피드백의 교육학적으로 정렬된 평가

FeedEval: Pedagogically Aligned Evaluation of LLM-Generated Essay Feedback

수치적 점수 예측을 넘어, 최근 자동 에세이 채점(automated essay scoring) 연구는 근거와 실행 가능한 조언을 제공하는 고품질 피드백 생성을 점점 더 강조하고 있습니다. 전문가 주석(annotation)의 높은 비용을 완화하기 위해, 기존 연구는 에세이 평가 모델 학습 시 일반적으로 LLM 생성 피드백에 의존해 왔습니다. 그러나 이러한 피드백은 명시적인 품질 검증(validation) 없이 사용되는 경우가 많아, 다운스트림 애플리케이션에서 노이즈가 전파되는 결과를 초래합니다. 이러한 제한 사항을 해결하기 위해, 우리는 구체성(specificity), 유용성(helpfulness), 타당성(validity)의 세 가지 교육학적 근거에 기반한 차원을 따라 LLM 생성 에세이 피드백을 평가하는 LLM 기반 프레임워크인 FeedEval을 제안합니다. FeedEval은 본 연구에서 큐레이션된 데이터셋(dataset)으로 학습된 차원별 전문 LLM 평가자를 활용하여 여러 피드백 후보를 평가하고, 다운스트림 사용을 위한 고품질 피드백을 선정합니다. ASAP++ 벤치마크(benchmark)에 대한 실험 결과, FeedEval은 인간 전문가의 판단과 밀접하게 일치하며, FeedEval을 통해 필터링된 고품질 피드백으로 학습된 에세이 채점 모델은 우수한 채점 성능을 달성함을 보여줍니다. 더불어 소형 LLM을 활용한 수정 실험을 통해, FeedEval이 식별한 고품질 피드백이 더욱 효과적인 에세이 수정으로 이어진다는 것을 확인했습니다. 우리는 코드와 큐레이션된 데이터셋을 다음 링크에서 공개합니다: https://github.com/BBeeChu/FeedEval.git.

arXiv:2506.18831v3cs.CL

폐루프 PID 제어를 통한 효율적인 LLM 추론을 위한 적응형 활성화 조종

Adaptive Activation Steering for Efficient LLM Reasoning via Closed-Loop PID Control

긴 사고의 연쇄(Chain-of-Thought)로 학습된 추론 LLM은 종종 과도하게 사고하는 경향이 있습니다. 이는 정확도를 높이지 못한 채 비용만 증가시키는 중복된 반성과 전이에 토큰을 소비하는 결과를 낳습니다. 정적 활성화 조종(예: SEAL)은 고정된 벡터를 사용하여 이러한 내용을 억제하지만, 현재 청크의 실제 중복 정도와 관계없이 동일한 강도를 적용합니다. 본 논문에서는 가벼운 청크 수준 중복 분류기가 구동하는 PID 컨트롤러를 통해 조종 강도를 조절하는 학습 불필요한 디코딩 타임 방법인 PID-steering을 제안합니다. DeepSeek-R1-Distill-Qwen-1.5B 모델을 사용하여 GSM8K 데이터셋의 일부를 실험한 결과, 본 방법은 정확도를 85.7%에서 89.6%(+3.9%p)로 향상시키는 동시에 평균 출력 길이를 1026 토큰에서 790 토큰(-23%)으로 단축했습니다. 이 결과는 벤치마크 결과라기보다는 소규모 개념 증명(proof of concept)으로 보고됩니다.

arXiv:2504.11837v3cs.CL

EmoFSM: 정서 지원 대화를 위한 유한 상태 머신

EmoFSM: A Finite State Machine for Emotional Support Conversation

정서 지원 대화(ESC)는 효과적인 대화를 통해 사람들의 정서적 고통을 완화하는 것을 목표로 합니다. 대규모 언어 모델(LLM)이 ESC 분야에서 괄목할 만한 진전을 이루었지만, 대부분의 연구는 상태 모델 관점에서 다이어그램을 정의하지 못하여 장기적인 만족도 측면에서 최적이 아닌 해결책을 제공할 수 있습니다. 이러한 문제를 해결하기 위해 우리는 LLM에 유한 상태 머신(FSM)을 활용하여 EmoFSM이라는 프레임워크를 제안합니다. 우리의 프레임워크는 단일 LLM이 ESC 과정에서 계획을 부트스트래핑(bootstrapping)하고, 각 대화 차례마다 도움 요청자의 감정, 지원 전략, 최종 응답을 스스로 추론할 수 있게 합니다. ESC 데이터셋에 대한 광범위한 실험 결과, EmoFSM은 직접 추론, self-fine, 사고의 연쇄(Chain-of-Thought), 파인튜닝, 외부 지원 방법 등 다양한 베이스라인을 능가하며, 파라미터 수가 훨씬 많은 모델들보다도 우수한 성능을 보임을 시사합니다.

arXiv:2606.17296v1cs.CV

Pareto LoRA: 파레토 최적 그래디언트 통합을 통한 통합 멀티모달 모델의 모달 불균형 완화

Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration

통합 멀티모달 모델(UMMs)은 최근 단일 자기회귀 트랜스포머 내에서 멀티모달 이해와 생성을 통합하는 유망한 패러다임으로 등장했습니다. 그러나 멀티모달 지시 미세조정 과정에서 이러한 모델들은 종종 뚜렷한 모달 불균형을 보이는데, 언어 그래디언트가 최적화를 지배하여 특히 LoRA와 같은 매개변수 효율적 미세조정 환경에서 이미지 생성 품질이 저하되는 결과를 초래합니다. 본 연구에서는 인터리브된 텍스트-이미지 생성을 위한 UMM의 LoRA 기반 미세조정에서 발생하는 모달 불균형을 체계적으로 분석합니다. 우리는 단일 모달 대응 모델과 비교했을 때 비전 모달 성능이 텍스트 모달 성능보다 훨씬 더 크게 저하됨을 보여주며, 다양한 작업과 레이어에서 모달별 그래디언트가 수 차수만큼 차이가 날 수 있음을 입증합니다. 이러한 관찰에 동기를 부여받아, 우리는 멀티모달 지시 미세조정을 이중 목적 최적화 문제로 재정의하고, 그래디언트의 방향과 강도를 조절하여 텍스트와 이미지 목적의 균형을 맞추는 파레토 최적 그래디언트 통합 전략인 Pareto LoRA를 제안합니다. Emu2를 사용한 CoMM 벤치마크에서의 실험은 Pareto LoRA가 멀티모달 생성 균형을 일관되게 개선하여, 텍스트 성능과 대등한 수준을 유지하면서 기본 LoRA 대비 지각적 이미지 품질에서 최대 44.9%의 향상을 달성함을 보여줍니다.

arXiv:2606.17767v1cs.HC

데이터와 대화하기: 개인 건강 성찰 인터페이스로서의 구현 대화 탐구

Talking to Your Data: Exploring Embodied Conversation as an Interface for Personal Health Reflection

웨어러블 기기에서 수집한 개인 건강 데이터는 일반적으로 차트와 요약 통계로 구성된 대시보드를 통해 제시되며, 사용자가 패턴과 그 함의를 능동적으로 해석해야 한다. 우리는 대안적인 상호작용 패러다임을 탐구한다: 사용자와의 대화 속에서 객관적인 데이터 성찰을 촉진하는 구현 대화형 에이전트를 통해 개인 건강 데이터와 상호작용하는 방식이다. 웨어러블 데이터의 경량 전처리와 Unity 기반 구현 캐릭터를 결합한 시스템을 제시한다. 내부적으로 이 시스템은 이중 에이전트 설계를 따르며, Observer 에이전트가 기술 통계와 시간적 추세를 추출하고, Presenter 에이전트가 이러한 발견을 "구술 통계(spoken statistics)"를 통해 전달한다. 상호작용 방식의 영향을 분리하기 위해 의도적으로 임상적 조언은 하지 않는다. 우리는 피험자 내 설계(within-subject design)를 사용한 시뮬레이션 자기 사용자 연구(simulated-self user study, N=5)를 통해 이 접근법을 평가한다. 참가자는 LifeSnaps 데이터셋에서 유도된 건강 페르소나와 목표를 채택하여, 전통적인 대시보드 탐험과 구현 대화형 성찰을 비교했다. 평가는 인지된 이해, 생성된 행동의 구체성, 수동적 열람에서 능동적 의미 구성으로의 인지적 전환에 초점을 둔다. 이 논문은 기능적 프로토타입, 객관적 건강 데이터 서술 생성을 위한 디자인 패턴, 그리고 구현(embodiment)이 개인 건강 지표 해석에 미치는 영향에 대한 초기 경험적 통찰을 기여한다.

arXiv:2606.18022v1cs.LG

마스크 디퓨전 모델에서의 재귀적 스케일링

Recursive Scaling in Masked Diffusion Models

마스크 디퓨전 모델(MDM)은 최근 시퀀스 생성을 위한 유망한 패러다임으로 부상했습니다. MDM의 스케일링은 일반적으로 매개변수 수나 디노이징 단계의 수를 늘려서 달성됩니다. 우리는 각 디퓨전 단계 내에서 동일한 디노이징 트랜스포머를 반복적으로 적용하여 재귀 깊이를 세 번째 스케일링 축으로 추가하는 재귀적 마스크 디퓨전 모델(R-MDM)을 소개합니다. 재귀는 매개변수 재사용을 통해 출력을 반복적으로 정제할 수 있게 하며, 매개변수 수를 늘리지 않고도 유효 모델 깊이를 증가시킵니다. 스도쿠와 카운트다운을 포함한 구조화된 생성 작업 전반에서, R-MDM이 상당히 개선된 매개변수 효율성을 달성함을 보여줍니다: $L$번의 재귀 반복을 가진 모델은 대략 $L\times$ 더 많은 매개변수를 가진 비재귀적 기준 모델의 성능과 대등한 경우가 많습니다. 더욱이, 재귀적 정제는 추가적인 디노이징 단계를 부분적으로 대체할 수 있어, 재귀적 모델이 추론 시 더 적은 순방향 패스로 동일한 생성 품질에 도달할 수 있게 합니다. 이러한 결과는 재귀 깊이가 MDM에 있어 실용적으로 유용한 스케일링 메커니즘이며, 매개변수 효율성과 테스트 시간 연산 할당을 모두 개선한다는 것을 시사합니다.

arXiv:2602.11590v3cs.LG

실수로부터 배우기: 자기 교정 마스킹 디퓨전 모델

Learn from Your Mistakes: Self-Correcting Masked Diffusion Models

마스킹 디퓨전 모델(MDM)은 경쟁력 있는 성능을 유지하며 병렬 토큰 생성을 가능하게 하여 자기회귀 모델의 유망한 대안으로 떠올랐습니다. 그러나 MDM은 토큰이 한번 마스크 해제(unmasking)되면 고정된다는 근본적인 한계가 있습니다. 이는 오류 누적으로 이어져 궁극적으로 샘플 품질을 저하시킵니다. 우리는 모델이 마스크 해제와 교정(correction)을 모두 수행하도록 학습시키는 프레임워크를 제안하여 이 문제를 해결합니다. MDM 디노이징 네트워크의 출력을 교정기(corrector) 학습의 입력으로 재사용하여, 잠재적인 실수로부터 복구할 수 있는 모델을 학습시킵니다. 생성 과정에서 마스크 해제 단계 사이에 추가적인 교정 정제 단계를 적용하여 디코딩된 토큰을 변경하고 출력을 개선합니다. 우리는 이미 생성된 토큰을 포함하여 전체 시퀀스를 반복적으로 정제할 수 있는 독특한 능력을 살려, 이 학습 및 샘플링 방법을 Progressive Self-Correction (ProSeCo)이라고 명명했습니다. 다양한 조건부 및 비조건부 작업에 대한 광범위한 실험적 검증을 통해, ProSeCo는 더 우수한 품질-효율성 트레이드오프(샘플링 속도 최대 약 4배 향상)를 달성하고, 표준 MDM을 초과하는 샘플 품질 향상을 위해 추론 시간 연산 스케일링(inference-time compute scaling)을 가능하게 함(벤치마크에서 최대 약 1.2배 개선)을 입증했습니다.

arXiv:2606.13348v1cs.CL

IVIE: 인터랙티브 픽션 세계의 점진적이고 검증된 생성을 위한 뉴로-심볼릭 접근법

IVIE: A Neuro-symbolic Approach to Incremental and Validated Generation of Interactive Fiction Worlds

대규모 언어 모델(LLM)의 창의성과 기호적 시스템의 일관성을 결합한 뉴로-심볼릭 접근법인 IVIE를 통해 인터랙티브 픽션 세계를 점진적으로 생성하고 검증한다. 인간 평가 결과 이 방식은 몰입감 있고 주제적으로 일관된 세계를 생성하며 유연성과 서사적 일관성 사이의 균형을 성공적으로 달성했다.

arXiv:2606.13322v1cs.CL

LLM 기반 병렬 텍스트 생성을 통한 저지연 실시간 오디오 게임 해설 시스템

Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation

기존 순차적 파이프라인의 대기 시간으로 인한 비자연스러운 침묵을 해결하기 위해, 음성 재생과 텍스트 생성을 병렬로 수행하여 후보 발화를 미리 버퍼링하는 실시간 오디오 게임 해설 시스템을 제안한다. 해당 시스템은 발화 간 침묵을 9.6초에서 0.3초로 줄이고 전문적인 말하기 리듬과 유사성을 40% 이상 향상시켰다.

arXiv:2606.13171v1cs.CL

NTS-CoT: 사고의 연쇄 추론을 활용한 LLM 기반 뉴스 타임라인 요약의 환각 완화

NTS-CoT: Mitigating Hallucinations in LLM-based News Timeline Summarization with Chain-of-Thought Reasoning

LLM 기반 타임라인 요약(TLS)에서 발생하는 환각(hallucinations) 문제를 완화하기 위해 사고의 연쇄(Chain-of-Thought) 추론을 활용한 NTS-CoT 프레임워크를 제안한다. 제안된 방법은 충실하지 않은 내용 생성과 정보 누락을 줄여 다수의 벤치마크에서 최신 모델보다 우수한 성능을 달성했다.

arXiv:2606.13142v1cs.CL

HyPE: 페르소나 그라운딩 대화를 위한 Persistent Edge Embeddings를 활용한 카테고리 인식 하이퍼그래프 인코딩

HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue

페르소나 속성 간의 고차 관계를 포착하기 위해 페르소나 요소를 하이퍼그래프로 구성하고 Persistent Edge Embeddings를 활용하는 HyPE 프레임워크를 제시한다. 이 방법은 PersonaChat에서 GPT-2, LLaMA-3.2-3B, Qwen2.5-3B 백본을 통해 문장 수준 풀링 기준선을 일관되게 능가하는 성능을 보여준다.

arXiv:2606.13115v1cs.CL

G-Long: 효율적인 장기 대화 에이전트를 위한 그래프 강화 메모리 관리

G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

대규모 언어 모델(LLM)의 장기 대화에서의 일관성 유지 및 효율성 문제를 해결하기 위해, 파인튜닝된 소형 언어 모델(sLM)을 활용한 그래프 기반 프레임워크인 G-Long을 제안합니다. 이 방법은 구조화된 트리플릿 추출과 연관 검색을 수행하며 어텐션 인식 중요도 점수 매기기를 통해 다양한 벤치마크에서 최첨단 성능을 달성하고 연산 비용을 획기적으로 절감했습니다.

arXiv:2606.12790v1cs.CL

GENIE: 참신성을 위한 세분화된 측정 지표

GENIE: A Fine-Grained Measure for Novelty

대규모 언어 모델(LLM)의 창의성과 다양성 부족 문제를 해결하기 위해, 작업별 특징에 따라 응답의 참신성을 측정하는 세분화된 평가 지표인 GENIE를 제안한다. GENIE는 기존 지표보다 참신성의 고차원성을 정밀하게 포착하며, 창의성 향상 방법들의 효과를 분석하는 데 활용된다.