PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04563v1cs.CL

텍스트를 위한 충실도-다양성 지표

Fidelity-Diversity Metrics for Text

언어 모델링 기술이 성숙해짐에 따라, 이러한 모델을 학습하는 데 사용되는 데이터셋의 구성과 큐레이션에 대한 연구 관심이 높아지고 있다. 예를 들어, 실무자들은 일반적으로 고품질 데이터셋에 추가 텍스트를 보완하여 해당 데이터로 학습된 모델의 성능을 향상시키고자 한다. 그러나 데이터 증강에 대한 합리적인 의사결정을 위해서는 데이터 품질에 대한 보다 세밀한 평가가 필요하다. 본 연구는 생성 모델의 정밀도와 재현율을 측정하는 기존 연구를 기반으로, (1) 충실도(fidelity)—후보 텍스트가 참조 데이터와 얼마나 유사한지를 포착—와 (2) 다양성(diversity)—후보 텍스트가 참조 데이터셋의 모드를 얼마나 잘 포괄하는지를 포착—를 정량화하는 한 쌍의 지표를 개발한다. 제안하는 지표는 이산 텍스트 요약 간의 최적 수송(optimal transport) 발산 범함수(divergence functional)에 기반한다. M2D2 텍스트 데이터셋을 대상으로 한 실험에서, 이 지표들이 결함 있는 후보 텍스트에서 충실도 부족과 다양성 부족을 분리하여 진단할 수 있음을 보인다. 추가 실험에서는, 합성 GSM8K 방식의 수학 데이터셋에서 다양성 결핍을 탐지하며, 이는 해당 합성 데이터로 파인튜닝된 언어 모델의 다운스트림 정확도 저하와 상관관계를 보인다.

arXiv:2607.04428v1cs.CL

dOPSD: 확산 언어 모델을 위한 온-정책 자기 증류

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.

arXiv:2607.04061v1cs.CL

Telescope: 토큰 반복 확률 측정을 통한 LLM 생성 콘텐츠의 제로샷 탐지 개선

Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability

대규모 언어 모델(LLM)이 생성한 텍스트와 인간이 작성한 글을 구별하는 것은 중요하면서도 어려운 과제이다. LLM은 인간처럼 글을 쓰도록 학습되지만, 우리는 이 학습이 지울 수 없는 흔적을 남긴다고 가정한다. LLM은 학습 초기 단계에서 토큰 반복에 대한 특히 강한 거부 반응을 발달시킨다. 이 바이어스는 '흔적 휴리스틱(Vestigial Heuristic)'(발달 과정의 인공물)으로서 지속되며 LLM 생성 텍스트에서 활성화되어, LLM과 인간의 글쓰기를 구분하는 요인이 된다. 이 현상을 탐구하기 위해 우리는 모델의 토큰 반복, 즉 $P(s_i | s_{1:i})$를 평가하는 지표인 Telescope Perplexity를 소개한다. 우리의 실증적 연구에 따르면 Telescope Perplexity 시그니처는 사전학습 초기에 나타나며, Telescope Perplexity는 경험적으로 매우 효과적인 제로샷 LLM 탐지를 가능하게 한다. 우리가 새로 도입한 현대적 평가 세트를 포함한 다양한 데이터셋, 참조 모델, 변형 기법에 걸쳐 다른 방법들보다 높은 효율성으로 최첨단 또는 경쟁력 있는 성능을 보임을 입증한다.

arXiv:2607.03833v1cs.CL

정적 규칙을 넘어서: Text-to-SQL의 잠재적 취약점 자동 발견

Beyond Static Rules: Automated Discovery of Latent Vulnerabilities in Text-to-SQL

대규모 언어 모델(LLM)이 Text-to-SQL 작업에서 눈부신 성과를 거두었지만, 실제 환경에서의 배포는 잠재적 신뢰성 문제로 인해 저해되고 있다. 이러한 잠재적 약점을 식별하는 것은 신뢰할 수 있는 데이터베이스 인터페이스 구축에 매우 중요하지만, 현재의 진단 접근법은 정적이고 전문가가 정의한 규칙에 크게 의존하여 체계적이고 자동화된 탐험 역량이 부족하다. 이 간극을 해소하기 위해, 우리는 LLM 기반 Text-to-SQL 생성의 잠재적 실패 패턴을 자율적으로 발견하도록 설계된 새로운 프레임워크인 SAGE(Systematic Automated Guided Exploration)를 제안한다. 구체적으로, SAGE는 주어진 샘플에 대한 취약점 가설을 생성하고 지속적으로 진화하는 취약점 코덱스(Vulnerability Codex)를 참조하여 표적화된 변형(perturbation)을 설계함으로써, 잠재적 결함을 반복적으로 검증하고 문서화한다. 최신 오픈소스 LLM에 대한 광범위한 실험을 통해 SAGE가 상당한 수의 실패 사례를 발견하며, 현재 모델들의 심각한 취약성을 드러냄을 입증한다. 나아가, 분석 결과 취약점 코덱스가 강력한 모델 간 전이 가능성을 보이며, 이는 발견된 패턴이 일반화된 구조적 약점을 나타냄을 시사한다. 마지막으로, 우리는 SAGE의 교정(remediation) 가능성을 탐색한다. 예비적 수준이지만, 생성된 샘플에 대한 경량 미세조정이 유망한 성능 향상을 보여, 향후 연구에서 신뢰성 루프를 닫기 위한 확장 가능한 경로를 제시한다.

arXiv:2607.03709v1cs.CL

GRASP: 고충실도 관련 연구 생성을 위한 그래프 추론 기반 서베이 계획

GRASP: Graph-Reasoning Aided Survey Planning for High-Fidelity Related Work Generation

문헌 리뷰를 작성하려면 인용 논문들 간의 관계, 즉 논문들이 서로를 어떻게 발전시키고, 반박하거나, 대안적 관점을 제시하는지에 대한 깊은 이해가 필요하다. 우리는 관련 연구 생성을 위한 대규모 언어 모델(LLM) 계획과 그래프 알고리즘을 결합하여 인용 논문들 간의 핵심 관계를 추출하는 프레임워크인 Graph-Reasoning Aided Survey Planning(GRASP)을 제안한다. 우리의 2층(two-layer) 그래프 구조는 사고의 그래프(Graph of Thoughts)와 논증-반론 계획 네트워크(Argument-Counterargument Planning Network)로 구성되어 인용 논문들을 서로 다른 세분화 수준으로 표현하며, Steiner 트리를 통한 위상 인식 가지치기(topology-aware pruning)를 적용하여 그래프에 포착된 핵심 논문 간 관계를 식별한다. 인용 분석 기반 평가 결과, GRASP가 생성한 관련 연구 섹션(RWS)은 담화 역할, 의도, 인용 그룹화 측면에서 인간이 작성한 목표 텍스트와 매우 유사하게 일치함을 보였다.

arXiv:2603.10494v2cs.CL

노이즈가 있는 클레임 검증으로부터의 커버리지 제어 선호 마이닝을 통한 증거 기반 생성

Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation

증거 기반 생성(evidence-grounded generation)은 제공된 증거에 의해 뒷받침되어야 하는 클레임을 포함한 요약을 생성하지만, 클레임 수준의 검증기는 노이즈가 있는 피드백을 제공하며 단순히 적게 말하는 모델에 보상을 줄 수 있다. 우리는 이 문제를 임상 Brief Hospital Course 요약에서 연구하며, 여기서 출력물은 환자별 EHR 증거에 기반해야 한다. 우리는 노이즈가 있는 클레임 검증을 커버리지 제어 요약 수준 선호도로 변환하는 선호 마이닝 프레임워크인 VERI-DPO를 소개한다. 각 증거 윈도우 프롬프트에 대해 VERI-DPO는 여러 후보 요약을 샘플링하고, 이를 클레임으로 분해하며, 각 클레임을 환자 증거에 대해 검증하고, 선택된 요약이 비교 가능한 검증 가능 콘텐츠를 유지하면서 더 나은 집계 검증기 추정 지지도를 가질 때만 선호 쌍을 형성한다. 이후 표준 직접 선호 최적화(Direct Preference Optimization)가 이러한 쌍을 단일 샘플 정책으로 증류하여 추론 시 리랭킹을 방지한다. 환자 비중복 MIMIC-III-Ext-VeriFact-BHC 테스트 데이터에서 VERI-DPO는 마이닝 검증기 하에서 Not Supported 비율을 10.7%에서 1.9%로, 별도로 프롬프트된 GPT-4o 판정기 하에서 11.6%에서 6.4%로 줄인다. 두 명의 도메인 연구자에 의한 100번의 블라인드 쌍별 평가에서, VERI-DPO는 사실적 충실도에 대해 기반 모델보다 56회 대 18회로 선호되었다. 1,000명의 환자를 대상으로 모델 적응 없이 진행된 고정 제로샷(zero-shot) MIMIC-IV-Ext-BHC 전이 테스트에서 VERI-DPO는 채점된 클레임 수를 거의 변경하지 않으면서 Not Supported 비율을 낮춘다. 다중 시드 절제 실험은 검증기 가이드 쌍 구성이 성능 향상을 이끌며, 커버리지 및 퇴화 방지 제어가 겉보기 사실성 향상이 더 짧거나 덜 확인 가능한 출력물에서 비롯되는 것을 방지함을 보여준다.

arXiv:2603.10002v2cs.CL

SpreadsheetArena: LLM의 스프레드시트 워크북 생성에서 선호도 분해

SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

우리는 종단간 스프레드시트 생성 과제를 고려한다. 이 과제에서 언어 모델은 자연어로 명시된 사용자의 명시적·묵시적 제약 조건을 만족하는 스프레드시트 아티팩트를 생성한다. 우리는 SpreadsheetArena를 소개한다. 이는 LLM이 생성한 스프레드시트 워크북에 대한 맹목적 쌍별 선호도 투표를 통해 모델의 과제 성능을 평가하는 플랫폼이다. 다른 복잡한 개방형 과제들과 마찬가지로, 관련 평가 기준은 사용 사례에 따라 크게 달라질 수 있으며, 이를 형식화하기 어려운 경우가 많다. 일반적인 대화 또는 텍스트 생성 환경과 비교했을 때, 스프레드시트 생성은 고유한 도전과 기회를 제공한다. 과제 출력 구조가 명확히 정의되어 있고 다차원적이며, 복잡한 상호작용성 및 레이아웃 고려 사항이 존재하는 경우가 많다. 우리는 선호되는 스프레드시트의 스타일적·구조적·기능적 특성이 프롬프트에 따라 유의미하게 달라짐을 관찰한다. 금융 프롬프트에 대한 스프레드시트의 전문가 평가 결과, 높은 순위의 모델조차 도메인별 모범 사례에 부합하는 스프레드시트를 안정적으로 생성하지 못함을 확인하였다. 우리는 라이브 아레나를 운영하고 프롬프트, 생성된 스프레드시트, 선호도 투표로 구성된 데이터셋을 공개하며, 이를 통해 LLM에 대한 복잡한 개방형 과제의 흥미롭고 도전적인 범주로서 스프레드시트를 대상으로 하는 과제에 대한 추가 연구가 촉진되기를 기대한다.

arXiv:2602.12262v4cs.CL

궤적 자기 증류를 통한 소수 단계 확산 언어 모델

Few-Step Diffusion Language Models via Trajectory Self-Distillation

확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.

arXiv:2503.02368v4cs.CL

진화적 가이드 디코딩: 대규모 언어 모델을 위한 반복적 가치 정제

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs

가이드 디코딩, 특히 가치 기반(value-guided) 방법은 모델 재학습 없이 언어 모델 출력을 제어하는 비용 효율적인 대안으로 부상했지만, 그 효과는 가치 함수의 정확도에 의해 제한된다. 우리는 이러한 부정확성이 핵심적인 분포 간극(distributional gap)에서 비롯됨을 확인한다: 기존 방법들은 오직 기반 정책(base policy)으로부터 샘플링된 궤적으로만 정적 가치 함수를 학습시키며, 이는 학습을 잠재적 출력 공간의 좁고 차선적인 시각에 가두게 된다. 우리는 이 간극을 좁히기 위해 설계된 진화적 프레임워크인 반복적 가치 정제(Iterative Value Refinement)를 제안한다. 이 프레임워크는 보다 포괄적이고 강건한 학습 신호를 제공하는 가치 탐험(Value Exploration)을 채택하고, 한 반복에서 개선된 가치 함수를 다음 반복을 위한 고품질 데이터 생성에 활용하는 반복적 자기 정제(Iterative Self-Refinement)를 이와 함께 사용한다. 텍스트 요약, 멀티턴 대화, 인스트럭션 수행에 대한 광범위한 실험을 통해 언어 모델 정렬에서 우리 프레임워크의 효과를 입증한다. 우리의 접근법은 정렬을 달성하는 것에 그치지 않고, 효율적이고 효과적인 제어를 위한 원칙적 가치 함수 최적화를 활용함으로써 연산 비용을 크게 절감한다.

arXiv:2607.02719v1cs.CV

GRCD: 다중 소견 흉부 X선 쌍에 대한 그라운디드 영역 변화 감지

GRCD: Grounded Region Change Detection for Multi-Finding Chest X-Ray Pairs

방사선과 의사들은 질병 진행을 추적하기 위해 현재 및 이전 흉부 X선을 일상적으로 비교하며, 해부학적 영역에 국소화되고 시간적 변화 상태가 표기된 다중 소견을 기술하는 추적 보고서를 작성한다. 기존 자동화 방법들은 시간적 맥락을 모델링하지 않고 단일 이미지에서 보고서를 생성하거나, 시간적 정보를 통합하되 출력을 공간적으로 그라운딩하지 않는다. 시간적 추론과 공간적 그라운딩을 결합하는 소수의 접근법은 단일 소견 설명에 국한되어, 변화 방향이 혼재된 다중 소견 보고서는 다루지 못한다. 우리는 다중 소견 환경에서 흉부 X선 쌍으로부터 그라운디드 보고서를 생성하기 위한 프레임워크인 GRCD를 제시한다. 먼저 원본 어노테이션의 두 가지 체계적 레이블링 오류를 식별하고 수정함으로써 엄밀하게 정제된 시간적 흉부 X선 쌍 데이터셋을 구축한다. 이후 해부학적 구조 전반에 걸쳐 영역별 시간적 변화를 인코딩하고, 공간 토큰 선행 삽입과 게이트 크로스 어텐션을 결합한 이중 경로 전략을 통해 이 신호를 언어 모델에 주입하는 Region-Guided Change Token 모듈을 도입한다. 다중 소견 테스트 세트에서 GRCD는 텍스트 생성 및 임상 정확도 지표에서 기존 베이스라인을 능가하며, 변화 감지에서도 성능 향상을 보인다. 소거 연구(ablation study)를 통해 이중 경로 설계가 텍스트 및 임상 지표 모두에서 각 통합 전략 단독보다 우수하며, 다중 소견 생성을 위해 영역 수준의 변화 인코딩이 필수적임을 확인한다. 코드는 https://github.com/UTSA-VIRLab/GRCD에서 확인할 수 있다.

arXiv:2607.05147v1cs.AI

DSpark: 반자기회귀 생성을 활용한 신뢰도 기반 스케줄링 추측적 디코딩

DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

추측적 디코딩(Speculative decoding)은 초안 생성과 목표 검증을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 초안 생성기는 단일 순전파(forward pass)로 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부재로 인해 수락률이 급격히 감소하는 문제를 겪는다. 또한, 이러한 확장된 블록을 무차별적으로 검증하면 거부 위험이 높은 토큰에 중요한 배치 용량이 낭비되어 고동시성 서빙 시스템의 처리량이 심각하게 저하된다. 우리는 고처리량 병렬 생성과 적응적·부하 인식 검증을 통합하는 추측적 디코딩 프레임워크인 DSpark를 소개한다. 초안 품질을 유지하기 위해 DSpark는 반자기회귀(semi-autoregressive) 아키텍처를 활용하여 병렬 백본과 경량 순차 모듈을 결합함으로써 블록 내 의존성 모델링을 도입하고 후위 감소(suffix decay)를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증(confidence-scheduled verification)을 채용하여, 추정된 접두 문맥 생존 확률과 엔진별 처리량 프로파일에 기반해 각 요청의 검증 길이를 동적으로 조정한다. 다양한 도메인에 걸친 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 초안 생성기 대비 수락 길이를 대폭 향상시킨다. 실시간 사용자 트래픽 하에 DeepSeek-V4 서빙 시스템에 배포했을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 확립된 생산 기준선(MTP-1)과 비교하여, DSpark는 동일 처리량 수준에서 사용자별 생성 속도를 60~85% 가속화한다. 더 중요하게는, 엄격한 상호작용 제약 조건 하에서 심각한 처리량 저하를 방지함으로써 이전에는 달성 불가능했던 성능 수준을 가능하게 하여, 서빙 시스템의 파레토 프런티어를 이동시킨다.

arXiv:2607.03870v1cs.AI

결정론적 정답을 활용한 장문 생성에서의 LLM 불확실성 평가

Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth

대규모 언어 모델(LLM)이 점점 더 긴 출력을 생성함에 따라, 효과적인 불확실성 추정은 전체 응답을 폐기하는 대신 세밀한 수준에서 오류를 식별해야 한다. 이러한 방법들이 존재하지만, 어떤 해상도(토큰 단위부터 전체 생성물)에서든 불확실성을 평가하는 것은 어렵고 레이블 불완전성에 매우 민감하여, 노이즈가 없는 벤치마크가 필수적이다. 그러나 장문 생성 벤치마크는 결정론적 정답보다 오류 가능성이 있는 레이블에 의존하는 경향이 있다. 우리는 Single-answer Atomic Long-form Target(SALT)을 제안한다. 이는 단일하고 결정론적인 긴 텍스트 정답을 가진 여섯 가지 절차적 생성 태스크로 구성된 벤치마크로, 외부 판정자 없이 정확도, 보정(calibration), 랭킹을 단위 수준에서 평가할 수 있게 한다. SALT를 활용하여 50개 이상의 LLM을 분석한 결과 다음과 같은 핵심 인사이트를 발견했다. 각 불확실성 측면을 지배하는 신뢰도 함수를 식별하였으며, 더 거친 라인 수준 단위에서 보다 명확한 분리가 나타나는 경우에도 원자적(atomic) 해상도에서는 신뢰도 랭킹이 크게 붕괴됨을 보였다. SALT는 또한 생성 전반에 걸쳐 원자 수준의 통제된 개입을 가능하게 하여, 미래 오류의 두 가지 분리 가능한 원인을 밝혀낸다. 하나는 전역 컨텍스트 정확도가 지배하는 손상된 접두사로부터의 전파이며, 다른 하나는 증가하는 답변-컨텍스트 길이로 인한 제한된 성능 저하이다. 마지막으로, 사고의 연쇄(Chain-of-Thought) 프롬프트를 통하거나 학습을 통해 내재화된 추론은 트레이드오프를 유발하여 정확도를 향상시키는 반면 신뢰도 랭킹을 저하시킴을 보인다. 이러한 발견들은 신뢰할 수 있는 오류 식별 및 완화를 요구하는 위험 임계 응용 분야에 직접적인 영향을 미친다.

arXiv:2607.00224v2math.ST

피벗 통계량 환원 유무에 따른 Gumbel-Max 워터마크 비율 추정의 표본 복잡도

Sample Complexities of Estimating Gumbel--Max Watermark Proportions with and without Reduction to Pivotal Statistics

Gumbel-max 워터마킹 메커니즘 하에서 혼합 문서의 LLM 생성 비율을 추정하는 표본 복잡도(sample complexity) 문제를 다루며, 피벗 통계량만 관측하는 경우 라게르 다항식 추정기를 통해 비모수적 수렴 속도를, 의사난수 벡터까지 완전 관측하는 경우 사건 계수 추정기를 통해 더 빠른 모수적 수렴 속도를 각각 정보이론적 하한과 함께 확립한다. 피벗 환원이 널리 쓰이는 우아한 방법이지만 워터마크 비율 추정에서는 완전 관측 대비 표본 효율성을 손실할 수 있음을 보인다.

arXiv:2607.02381v1cs.CL

HULAT2 at MER-TRANS 2026: Governed Multi-Agent Simplification for Spanish Easy-to-Read Generation

MER-TRANS 2026 공유 과제의 스페인어 트랙에서 HULAT2-UC3M 팀은 LangGraph 기반 다중 에이전트(multi-agent) 워크플로우를 활용해 Gemini 2.5 Flash와 RigoChat-7B-v2를 결합한 Easy-to-Read 텍스트 자동 생성 시스템을 제출했다. Event-Condition-Action 라우팅과 내부 품질 신호 기반의 신호 유도 다중 에이전트 방식(RUN1, SARI 44.05)이 선형 재생성 베이스라인(RUN3, SARI 38.51)을 능가했으며, 어휘 지원 레이어 추가(RUN2)가 참조 기반 점수를 자동으로 개선하지는 않는다는 점도 확인되었다.

arXiv:2607.01802v1cs.CL

On the Limits of Steering Vectors for Preference-Aligned Generation

스티어링 벡터(steering vector)를 활용한 제어 텍스트 생성의 한계를 PLUME 벤치마크에서 36가지 선호 특성, 두 가지 태스크 전이(task transfer), 최대 4개 벡터 조합 실험을 통해 체계적으로 분석한 연구로, Qwen2.5-7B-Instruct와 Llama3.1-8B-Instruct에서 특성 유형별 조정 효과 편차가 크고 다중 벡터 합성 시 특성 표현과 출력 일관성이 모두 저하됨을 밝혔다.

arXiv:2607.01457v1cs.CL

Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting

이력서 자동 최적화에서 대규모 언어 모델(LLM)이 유발하는 환각(hallucination) 문제—시대착오적 기술 삽입, 도메인 오염, 구조 변형, 내용 조작—를 해결하기 위해 시간적 검증, 결정론적 오염 탐지, 구조 불변 강제, 프롬프트 그라운딩, 평가자 에이전트로 구성된 5계층 프레임워크인 Grounded Optimization을 제안한다. 25개 합성 이력서에 대한 어블레이션 실험에서 방어 미적용 시 이력서당 2.48~5.36개의 환각이 발생한 반면, 프레임워크 적용 후 전체 환각 탐지율이 0.04~0.24로 크게 감소하였다.

arXiv:2606.21447v3cs.CL

하이브리드 자연어 및 임상 보상 학습을 통한 정밀도-재현율 조절 가능한 방사선학 보고서 생성

Precision Recall Controllable Radiology Report Generation via Hybrid Natural Language and Clinical Reward Learning

흉부 X-ray 영상에서 방사선 리포트를 자동 생성할 때, 추론 시 제어 파라미터 λ로 임상적 정밀도(precision)와 재현율(recall)의 균형을 조절하는 강화학습(RL) 프레임워크를 제안하며, 자연어 품질 보상과 임상 효능(clinical efficacy) 보상을 결합하고 그룹 상대 학습으로 학습 안정성을 높인다. MIMIC-CXR에서 NLG와 CE 지표 모두에서 기존 최신 방법을 일관되게 능가하고, 임상 요구에 맞게 정밀도-재현율 트레이드오프를 신뢰성 있게 제어할 수 있음을 보였다.

arXiv:2605.22487v2cs.CL

Polite on the Surface, Broken in Practice: A Curated Dataset for Fixing Generation and Register Failures in Low-Resource Bangla Text Generation

저자원(low-resource) 방글라어 생성에서 대규모 언어 모델(LLM)이 보이는 비일관적 경어 체계, 구조적 오류, 비문맥적 출력 문제를 해결하기 위해, 4,196개의 전문가 주석 프롬프트-응답 쌍으로 구성된 인스트럭션 튜닝(instruction tuning) 데이터셋 BLADE를 제시한다. LoRA 어댑터와 4-bit NF4 양자화(quantization)를 활용해 DeepSeek-8B, LLaMA-3.2-3B 등 소형 모델을 파인튜닝한 결과, 제로샷(zero-shot) 프론티어 모델을 상회하는 구조적 충실도 및 경어 일관성을 달성하며 문화적 데이터 품질이 모델 규모보다 중요함을 실증하였다.

arXiv:2602.20459v2cs.AI

PreScience: A Dataset and Benchmark for Scientific Forecasting

Can AI systems trained on the existing scientific record forecast the advances that will follow? We introduce PreScience, a dataset and benchmark for scientific forecasting built around 98K recent AI research papers, together with companion papers covering author publication histories and citation links, yielding 502K papers in total. The resulting paper records include titles, abstracts, disambiguated author identities, influential references, topic labels, citation trajectories, and metadata snapshotted to respect temporal cutoffs. We instantiate seven exemplar tasks: five paper-anchored tasks -- contribution generation, collaborator prediction, prior work selection, citation count prediction, and future combination prediction -- and two aggregate topic trend forecasting variants. We develop baselines ranging from simple heuristics and embedding methods to frontier language models and agentic systems, and introduce LACER, an LLM-based metric for evaluating similarity of generated contribution descriptions that agrees better with human judgments than existing metrics. Finally, we compose task models to generate a 12-month synthetic corpus and find that the resulting papers are systematically less diverse and less novel than human-authored research from the same period. We release the PreScience dataset (https://huggingface.co/datasets/allenai/prescience) and code (https://github.com/allenai/prescience).

arXiv:2510.20091v3cs.CL

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

CreativityPrism은 대규모 언어 모델(LLM)의 창의성을 확산적 사고, 창의적 글쓰기, 논리적 추론 세 도메인에 걸쳐 품질·독창성·다양성 세 차원으로 평가하는 크로스 도메인 프레임워크다. 17개 최신 LLM을 평가한 결과, 프론티어급 모델이 창의적 글쓰기와 논리적 추론에서는 오픈 모델 대비 15% 우위를 보였으나 확산적 사고에서는 유의미한 차이가 없었으며, 한 도메인의 높은 창의성이 다른 도메인으로 일반화되지 않음을 확인했다.