PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19591v1cs.CL

계층적 전략을 활용한 BART 기반 베트남어 추상적 다중 문서 요약

A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization

본 기술 보고서에서는 International Workshop on Vietnamese Language and Speech Processing(VLSP) 2022에서 제시된 베트남어 다중 문서 추상적 요약 과제를 해결하는 데 집중한다. 우리는 각 문서를 압축한 뒤 집계 및 요약하는 널리 쓰이는 계층적 접근법을 따르기로 한다. 문서를 단축하는 참신하면서도 단순한 전략을 제안하는데, 이는 정답 요약(golden summary)에 기반하여 계층적 접근법의 각 단계 간 높은 상관관계를 보장한다. 우리 방법은 VLSP 공개 테스트셋에서 ROUGE2-F1 점수 0.2468을 달성하며, 유창하고 간결한 요약을 생성할 수 있다. 또한 외부 출처의 추가 데이터를 활용하여 베트남어 다중 문서 요약을 위한 데이터 양을 크게 늘렸으며, 이 추가 데이터는 커뮤니티에 공개한다.

arXiv:2606.19344v1cs.CL

말해지지 않은 것을 드러내기: 확률적 경로 집계를 통한 숨겨진 LLM 바이어스 시각화

Exposing the Unsaid: Visualizing Hidden LLM Bias through Stochastic Path Aggregation

대규모 언어 모델(LLM)은 텍스트 생성의 확률적 특성으로 인해 평가하기 어려운 표현 및 통사적 바이어스를 나타냅니다. 표준 감사 방법은 단일 출력 검사나 정적 자동화 지표에 의존합니다. 이러한 접근 방식들은 기저 확률 분포를 가리고 낮은 확률의 생성 분기에 숨겨진 바이어스를 포착하지 못합니다. 본 논문은 집계된 비교를 통해 LLM 바이어스를 평가하도록 설계된 시각적 분석 도구인 TreeTracer를 소개합니다. 체계적인 섭동 분석 파이프라인을 사용하여, 이 도구는 각 입력 프롬프트에서 온톨로지로 정의된 용어를 대체하고, 수백 개의 확률적 생성 결과를 구문 정렬된 계층 구조로 집계한 다음, 보조 언어 모델을 사용하여 분류 인식 노드 병합을 수행합니다. 결과 구조는 사용자 정의 산키 다이어그램을 통해 시각화됩니다. 두 개의 온톨로지 기반 트리를 나란히 배치함으로써, 이 작업 공간은 의미적 맥락 간의 직접 비교를 가능하게 하고 체계적인 바이어스 탐지를 지원합니다. 모든 시각화는 모델의 학습된 행동의 일부분만 반영하므로, 시스템은 추가적으로 대조적 추론을 적용하여 맥락 간의 반사실적 토큰 확률을 계산하고 직접 표시함으로써 바이어스 존재를 오해할 위험을 줄입니다. 우리는 정렬되지 않은 기준선 모델인 GPT-2 XL과 헌법적으로 정렬된 Apertus 모델들을 비교하는 사례 연구를 통해 작업 공간을 검증합니다. 시각적 집계는 반사실적 대명사 억제 및 개인의 대화적 소외와 같은 숨겨진 표현적 피해를 성공적으로 드러냅니다. 예비 사용자 연구는 집계된 비교 인터페이스가 인지 부하를 줄이고 분석가들이 체계적 바이어스를 탐지하는 데 효과적으로 지원함을 확인했습니다.

arXiv:2603.25702v2cs.CL

S2D2: 학습 없는 자기 추측을 통한 확산 LLM의 빠른 디코딩

S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation

블록 확산 언어 모델은 블록 단위 자기회귀(autoregressive) 디코딩과 블록 내 병렬 노이즈 제거를 결합하여 자기회귀보다 빠른 생성을 위한 유망한 경로를 제공합니다. 그러나 실제 가속에 필요한 적은 단계에서 표준 신뢰도 임계값 기반 디코딩은 종종 불안정합니다. 공격적인 임계값은 품질을 저하시키고, 보수적인 임계값은 불필요한 노이즈 제거 단계를 요구합니다. 이 문제를 해결하는 기존 접근 방식은 추가 학습이 필요하거나 추가 테스트 시간 연산을 초래합니다. 우리는 블록 확산 언어 모델을 위한 학습 없는 자기 추측 디코딩 프레임워크인 S2D2를 제안합니다. 우리의 핵심 관찰은 블록 크기를 1로 줄이면 블록 확산 모델이 자기회귀가 된다는 점으로, 이를 통해 동일한 사전학습 모델이 드래프터(drafter)와 검증자(verifier) 역할을 모두 수행할 수 있습니다. S2D2는 표준 블록 확산 디코딩에 추측 검증 단계를 삽입하고, 검증이 그 비용을 감수할 만한 가치가 있는지 결정하기 위해 가벼운 라우팅 정책을 사용합니다. 이는 확산이 토큰을 병렬로 제안하고 자기회귀 모드가 로컬 시퀀스 수준 비평자(critic)로 작용하는 하이브리드 디코딩 궤적을 생성합니다. 3개의 주요 블록 확산 계열에 걸쳐, S2D2는 강력한 신뢰도 임계값 기준선(baseline)보다 정확도-속도 트레이드오프를 일관되게 개선합니다. SDAR에서 우리는 자기회귀 디코딩보다 최대 $4.7\times$ 속도 향상을, 정확도를 최대 $4.5$ 포인트 개선하면서 튜닝된 동적 디코딩 기준선보다 최대 $1.57\times$ 속도 향상을 관찰했습니다. LLaDA2.1-Mini에서 S2D2는 내장된 자기 수정(self-correction)과 상호 보완적이며, 정확도가 약간 더 높으면서 정적 기준선보다 $4.4\times$ 더 빠른 보수적인 설정을 포함합니다.

arXiv:2603.22922v2cs.CL

클릭보다 품질: 초기 단계 전자상거래 쿼리 제안을 위한 반복적 강화학습

Quality Over Clicks: Iterative Reinforcement Learning for Early-Stage E-Commerce Query Suggestion

기존 대화 시스템은 사용자 참여를 높이기 위해 쿼리 제안에 의존합니다. 최근 접근 방식들은 주로 사용자 선호도에 맞추기 위해 클릭률(CTR) 모델을 사용하여 생성 모델을 최적화합니다. 그러나 이러한 방법들은 클릭 피드백이 희소하고 신뢰할 수 있는 CTR 모델을 학습하기에 불충분한 초기 배포 시나리오에서는 효과가 떨어집니다. 이러한 격차를 해소하기 위해, 우리는 전자상거래 쿼리 제안을 위한 품질 우선 반복적 강화학습 프레임워크인 QualEQS를 제안합니다. 우리는 다운스트림 사용성에 직접적인 영향을 미치는 세 가지 차원인 응답 가능성(answerability), 사실성(factuality), 정보 획득량(information gain)을 통해 실행 가능한 제안 품질을 정의합니다. 클릭 감독 없이 온라인 트래픽으로부터 지속적으로 개선하기 위해, 우리는 모호한 쿼리 컨텍스트를 식별하고 반복적 개선을 위한 어려운 학습 사례를 마이닝하기 위해 후보 제안 간의 그룹 수준 불일치(disagreement)를 추가로 제안합니다. 또한 오프라인 학습 및 평가를 위한 16,949개의 실제 전자상거래 쿼리로 구성된 데이터셋인 EQS-Benchmark를 소개합니다. 실험 결과, 우리의 품질 기반 오프라인 메트릭은 온라인 성능과 강한 상관관계를 보여, 희소 피드백 배포 환경을 위한 실용적인 평가 방법을 제공합니다. 오프라인 및 온라인 설정 모두에서 QualEQS는 강력한 기준선(baselines)을 일관되게 능가하며, 실제 기업 수준의 대화형 쇼핑 어시스턴트 시스템에서 온라인 ChatPV 6.81% 향상을 달성했습니다.

arXiv:2504.02885v2cs.CL

Med-R2: 의료 보고서 생성을 위한 인지 및 반영 기반 복잡한 추론

Med-R2: Perception and Reflection-driven Complex Reasoning for Medical Report Generation

자동 의료 보고서 생성(MRG)은 수동 보고 작성의 부담을 줄이고 의사결정을 지원하기 위해 점점 더 많이 사용되고 있습니다. 대규모 비전-언어 모델(LVLM)은 세밀한 이미지-텍스트 정렬과 고급 텍스트 생성 능력 덕분에 자동 MRG에 큰 가능성을 보여줍니다. 현재 최첨단 MRG는 주로 의료 이미지-보고서 쌍을 사용하는 미세조정 전략인 직접 지도 미세조정(SFT)을 통해 사전 학습된 LVLM을 적용하는 데 초점을 맞추고 있습니다. 그러나 몇 가지 요인이 이러한 LVLM의 성능을 제한합니다. 첫째, 직접 SFT는 LVLM이 병리학적 특징 인지와 진단적 추론의 중간 사고 과정 없이 의료 보고서를 직접 생성하도록 합니다. 이는 병리학적 특징을 인지하지 못할 잠재적 실패를 초래하며, 결과적으로 오진으로 이어집니다. 둘째, 직접 SFT는 영상의학 특화 지식 가이던스의 통합이 부족하여, LVLM이 인지된 병리학적 특징을 잘못 해석하고 잘못된 진단을 내리게 합니다. 이러한 격차를 해결하기 위해 우리는 Med-R2라는 새로운 미세조정 전략을 제안합니다. 우리는 보고서 생성에 앞서 영상의학 특화 지식을 가이던스로 통합하는 인지 기반의 긴 추론 과정을 도입합니다. 또한, 복잡한 추론에서 발생할 수 있는 잠재적 인지 오류를 완화하기 위해 병리학적 특징 인지와 생성된 보고서를 정제하는 반영 메커니즘을 도입합니다. 우리의 실험은 Med-R2가 미세조정된 LVLM을 통해 MRG를 위한 병리학적 특징 인지 능력과 진단 정확도를 효과적으로 향상시킴을 보여줍니다.

arXiv:2606.19948v1cs.AI

자동 구현형 대화 증강을 통한 DialNav 고도화

Advancing DialNav through Automatic Embodied Dialog Augmentation

물리적 상호작용이 가능한 구현형 에이전트(embodied agent)의 경우, 안전성과 효과성을 보장하기 위해 대화를 생성하고 이해하는 능력이 필수적입니다. DialNav은 사실적인 실내 내비게이션 환경에서 대화-실행 루프(dialog-execution loop)를 전체적으로 평가할 수 있는 프레임워크를 제공하지만, 학습 데이터(2K 에피소드)의 심각한 부족으로 인해 성능이 제한적입니다. 이를 해결하기 위해 우리는 자동 생성 파이프라인을 제안하고 DialNav을 위한 238K 에피소드를 포함하는 대규모 학습 데이터셋인 **RAINbow** 데이터셋을 구축했습니다. 우리의 파이프라인은 기존 VLN(Vision-and-Language Navigation) 데이터셋을 멀티턴 대화(multi-turn dialog)로 변환하여 비용 효율적이고 고품질의 데이터셋을 생성합니다. 그 후, 데이터의 잠재력을 극대화하기 위해 두 가지 상호 보완적인 발전을 소개합니다: (1) 동적 대화-내비게이션 루프와 내비게이션 학습을 정렬하는 내비게이션 학습 방식인 이중 전략 학습(Dual-Strategy Training), (2) VLN 지식을 활용하는 위치 추정 모델(localization model). 이러한 상호 보완적인 솔루션들을 결합하여, 우리의 모델은 **Val Seen** (58.24, **+89%**) 및 **Val Unseen** (29.05, **+100%**) 분할에서 모두 기준선(baseline)보다 월등히 높은 성공률을 기록하며 새로운 최신 성능(state of the art)을 확립했습니다.

arXiv:2606.19475v1cs.AI

디퓨전 언어 모델: 실험적 분석

Diffusion Language Models: An Experimental Analysis

대규모 언어 모델(LLM)은 자기회귀 생성을 통해 언어 모델링에 혁신을 일으켰으며, 광범위한 작업에서 강력한 성능을 가능하게 했습니다. 최근 디퓨전 언어 모델(DLMs)은 다음 토큰 예측이 아닌 반복적 노이즈 제거를 통해 텍스트를 생성하여 전체 시퀀스의 병렬 정제를 가능하게 하는 대안 패러다임으로 등장했습니다. 수많은 디퓨전 기반 아키텍처가 제안되었지만, 평가 프로토콜, 데이터셋, 추론 예산, 생성 하이퍼파라미터의 차이로 인해 그들의 능력을 비교하고 제공하는 상충 관계를 이해하기 어렵습니다. 본 연구에서는 최신 DLM에 대한 체계적인 실험적 분석을 제시합니다. 구체적으로, 추론, 코딩, 번역, 지식, 구조화된 문제 해결에 걸친 8개의 벤치마크에서 8개의 최첨단 DLM을 평가하며, 생성 품질과 계산 효율성을 모두 명시적으로 고려합니다. 다운스트림 평가 외에도, 노이즈 제거 단계, 컨텍스트 길이, 블록 크기, 병렬 언마스킹 전략을 포함한 주요 추론 시점 요소의 영향을 분석하고, 동일한 조건에서 학습된 소규모 모델의 통제된 비교를 통해 대규모 실험을 보완합니다. 우리의 분석은 다양한 작업, 아키텍처 및 추론 예산에 걸친 디퓨전 기반 언어 모델링의 강점과 한계를 강조합니다. DLM의 동작은 생성 시점 설계 선택지에 강력한 영향을 받으며, 이는 성능과 계산 효율성 사이의 뚜렷한 상충 관계로 이어진다는 것을 보여줍니다. 전반적으로, 우리의 연구는 현대 DLM의 능력과 배포 특성에 대한 실용적인 통찰을 제공합니다.

arXiv:2606.18780v1cs.CV

SAMA: 통합 저자원 멀티모달 정보 추출을 위한 시맨틱 앵커 정렬 데이터 증강

SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction

멀티모달 정보 추출(MIE)은 멀티모달 개체명 인식(MNER), 관계 추출(MRE), 이벤트 추출(MEE)와 같은 작업을 포함하며, 멀티미디어 콘텐츠 이해에 필수적이지만 심각한 데이터 희소성으로 인해 여전히 제약이 있습니다. 데이터 증강은 유망한 해결책이지만, 기존 접근 방식은 조잡한 모달 간 정렬과 공유 시맨틱 지식을 활용하지 못하는 파편화된 작업 특화 설계로 인해 한계가 있습니다. 이러한 한계를 극복하기 위해, 우리는 고품질의 태스크 인식 합성 데이터를 생성하는 통합 프레임워크인 시맨틱 앵커 정렬 멀티모달 증강(SAMA)을 소개합니다. SAMA는 ground-truth 레이블에서 구조화된 시맨틱 앵커를 구성하여 협업형 다중 전문가 멀티모달 대규모 언어 모델(CME-MLLM)을 안내하며, 이 모델은 공유 시맨틱을 위한 유니버설 어댑터와 태스크 특화 어댑터를 통합하여 다양하면서도 제약 조건을 준수하는 텍스트 샘플을 생성합니다. 이미지 합성을 위해 SAMA는 앵커 가중치 프롬프트와 잠재 조건을 사용하여 시각적 맥락을 다양화하는 동시에 핵심 시맨틱 앵커를 유지하는 앵커 보존 디퓨전(Anchor-Preserving Diffusion) 메커니즘을 사용합니다. 수동 검증의 필요성을 제거하기 위해 SAMA는 모달 간 일관성과 앵커 충실도를 기반으로 합성 샘플을 선택하는 이중 제약 필터링(Dual-Constraint Filtering) 모듈을 추가로 도입합니다. MNER, MRE, MEE에 대한 벤치마크 데이터셋에서 수행한 광범위한 실험을 통해 SAMA가 완전 지도 및 저자원 설정 모두에서 최첨단 증강 기준선을 일관되게 능가함을 입증하였으며, 이는 그 다양성, 견고성, 그리고 효과성을 강조합니다.

arXiv:2606.18609v1cs.CV

반대 증거 검증을 통한 의료용 비전-언어 모델(VLM)의 환각 탐지 및 교정

Hallucination Detection and Correction in Medical VLMs via Counter-Evidence Verification

의료 진단에서 비전-언어 모델(VLMs)의 신뢰성은 신뢰를 저해하는 환각 현상으로 인해 위협받고 있습니다. 기존 환각 탐지 접근법은 주로 생성된 텍스트와 참조 데이터 간의 사실적 불일치를 식별하는 데 초점을 맞춥니다. 일부 연구에서는 모델이 이미지 내에서 어텐션(attention)을 집중하는 위치를 분석하지만, 해당 어텐션이 생성된 텍스트를 뒷받침하는 시각적 증거를 실제로 반영하는지 여부는 거의 검증하지 않습니다. 이러한 격차를 해결하기 위해, 우리는 증거 기반 사실 일관성 검증을 통해 환각을 탐지하고 교정하는 학습이 필요 없는 플러그 앤 플레이(plug-and-play) 프레임워크인 반대 증거 검증(Counter-Evidence Verification, CoEV)을 제안합니다. CoEV는 텍스트 주장과 시각적 증거 간의 양방향 검증을 수행하여 각 문장이 대응하는 증거 영역에 의해 지지되는지 테스트하고, 텍스트 사실성과 시각적 그라운딩(grounding)의 결합을 포착하는 4분면 진단 맵에 각 문장을 할당합니다. CoEV는 환각 콘텐츠를 탐지함과 동시에 재학습 없이 환각을 교정하는 사후 정제(post hoc refinement) 도구로 기능합니다. 4개의 의료 데이터셋(dataset)에 대한 광범위한 실험을 통해 CoEV가 VLM 내의 환각 문제에 효과적으로 대응함을 확인했습니다. 환각 탐지 측면에서 CoEV는 기존 방법들을 일관되게 능가하여 평균 PR-AUC와 ROC-AUC를 각각 절대값 3.0%p와 3.9%p 향상시켰으며, 특정 VQA 시나리오에서는 최대 18.5%의 상승폭을 기록했습니다. 환각 교정 측면에서는 Micro-F1을 최대 12.5% 향상시키고, 의료 보고서 생성에서 환각 발생률을 11.9% 이상 감소시켰으며, 의료 VQA 정확도 또한 향상시켰습니다. 이러한 결과는 CoEV가 환각을 신뢰할 수 있게 탐지하고 교정할 수 있음을 보여주며, 임상의들에게 진단을 위한 신뢰할 수 있는 증거 기반 단서를 제공합니다. 코드는 논문 수락 후 공개될 예정입니다.

arXiv:2606.19236v1cs.LG

STARE: 정책 엔트로피 안정성을 위한 놀람(Surprisal) 기반 토큰 수준 어드밴티지 재가중치

STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability

GRPO와 같은 검증 가능한 보상을 활용한 강화학습 알고리즘은 대규모 언어 모델(LLM)의 복잡한 추론을 위한 주요한 사후학습 패러다임으로 부상했으나, 학습 과정에서 정책 엔트로피 붕괴 문제를 흔히 겪습니다. 본 연구는 GRPO 하에서 토큰 수준 엔트로피 역학에 대한 1차 그래디언트 분석을 수행하여 토큰 수준 크레딧 할당 불일치를 식별했습니다. 토큰당 엔트로피 변동은 궤적(trajectory) 수준 어드밴티지와 다음 토큰 분포에 대한 엔트로피 민감도 함수의 곱으로 분해되며, 이는 어드밴티지-놀람 4사분면 구조와 준임계(near-criticality) 속성을 나타냅니다. 이에 착안하여 STARE(Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability)를 제안합니다. STARE는 배치 내 놀람 분위수를 통해 엔트로피 임계 토큰 부분집합을 식별하고, 해당 토큰의 유효 어드밴티지를 선택적으로 재가중치하며, 안정적인 엔트로피 조절을 위해 목표 엔트로피 폐루프 게이트를 통합합니다. 15억에서 320억 파라미터 규모의 모델과 세 가지 작업군(짧은 사고의 연쇄, 긴 사고의 연쇄, 멀티턴 도구 사용)에 걸쳐, STARE는 정책 엔트로피를 목표 대역 내로 유지하면서 수천 스텝 동안 안정적인 강화학습 학습을 지속했습니다. AIME24와 AIME25 벤치마크에서 STARE는 DAPO 및 기타 경쟁 베이스라인 대비 평균 정확도에서 4%~8% 더 높은 성능을 보였습니다. 또한 리플렉션 토큰과 응답 길이가 함께 증가함에 따라, 강화학습 학습 잠재력을 더욱 극대화하는 지속적인 탐험-활용 균형이 유지됨을 확인했습니다. 코드는 https://github.com/hp-luo/STARE에서 확인할 수 있습니다.

arXiv:2606.18694v1cs.LG

좌절 동기화로서의 어텐션

Attention as Frustrated Synchronization

Frustrated Synchronization Network(FSN)은 결합 진동자(coupled oscillator) 기반 어텐션(attention)으로, 토큰 상태를 토러스 위 위상(phase)에 두고 맥락과의 합의 대신 데이터 전이가 설정하는 frustrated synchronization(좌절 동기화)로 다음 토큰 예측을 수행한다. 100만 파라미터·동일 학습 예산의 문자 수준 텍스트·코드에서 튜닝된 RoPE-SwiGLU 트랜스포머보다 검증 손실이 낮고, copy depth 4 이상 장거리 반복에서 격차를 뒤집으며 SwiGLU 피드포워드를 평균장(mean-field) 결합으로 대체한 FSN-MF도 트랜스포머 수준에 근접한다.

arXiv:2606.18430v1cs.LG

서명 필터링: 대규모 언어 모델(LLM)에서 통계적 워터마크 탐지를 위한 경량화된 향상 방법

Signature filtering: a lightweight enhancement for statistical watermark detection in large language models

통계적 워터마크 탐지를 임베딩·생성 과정은 그대로 두고, 탐지 전에 워터마크 검정을 왜곡하는 소수의 서명(signature) 토큰을 혼합 정수 선형 계획법으로 학습해 제거하는 서명 필터링(signature filtering)을 제안한다. Kgw·Sweet·Unigram·Exp 등 4개 워터마크 계열과 6개 LLM 실험에서 약한 신호·낮은 엔트로피 환경의 탐지율을 8~31%에서 78~99%로 끌어올리고, 토큰 교란 스트레스 테스트에서도 오탐을 낮게 유지하며 WinMax 탐지기와 동등하거나 더 나은 성능을 보였다.

arXiv:2606.18319v1cs.LG

ASTRA: 자율 심파일럿을 탑재한 확장 가능한 차세대 ATCO(항공 교통 관제사) 훈련 시뮬레이터

ASTRA: A Scalable Next-Generation ATCO Training Simulator with Autonomous Simpilots

항공 교통 관제사(ATCO) 훈련에서 심파일럿(simpilot) 역할에 의존하는 용량 한계와 싱가포르 억양 항공 음성에서 기존 음성 모델의 높은 단어 오류율(WER) 문제를 해결하기 위해, ASTRA는 ATCO 음성 전사·지시 해석·응답 생성을 현지 적응 음성 모델로 자동화하는 엔드-투-엔드 시뮬레이터를 제안합니다. 파인튜닝된 자동 음성 인식(ASR) 파이프라인은 WER을 23.45%로 낮추었고, 정확성·간결성·완전성을 평가하는 AI 지원 성능 평가는 최적화 후 각각 91.7%, 88.2%, 86.9%를 달성해 확장 가능한 표준화된 ATCO 평가를 가능하게 합니다.

arXiv:2601.23018v1cs.HC

사용자 피드백의 확장 가능한 분석을 위한 다중 라벨 분류와 생성형 AI의 통합

Integrating Multi-Label Classification and Generative AI for Scalable Analysis of User Feedback

경쟁이 치열한 소프트웨어 시장에서 사용자 경험(UX) 평가는 소프트웨어 품질을 보장하고 제품의 장기적인 성공을 도모하는 데 필수적입니다. 이러한 UX 평가는 일반적으로 표준화된 설문지에서 얻은 정량적 지표와 개방형 질문을 통해 수집된 정성적 피드백을 결합합니다. 개방형 피드백은 개선을 위한 귀중한 통찰을 제공하고 정량적 결과를 설명하는 데 도움이 되지만, 대량의 사용자 댓글을 분석하는 것은 어렵고 시간이 많이 소요됩니다. 본 논문에서는 대규모 사용자 댓글을 효율적으로 처리하고 해석하기 위해 주요 소프트웨어 기업의 장기적인 UX 측정 프로젝트에서 개발된 기법들을 제시합니다. 수집된 댓글에 대한 상위 수준의 개요를 제공하기 위해, 우리는 각 댓글에 의미 있고 미리 정의된 주제 라벨을 할당하는 지도 기계 학습 접근 방식을 채택합니다. 또한, 생성형 AI(GenAI)를 활용하여 사용자 피드백의 간결하고 유익한 요약을 생성함으로써, 조직 내부와 특히 경영진에게 연구 결과를 효과적으로 전달하는 방법을 보여줍니다. 마지막으로, 사용자 댓글에 표현된 감정이 전반적인 제품 만족도의 지표가 될 수 있는지 조사합니다. 우리의 결과는 감성 분석(sentiment analysis)만으로는 사용자 만족도를 신뢰할 수 있게 반영하지 못함을 보여줍니다. 대신, 제품에 대한 사용자의 인식을 측정하기 위해서는 설문조사에서 제품 만족도를 명시적으로 평가해야 합니다.

arXiv:2606.19218v1cs.CL

RECOM: 개방형 Reddit 질문 답변 자동 메트릭에서의 타당성과 식별력 트레이드오프

RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

RECOM은 모델 학습 중단 시점 이후 r/AskReddit 커뮤니티 답변 15,000문항으로 구성된 오염 없는 평가 데이터셋을 제시하고, 7~10B 오픈소스 LLM 5종에 대해 자동 메트릭의 타당성(validity)과 식별력(discriminative power)이 개방형 QA에서 상충함을 밝힌다. 코사인 유사도(cosine similarity)는 무작위 답변 대비 진짜 정렬을 잘 구분하지만 모델 순위화에는 실패하고, BERTScore precision은 응답 길이를 통제하면 식별력이 거의 사라지므로 두 축을 무작위 기준선(random-baseline)과 함께 병행 보고할 것을 권고한다.

arXiv:2606.19170v1cs.CL

Dango: 제2언어 습득 연구를 위한 엄격한 L1 전용 대규모 언어 모델

Dango: A Strictly L1-Only Large Language Model for Studying Second Language Acquisition

제2언어 습득(SLA)에서 일본어(L1)에서 영어(L2)로의 전이를 통제적으로 연구하기 위해 18억 매개변수 LLM Dango를 제안하며, L1 사전학습 말뭉치의 L2 오염을 줄이는 필터링과 LLM 생성 L2 학습 레슨 파인튜닝으로 L2 습득 과정을 시뮬레이션한다. 평가 결과 Dango는 인간과 유사한 L2 산출 패턴을 발달시키며 필터링되지 않은 모델과 표준 다국어 기준선을 능가한다.

arXiv:2606.19005v1cs.CL

Sumi: 스크래치부터 학습한 공개 균일 확산 언어 모델

Sumi: Open Uniform Diffusion Language Model from Scratch

1.5조 토큰으로 스크래치부터 사전학습한 완전 공개 7B 균일 확산 언어 모델(UDLM) Sumi를 제안하며, 지식·추론·코딩 벤치마크에서는 유사 토큰 예산의 자기회귀 모델과 경쟁력 있는 성능을 보이지만 상식 벤치마크에서는 교육 데이터 비중이 큰 혼합의 영향으로 성능이 낮다. 모델 가중치·체크포인트와 공개 말뭉치 기반 데이터 혼합 사양을 포함한 전체 학습 레시피를 공개해 대규모 균일 확산 연구의 기준점을 제공한다.

arXiv:2606.18889v1cs.CL

루브릭 기반 반사실적 추천을 활용한 의료 소통 개선

Improving Medical Communication using Rubric-Guided Counterfactual Recommendations

텍스트 기반 원격의료의 환자 피드백은 의료 정확성보다 인지된 소통 품질을 반영하므로, 언어 모델(LM) 기반 반사실적(counterfactual) 추천 파이프라인으로 어조·개인화·실행 가능성·완결성 등 해석 가능한 소통 특징을 발견·개선하고 의료 내용은 건드리지 않은 채 긍정 피드백 확률을 높이는 최소 수정을 제안한다. 독립 감사자 모델 평가에서 예측 긍정 피드백 확률이 평균 6.41%p 증가했고 93.31% 추천에서 손실이 없었다.

arXiv:2606.18850v1cs.CL

ScholarSum: 지식 그래프 추론과 반사적 정제를 통한 학생-교사 추상적 요약

ScholarSum: Student-Teacher Abstractive Summarization via Knowledge Graph Reasoning and Reflective Refinement

ScholarSum은 과학 문헌 추상적 요약에서 언어적 유창성과 사실적 충실도를 함께 맞추기 위해, 문서를 의미 단위로 나눠 계층적 지식 그래프(knowledge graph)를 만들고 학생(student) 모듈이 초안을 생성한 뒤 교사형 검토자(teacher-like reviewer)가 미지원 내용을 찾아 증거 재검색과 재작성을 반복하는 학생-교사(student-teacher) 프레임워크를 제안한다. 벤치마크 실험에서 완전성과 충실도 모두에서 기존 베이스라인을 크게 능가했다.

arXiv:2606.18797v1cs.CL

스칼라 점수를 넘어: 영상의학 보고서의 임상적 유의성 평가를 위한 LLM 기반 메트릭 탐구

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports

생성된 영상의학 보고서 평가에서 LLM 및 스칼라 메트릭은 임상적으로 유의한 오류와 무해한 변형의 경계를 흐리며, 오류는 잘 탐지하지만 무해한 재표현에도 과도하게 페널티를 주는 식별(discrimination) 바이어스가 광범위하게 나타난다. ReEvalMed 벤치마크에서 4천 개 보고서 쌍으로 Qwen3-8B·MedGemma-4B 기반 경량 해석 가능 메트릭을 학습하면 임상적 유의성 판단이 개선되어 32B 의학 LLM을 능가하고 상용 모델과 경쟁력을 보였으며, 비용 민감 배포에는 원패스(one-pass) 학습 메트릭이 더 실용적이다.