PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19624v1cs.CV

전립선 조직병리학을 위한 병리학자 어텐션 정렬 보고서 생성

Pathologist Attention-Aligned Report Generation for Prostate Histopathology

암 진단 중 병리학자의 시각적 어텐션 할당은 whole-slide image(WSI)에서 추출되는 정보를 결정적으로 형성하는 매우 선택적인 과정이다. 인간의 어텐션은 분류 및 분할(segmentation)과 같은 의료 영상 작업에 도움이 되며, 보고서 생성을 위해 진단적으로 유익한 영역을 식별하는 강력한 의미론적 단서가 된다. 본 논문에서는 병리학자 보고서 생성 모델의 학습에 인간 어텐션을 도입한다. 이를 위해 Gleason 패턴 등 임상적으로 관련 있는 5가지 구성 요소에 대해 병리학자의 구두 설명 및 커서 움직임과 동기화된 다중 스케일 뷰포트 궤적로 주석이 달린 121개의 전립선 WSI로 구성된 다중모달 인간-어텐션 데이터셋을 수집했다. 이 데이터셋을 사용하여, 이미지 패치에 대한 모델 어텐션을 병리학자 어텐션의 분포와 일치하도록 정규화하는 어텐션 정렬 손실로 두 개의 보고서 생성 모델을 파인튜닝한다. 전립선암 보고서 생성 및 시각적 질의응답(visual question answering)에서, 서로 다른 내부 어텐션 메커니즘(즉, 이미지 토큰이 언어 디코더에 통합되는 방식)을 갖는 두 모델을 사용하여 접근법을 평가한다. 실험 결과, NLP 기반 지표에서 평균 10.9%, 임상적으로 관련 있는 5가지 보고서 구성 요소 전반에 걸쳐 정확도에서 19.3%의 향상을 보였다. 또한 최소한의 계산 오버헤드로 추론 시 추출한 모델 어텐션 맵은 병리학자 어텐션과 더 밀접하게 정렬되어, 출력에 가장 큰 영향을 미치는 영역을 강조함으로써 생성된 보고서에 더 강력한 시각적 지원을 제공한다.

arXiv:2509.24739v4cs.CV

Toward a Vision-Language Foundation Model for Medical Data: Multimodal Dataset and Benchmarks for Vietnamese PET/CT Report Generation

Vision-Language Foundation Models (VLMs), trained on large-scale multimodal datasets, have driven significant advances in Artificial Intelligence (AI) by enabling rich cross-modal reasoning. Despite their success in general domains, applying these models to medical imaging remains challenging due to the limited availability of diverse imaging modalities and multilingual clinical data. Most existing medical VLMs are trained on a subset of imaging modalities and focus primarily on high-resource languages, thus limiting their generalizability and clinical utility. To address these limitations, we introduce a novel Vietnamese-language multimodal medical dataset consisting of 2,757 whole-body PET/CT volumes from independent patients and their corresponding full-length clinical reports. This dataset is designed to fill two pressing gaps in medical AI development: (1) the lack of PET/CT imaging data in existing VLMs training corpora, which hinders the development of models capable of handling functional imaging tasks; and (2) the underrepresentation of low-resource languages, particularly the Vietnamese language, in medical vision-language research. To the best of our knowledge, this is the first dataset to provide comprehensive PET/CT-report pairs in Vietnamese. We further introduce a training framework to enhance VLMs' learning, including data augmentation and expert-validated test sets. We conduct comprehensive experiments benchmarking state-of-the-art VLMs on downstream tasks. The experimental results show that incorporating our dataset significantly improves the performance of existing VLMs. We believe this dataset and benchmark will serve as a pivotal step in advancing the development of more robust VLMs for medical imaging, especially for low-resource languages and clinical use in Vietnamese healthcare. The source code is available at https://github.com/AIoT-Lab-BKAI/ViPET-ReportGen.

arXiv:2402.18121v2cs.CL

히어로 이바시의 유산을 지키기: 아미노아시안어를 위한 네 가지 언어 모델 평가

Saving the legacy of Hero Ibash: Evaluating Four Language Models for Aminoacian

이 연구는 탐구가 부족한 아미노아시안어에서 최첨단 언어 모델 네 가지를 평가한다. 평가를 통해 텍스트 생성, 의미적 일관성, 문맥 이해에서의 적응성, 효과, 한계를 면밀히 검토한다. 저자원 언어에서의 이러한 모델들의 성능에 대한 통찰을 밝혀내며, 본 연구는 언어적 격차를 메우는 길을 개척한다. 벤치마크를 제공하고 과제를 파악함으로써, 유사한 언어 환경에서 언어 모델의 적용 가능성을 높이는 것을 목표로 자연어 처리(NLP)의 향후 발전을 위한 토대를 마련하며, 언어 기술의 포용성과 발전을 향한 중요한 발걸음을 남긴다.

arXiv:2607.15178v2cs.CL

T^2MLR: 시간적 중간층 순환 트랜스포머

T^2MLR: Transformer with Temporal Middle-Layer Recurrence

트랜스포머의 추론은 자기회귀(autoregressive) 디코딩에 의해 제한되며, 이는 풍부한 은닉 계산을 토큰 공간을 통해 반복적으로 압축하여 중간 추론 상태가 시간에 걸쳐 지속되기 어렵게 만든다. 우리는 이전 토큰의 캐시된 중간층 표현을 현재 토큰 위치의 더 앞쪽 층에 직접 융합하여, 추상적인 중간 계산이 디코딩 단계마다 적은 추론 오버헤드로 지속될 수 있게 하는 잠재 추론(latent reasoning) 아키텍처인 시간적 중간층 순환(T2MLR) 트랜스포머를 제안한다. 자연어 사전학습과 다중 홉(multi-hop) 추론 파인튜닝 전반에 걸쳐, T2MLR은 데이터 및 매개변수가 동일한 트랜스포머 기준선(baseline)을 일관되게 능가한다. 게다가, 국소화된 중간층 블록(네트워크의 20%에 불과할 수 있음)에만 순환(recurrence)을 적용하는 것이 종종 전체 층 순환보다 더 나은 성능을 낸다. 중요하게도, T2MLR은 처음부터의 사전학습을 요구하지 않는다: 기존 사전학습된 1.7B 트랜스포머에 순환 경로를 개조(retrofitting)하고 짧게 파인튜닝하면 수학 추론이 상당히 개선되어 실용적 도입의 장벽을 낮춘다. 이 결과는 트랜스포머에서 효과적인 잠재 추론이 이전 연구들처럼 모든 층을 반복(loop)할 필요가 없으며, 대신 표적화된 중간층 순환에서 더 강하게 창발(emergent)할 수 있음을 시사한다.

arXiv:2510.16657v3stat.ML

합성 데이터 검증을 통한 모델 붕괴 탈출: 단기적 개선과 장기적 수렴

Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence

프론티어 생성 모델을 학습하는 데 합성 데이터가 점점 더 많이 사용되고 있다. 그러나 최근 연구들은 생성 모델이 자기 생성 합성 데이터로 반복 재학습할 때 모델 성능이 계속 악화될 수 있다는 핵심 우려를 제기하며, 이 현상은 종종 모델 붕괴(model collapse)라고 불린다. 본 논문에서는 모델 붕괴를 피하기 위해 합성 재학습 과정을 수정하는 방법을 조사하고, 붕괴에서 개선으로의 추세를 역전하는 데 도움이 될 수 있는지까지 탐구한다. 우리의 핵심 발견은 인간이든 더 나은 모델이든 외부 합성 데이터 검증기(verifier)를 통해 정보를 주입하면 합성 재학습이 모델 붕괴를 일으키지 않는다는 것이다. 구체적으로, 우리는 이론적 분석을 기본적인 선형 회귀 설정에 두고, 검증기가 안내하는 재학습이 단기적으로는 개선을 가져올 수 있지만 궁극적으로는 장기적으로 매개변수 추정치를 검증기의 "지식 중심(knowledge center)"으로 이끈다는 것을 보인다. 우리의 이론은 검증기가 완전히 신뢰할 수 있는 경우가 아니라면, 이러한 초기 이득이 정체되고 심지어 역전될 수 있음을 추가로 예측한다. 실제로 선형 회귀, MNIST로 학습한 변분 오토인코더(VAE), XSUM 태스크에서 SmolLM2-135M 파인튜닝에 걸친 실험들이 이러한 이론적 통찰을 확인한다.

arXiv:2607.15200v1cs.CL

디퓨전 언어 모델을 위한 마스크 인식 정책 그래디언트

Mask-Aware Policy Gradients for Diffusion Language Models

강화학습은 대규모 언어 모델의 추론 개선에 효과적임이 입증되었지만, 마스크 디퓨전 언어 모델(Masked Diffusion Language Models, MDLM)로 이를 확장하는 것은 로그 가능도 추정의 난해함(intractability) 때문에 여전히 어렵다. 기존 접근법은 토큰 예측만을 모델링하여 이 로그 가능도를 근사하며, 생성 과정에서 위치가 언마스크되는 순서는 무시한다. MDLM 생성은 각 단계에서 두 가지 결정을 수반한다는 것을 관찰했다: 각 마스크된 위치에 어떤 토큰을 배치할지, 그리고 어떤 위치를 재마스크할지. 이를 2단계 행동 MDP로 형식화하고, 정책 그래디언트가 자연스럽게 토큰 항과 마스킹 항으로 분해됨을 보인다. 두 항의 최적화를 결합하면 수학적 추론 및 코딩 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, GSM8K에서 87.1%, MBPP에서 53.4%의 점수를 기록한다.

arXiv:2607.15146v1cs.CL

Grokipedia vs Wikipedia: 이념 차원에 따른 정치적 중립성에 대한 LLM 기반 감사

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

온라인 백과사전은 정치적 여론을, 그리고 이를 통해 민주주의적 담론을 형성한다. 2025년 말, LLM Grok이 전적으로 집필한 백과사전 Grokipedia가 출시되었다. 이 프로젝트의 동기 중 하나는 "좌파" 및 "자유주의" 바이어스 혐의를 받아온 Wikipedia에 대한 편향 없는 대안을 제공하는 것이었다. 그러나 LLM이 작성한 백과사전이 더 큰 중립성을 제공하는 것인가, 아니면 단순히 다른 이념을 내재하는 것인가? 우리는 Grokipedia와 Wikipedia에 대한 대규모 정치적 바이어스 연구를 수행하여, 정부 구성원을 설명하는 1,394개의 기사 쌍을 Grok, Claude, Mistral, DeepSeek의 네 LLM 심사관(judge)을 사용해 전문가가 코딩한 9개 이념 차원에서 중립성을 분석한다. LLM 자체가 바이어스를 가질 수 있으므로, 우리는 그들의 판정 패턴도 조사한다. Grok을 포함한 모든 LLM 심사관이 Grokipedia를 Wikipedia보다 덜 중립적으로 평가하는 것으로 나타났다. 두 백과사전 모두 전반적으로 정치인을 우호적으로 묘사하는 것으로 평가되지만, 서로 다른 이념 집단에 대해 그러하다. Grokipedia는 특히 경제적으로 우파인 정치인을 선호하고 사회적으로 자유주의적인 정치인을 불리하게 평가하는 반면, Wikipedia는 후자에 대해 우호적 바이어스가 있는 것으로 평가된다.

arXiv:2607.14967v1cs.CL

AI 생성 텍스트 탐지를 위한 잠재 궤적 판별

Latent Trajectory Discrimination for AI-Generated Text Detection

기존 AI 생성 텍스트 탐지(AIGTD) 접근법의 대부분은 문서를 정적 객체로 취급하고, 집계 통계 또는 전역적으로 압축된 임베딩에 기반하여 판단을 내린다. 그러나 이러한 관점은 내용이 잠재 공간을 통해 점진적으로 진화하는 자기회귀 생성의 본질적으로 동적인 특성을 간과한다. 본 논문에서는 AIGTD를 잠재 생성 궤적 간의 구별 문제로 재정식화한다. 정적 표현에 의존하는 대신, 시퀀스 전반에 걸쳐 텍스트 표현이 어떻게 진화하는지를 모델링한다. 이를 위해 문서를 순서가 있는 지역 단위로 분할하고, 각 단위를 임베딩 공간에 인코딩하며, 구조화된 시퀀스 수준 표현을 구성하는 프레임워크인 Geometric Trajectory and Contrastive Learning(GTCL)을 제안한다. GTCL은 이러한 궤적에 대비 학습(contrastive learning)을 적용하여 자기회귀 생성과 관련된 기하학적 규칙성을 학습한다. 세 가지 서로 다른 벤치마크와 여러 접근법에 대해 수행된 평가 결과, GTCL이 탐지 기준선을 지속적으로 능가하며, 이는 순차적 동역학을 명시적으로 모델링하는 것이 모델과 도메인 전반에 걸쳐 강건한 판별 신호를 제공함을 시사한다. 이러한 결과는 궤적 차이를 모델링하는 것이 탐지 성능을 향상시킬 수 있으며, 기존 AIGTD 문헌에서 충분히 탐구되지 않은 동적 방향을 열어줄 수 있음을 시사한다.

arXiv:2607.14882v1cs.IR

생성형 AI가 지도 학습 XMLC를 대체하는가? 독일 과학 문헌 자동 주제 색인 벤치마크 연구

Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

큰 통제 어휘(controlled vocabulary)를 레이블 집합으로 할 때, 도서관에서의 자동 주제 색인 작업은 다중 레이블 분류 작업으로 이해할 수 있다. 주제어 집합이 크면 이 문제는 극단적 다중 레이블 분류(Extreme Multi-Label Classification, XMLC) 목표에 해당한다. 본 연구에서는 독일 국립도서관(German National Library, DNB)에서 수집한 현대 독일 과학 문헌의 주제 색인이라는 테스트 사례에 특화된 지도 학습 XMLC 방법들 중 일부를 적용한다. 이 결과와 대조하기 위해, 전통적인 어휘 매칭 기준선과 최근 개발한 LLM 기반 방법 3가지를 벤치마크에 포함한다. 알고리즘은 여러 지표로 평가하고 비교하며, 여기에는 기존 색인 자료와의 이진 관련성(binary relevance) 비교와 전문 주제 사서의 등급형 관련성(graded relevance) 평가가 포함된다. 모든 방법에 공통된 난제는 주제 어휘의 롱테일(long tail)에서 신뢰할 만한 추천을 하는 것이다. 전체적인 이진 관련성 지표 측면에서는 트랜스포머 기반 밀집(dense) 특징에 의존하는 지도 학습 XMLC 알고리즘이 최상의 결과를 보인다. 그러나 등급형 관련성과 주제 어휘 롱테일에서의 성능에 초점을 맞추면, LLM 기반 생성형 방법이 더 나은 결과를 보여 향후 실무 적용을 위한 유망한 대안이 된다.

arXiv:2607.14769v1cs.CL

주제·참여자 중심 분해를 활용한 감정 역학 기반 대화 요약

Dialogue Summarization with Emotion Dynamics Using Topic- and Participant-Centric Decomposition

기존 텍스트 요약 연구는 화자나 저자 간 상호작용을 고려하지 않은 채, 단일 화자 정보(예: 신문 기사, 보고서)에 많이 초점을 맞춰 왔다. 반면 대화는 여러 참여자가 의미를 구성하기 위해 주고받는 교환을 수행하는 풍부한 의사소통 채널이다. 우리는 다중 모달 대화 입력을 사용하여 의미적·감정적 역학을 모두 명시적으로 모델링하는 대화 요약 프레임워크를 제안하며, 이는 적응된 계층적 Chain-of-Agents 접근법에 기반한다. 우리는 두 관점에서 대화를 분해한다: (1) 모든 참여자의 발화에 기반한 주제 세그먼트, (2) 참여자별 발화 세그먼트. 이들은 자동으로 추론된 감정을 통합하면서 각각에 대응하는 요약을 생성하는 데 사용된다. 주제 수준 및 참여자 수준 요약은 의미 내용과 감정 궤적을 포착하는 대화 요약으로 집계된다. 내용 정확도를 넘어 평가하기 위해, 우리는 요약이 감정적 흐름을 얼마나 잘 보존하는지 측정하는 감정 궤적 지표를 도입한다. 다중 모달 대화 데이터셋에서 소형 언어 모델을 사용한 실험은 우리 프레임워크가 의미 및 감정 내용을 모두 갖춘 요약을 생성함을 보여준다. 명시적 감정 레이블 가용성에 대한 추가 실험은 제안 방법론의 효과와 언어 모델을 이용한 대화 분석의 기회를 강조한다.

arXiv:2607.14647v1cs.CL

D-Cut: 배치 투기적 디코딩을 위한 적응형 검증 깊이 가지치기

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

투기적 디코딩(speculative decoding)은 출력 품질을 저하시키지 않으면서 대규모 언어 모델(LLM) 추론을 가속한다. 최근 병렬 드래프팅 방법은 드래프트 길이를 드래프팅 지연시간과 분리함으로써 단일 요청 성능을 더욱 향상시키며, 더 긴 드래프트와 더 높은 평균 수락 토큰(MAT, mean accepted tokens)을 가능하게 한다. 그러나 높은 요청 동시성 하에서는 긴 드래프트가 거부된 토큰에 상당한 연산을 낭비하여 검증 비용을 증가시키고, 잠재적으로 투기적 디코딩을 자기회귀(autoregressive) 디코딩보다 느리게 만들 수 있다. 우리는 배치 전체에 걸쳐 드래프트 토큰을 공동으로 선택하고 검증 예산을 수락될 가능성이 가장 높은 토큰에 집중하는 적응형 가지치기 방법인 D-Cut을 제안한다. D-Cut은 두 가지 관찰에 기반한다. 첫째, 수락 길이는 동시 요청 간에 상당히 달라진다. 따라서 D-Cut은 요청 간 가지치기를 수행하여 드래프트 신뢰도에 따라 검증 예산을 적응적으로 할당한다. 둘째, 검증 비용은 GPU 아키텍처 및 병렬화 전략을 포함한 배포 환경에 크게 의존한다. D-Cut은 런타임 비용 모델을 통합하여 대상 환경에 맞게 가지치기 깊이를 적응시킨다. 밀집(dense) 모델과 전문가 혼합(MoE) 모델에 대한 실험은 높은 동시성 하에서 D-Cut이 평균 속도 향상을 \(1.26\times\)에서 \(1.65\times\)로 개선하고, 긴 드래프트 베이스라인이 자기회귀 디코딩보다 느린 밀집 모델 구성에서 가속을 회복하며, MoE 모델에서 자기회귀 디코딩 대비 최대 \(3.0\times\)의 속도 향상을 달성함을 보여준다.

arXiv:2607.14591v1cs.CL

AI 생성 피드백은 얼마나 효과적인가? 2만 건 이상의 EFL 에세이 초고에 대한 내재적·외재적 평가

How Well Does AI-Generated Feedback Work? Intrinsic and Extrinsic Evaluation across more than 20,000 EFL Essay Drafts

본 연구는 영어 외국어(EFL) 쓰기 맥락에서의 피드백을 검토하며, 서면 교정 피드백(WCF)에 초점을 맞춘다. 대규모 언어 모델(LLM)은 WCF를 대규모로 제공할 수 있지만, 이를 교육학적 모범 사례에 부합시키는 것은 여전히 지속적인 과제로 남아 있다. 사실성이나 관련성 같은 기준을 충족하는 WCF도 학습 맥락에는 부적합할 수 있으며, 이는 학습자 관점에 기반한 외재적 평가의 필요성을 부각한다. 우리는 약 2,000명의 학생이 수강하는 대학 수준 EFL 수업에 WCF 시스템을 배포하여 2만 건 이상의 초고를 수집했다. 생성된 WCF를 두 가지 관점에서 평가했다: 루브릭을 사용한 숙련 영어 교사의 내재적 평가, 그리고 학생 피드백 및 참여 지표를 통한 외재적 평가. 결과는 교사 전문가 평가와 학생 피드백 간의 낮은 일치를 보여주었다. 이러한 결과는 전통적인 전문가 평가만으로는 학습자 관점에서 WCF의 사용성이나 유용성을 충분히 포착하지 못할 수 있음을 시사하며, 언어 교육 분야 AI 기반 응용을 위한 학습자 중심 평가 프레임워크의 중요성을 강조한다.

arXiv:2607.14431v1cs.CL

한 번에 더 똑똑하고 더 저렴하게: 바이트 정확 KV-캐시 접목이 동결 소형 모델을 검증 지식 플라이휠로 바꾼다

Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel

가중치를 전혀 변경하지 않고, 동결된 소형 언어 모델을 한 번에 더 유능하면서도 극적으로 저렴하게 만드는 방법을 보고한다. 검증된 지식은 바이트 정확(byte-exact) 키-값(KV) 상태 아티팩트로 한 번 저장된 뒤, 접목(graft)을 통해 새로운 추론 컨텍스트에 복원된다. 복원은 비트 정확(bit-exact)하다: 고정된 결정론적 구성(pinned deterministic configuration) 아래, 접목된 logits는 새로 계산한 결과와 바이트 단위로 동일하며(SHA-256 동등), 50개 샘플에서 KL 발산 0, argmax 일치 100%를 달성한다. 부동소수점 회전 인코딩(rotary encoding)을 사용하는 모델에서 own-position graft가 유일한 수치적으로 정확한 동작점임을 보이며, 두 모델 규모(12B, 31B)와 두 GPU 대상에서 바이트 정확성을 검증했고, 그중 하나는 사전 등록된 재현(replay)을 통해 확인했다. AIME 2025에서 동결된 Gemma-4-12B는 검증된 해법 라이브러리를 접목한 뒤 80.0%에서 93.3%로 향상되며, 자체 77.5%와 31B 형제 모델의 공개 기준점 89.2%를 모두 상회한다. 반복되는 사례에서는, 기본 모델이 401,026토큰 예산 내에서 한 번도 풀지 못한 8개 문제를 캐시된 검증 해법으로 총 61 디코드 토큰만으로 답했으며, 이는 토큰 수 기준 6,574배 적고 에너지는 약 8,700배 적다; 능력 주장 자체는 홀드아웃 전이(31B에서 7/7)에 근거한다. 동일한 바이트 정확 저장소는 추가 가속기 메모리 없이 사용 가능 컨텍스트를 32,768에서 2,854,766토큰으로 확장하며, 동일 아키텍처 머신 간에 바이트 동일하게 이동한다. 시스템을 동작 수준에서 기술하며, 엔진은 독점(proprietary)이고 보고된 모든 수치는 커밋된 입력·출력 해시로 뒷받침되어 엔진 없이도 채점을 재검증할 수 있다.

arXiv:2607.14327v1cs.CL

PReM: 컨텍스트 압축을 위해 무엇을 보존하고 언제 갱신할지 학습하기

PReM: Learning What to Preserve and When to Refresh for Context Compression

효율적인 긴 컨텍스트 추론은 메모리 비용을 줄이는 것뿐만 아니라, 생성이 진행되는 동안 유용한 문맥적 증거를 접근 가능하게 유지하는 것에도 관련된다. 그러나 key-value(KV) 캐시 압축과 컨텍스트 압축과 같은 기존의 압축 지향 접근법들은, 종종 어떤 문맥 정보를 유지할지 초기에 결정하거나 외부 압축기에 의존한다. 이러한 설계는 압축된 컨텍스트를 이후 추론 단계에 필요한 증거에 맞게 조정하기 어렵게 만든다. 본 논문은 PReM(Preserve and Refresh Memory)을 제안한다. PReM은 긴 컨텍스트를 모델의 내부 층별 KV 메모리로 유지하고, 무엇을 보존하고 언제 갱신할지를 학습하는 컨텍스트 압축 프레임워크이다. 구체적으로 PReM은 전용 메모리 층을 사용해 메모리 선택을 결정하고, 생성 중 갱신을 트리거하는 특수 메모리 토큰 <m>을 사용한다. 이러한 동작을 학습하기 위해 PReM은 Phase-Separated Refresh Training을 도입하여, 갱신 간 연속성을 유지하면서 메모리 선택을 메모리 조건 생성과 정렬한다. 32K 토큰 컨텍스트에 대한 실험에서 PReM은 16배 및 32배 압축 모두에서 강력한 베이스라인을 능가하면서, 답변 품질과 추론 효율 사이의 유리한 균형을 유지한다.

arXiv:2607.14250v1cs.CL

단절 문제(Severance Problem): LLM은 프롬프트 너머의 사용자를 인식하지 못한다

The Severance Problem: LLMs are Unaware of the Person Beyond the Prompt

개인 AI 어시스턴트는 일상 업무 자동화, 중요한 의사결정 지원, 일상적인 개인 사안 보조를 통해 일상생활을 향상시킬 잠재력으로 큰 관심을 받아왔다. 그러나 최근 기술이 빠르게 발전했음에도, 이러한 어시스턴트는 아첨(sycophancy), 과잉 자신감, 환각(hallucination)과 같은 바람직하지 않은 행동을 계속 보인다. 우리는 이러한 실패가 근본적인 한계에서 비롯된다고 주장한다: 언어 모델은 주어진 컨텍스트 너머의 사용자에 대한 명시적 표현이 부족하며, 이를 단절 문제(Severance Problem)라고 부른다. 풍부한 개인 컨텍스트와 백본 모델의 강력한 상식 추론 능력이 있더라도, 현재의 AI 어시스턴트는 사용자에 대해 여전히 알려지지 않은 것을 표현하는 데 실패한다. 우리는 간단한 해결책을 제안한다: 단절 스키마(Severance Schema)를 통해 언어 모델 컨텍스트에 구조화된 무지(structured ignorance)를 통합하는 것이다. 이 스키마는 모델이 사용자에 대해 지식이 부족한 차원을 명시적으로 개략하며, 여기에는 신체성(physicality), 시간성(temporality), 결과(consequences), 연속성(continuity), 다중성(multiplicity), 내면성(interiority)이 포함된다. 실험적으로, 다섯 가지 모델 패밀리에서 단절 스키마를 사용하면 어시스턴트는 아첨, 유해한 조언, 환각을 일관되게 줄인다. 특히, 스키마가 적용된 모델은 사용자 정보가 불완전할 때 자신 있게 외삽하는 대신, 누락된 정보에 대해 명확히 하는 질문을 한다.

arXiv:2607.14242v1cs.CL

Concept Chaining을 통한 암시적 추론 스티어링

Implicit Reasoning Steering via Concept Chaining

대규모 언어 모델(LLM)은 종종 신뢰할 만하게 추론하는 것처럼 보이지만, 많은 질문에서 반복 샘플링을 하면 정답과 오답이 모두 나와 최종 결정이 형성되는 방식에 근본적인 취약성이 있음을 드러낸다. 우리는 이러한 취약성이 암시적 추론 스티어링(implicit reasoning steering)을 통해 악용될 수 있는지 연구한다. 즉, 명시적 지시, 트리거, 또는 직접적인 답 단서 없이 자연어 텍스트를 사용하여 모델을 지정된 답으로 바이어스(bias)시키는 것이다. 우리의 접근법인 Concept Chaining은 하나 또는 두 개의 중간 개념을 통해 질문 개체를 목표 선택지에 연결하는 짧은 연결 문단을 생성한다. 그런 다음 이러한 연결 문단으로 피해 모델(victim model)의 사전학습(pre-training)을 이어가고, 원래의 객관식 질문에서 답 선호가 바뀌는지 평가한다. 결과는 간접적이고 자연스러워 보이는 텍스트가 직접적인 의역(paraphrase)보다 훨씬 덜 추론 가능하면서도 모델 예측을 체계적으로 유도할 수 있음을 보여준다. 이는 추론의 취약성이 단순한 평가 아티팩트(evaluation artifact)에 그치지 않음을 시사한다. 즉, 잠재 바이어스(latent bias)가 평범해 보이는 텍스트에 의해 증폭되어 모델의 결정을 은밀하게 바꿀 수 있는 실질적인 경로를 만든다.

arXiv:2607.14147v1cs.CL

첫 절반에서 거부를 무너뜨리기: Prefill Jailbreak의 기계론적 연구

Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak

정렬(alignment)된 언어 모델은 유해한 요청을 거부하지만, 한 줄짜리 프리필("Sure, here is")이 그 거부를 제거한다. 우리는 이것이 어디서, 어떻게 실패하는지 묻는다. 유해성 표현은 그대로 유지된다. 공격이 순응으로 뒤집는 프롬프트에서 선형 프로브는 거부된 경우와 같이 높은 수준(0.91-0.98)으로 유해성을 읽어내는 반면, 행동적 거부는 우연 수준으로 떨어진다. 이는 네 개 모델과 세 가족(1.5-3.8B, 14B) 전반에서 성립한다. 따라서 거부는 얕은, 응답 지점(response-site) 계산이다. 우리는 이를 초기 구간으로 국소화한다. 용량-매칭(position-matched) 위치 통제는 응답의 첫 절반만으로 거부를 무너뜨리기에 충분하고, 후반부는 거의 무효임을 보여준다. 세 가지 인과 프로브가 그 구간으로 수렴한다. 그곳에서 유해성 방향을 복원하면 거부가 부분적으로 다시 작동한다. 모델 자신의 거부 상태를 주입하면 jailbreak가 역전된다(74%, 홀드아웃). 그리고 초기 응답의 프리필에 대한 어텐션을 제거하되, 동일한 어텐션 질량을 다른 곳에서 제거하지 않으면, 유해한 후속 생성만 선택적으로 붕괴시킨다. 베이스 모델 통제가 메커니즘을 규명한다. 동일한 knockout은 안전성 미튜닝 베이스 모델에서도 프리필 특이적으로 후속 생성을 붕괴시킨다(유해 콘텐츠 64%에서 25%로, 매칭 통제의 64% 대비, 7B에서 재현). 따라서 프리필의 지배력은 안전성 특이적 억압이 아니라 일반적인 자기회귀(autoregressive) 조건화이며, "거부 복원"은 모델 의존적 대안(fallback)이다. 지배적 메커니즘은 수동적(passive)이다. 그 위에 작은 안전성 특이적 attractor가 남아 있다(로짓 추적(logit-trace) 집중도 0.24 대 0.03). 그 능동-수동 특성의 규모는 추정하지만 완전히 분리하지는 않는다. 단일 방향이나 구성요소가 깔끔한 핸들이 되지도 않는다. 결정은 디코딩 가능하지만 분산되어 있고, 거부는 겉보기 무서움(scary surface)이 아니라 유해성을 추적한다. 결과는 구조적이다. 손대지 않은 프롬프트 측 표현을 읽는 모니터는 구조적으로 면역이지만, 응답 지점 공격에만 해당한다. 메커니즘은 분산되어 있고, 실패 표면(failure surface)은 국소적이다.

arXiv:2607.14118v1cs.CL

실행 인식 LLM 연구 아이디어 생성을 위한 예산 기반 부분집합 정제(Budgeted Subset Refinement)

Budgeted Subset Refinement for Execution-Aware LLM Research Ideation

대규모 언어 모델(LLM)은 전문가 심사자에게 신선해 보이는 연구 아이디어를 생성할 수 있지만, 최근 연구는 이러한 아이디어가 다양성이 부족하고, LLM이 신뢰성 있게 평가하기 어렵고, 실제로 강력한 실행 프로젝트로 이어지지 못할 수 있음을 보여준다. 본 논문은 실행 전 스캐폴딩(scaffolding) 문제에 대한 통제된 프록시 벤치마크를 평가한다. LLM이 생성한 연구 아이디어의 노이즈가 있는 풀(pool)이 주어졌을 때, 고정된 루브릭(rubric) 하에서 시스템이 제한된 정제(refinement) 노력을 어떻게 배분해야 인간 연구자를 위한 더 강력하고, 더 다양하며, 더 실행 인식적인 포트폴리오를 구성할 수 있는가 하는 문제이다. 우리는 Budgeted Subset Refinement(예산 기반 부분집합 정제)를 소개한다. 이는 모든 후보를 균일하게 정제하는 대신 선별된 부분집합만 정제하는 전략군이다. 10개의 무작위 시드와 10개의 연구 아이디어 생성 환경에 걸친 통합 공유 후보 풀 평가에서, 원시 생성과 재순위화(reranking)만으로는 벤치마크 루브릭 하에서 연구 강도(research-strong) 기준을 충족하는 비중복 아이디어를 생성하지 못하며, 정제는 강력한 프록시 등급 포트폴리오에 필요하다. 균일 정제는 강력한 개별 아이디어를 생성하지만 최적의 포트폴리오 수준 연산 할당은 아니다. Random-k 정제는 강력한 저비용 기준선(baseline)이며, 다양성 인식 MMR-k 정제는 최상의 전체 프록시 트레이드오프를 제공한다. 최고의 연구 강도 비중복 수율, 성공적 방법들 중 최저 중복률, 연구 강도 비중복 아이디어당 최상의 비용을 달성한다. 균형 잡힌 72개 항목 샘플에 대한 맹검(blinded) 외부 심사자 견고성 검사는 독립적 모델 계열에 걸친 광범위한 정제 효과를 뒷받침하는 한편, 정제 전략 간 항목별 순위는 심사자에 따라 달라짐을 보여준다. 이 결과는 LLM 연구 아이디어 생성 시스템을 아이디어 생성기뿐 아니라 예산 제약 지원 할당 시스템으로 평가해야 함을 시사한다. 해당 주장은 프록시 등급 포트폴리오 품질에 한정되며, 전문가 검토나 실행 기반 검증(validation)을 대체하지 않는다.

arXiv:2607.14112v1cs.CL

언어 모델의 신뢰성과 스케일링에 대한 정보이론적 한계

Information-Theoretic Limits of Reliability and Scaling in Language Models

대규모 언어 모델(LLM)은 충분한 스케일이 주어지면 어떤 작업에서든 완벽한 신뢰성을 달성할 수 있는 것처럼 평가된다. 우리는 이 가정이 정보이론적으로 정당화될 수 없음을 보인다. 모든 생성 작업에는 관측 가능한 컨텍스트로부터 해결할 수 있는 출력 불확실성의 양에 의해 결정되는, 어떤 모델도 초과할 수 없는 신뢰성 상한이 존재한다. 이 격차는 추가 컨텍스트로 메울 수 있는 해결 가능한 성분과 작업 모호성에 내재된 주관적 성분으로 분해된다. 자기회귀 생성은 출력에서 토큰 간 상관관계를 정량화하는 작업의 의존성 커널에 의해 지배되는 속도로 이 상한을 더욱 저하시킨다. 이 두 가지 기본 요소로부터, LLM 성능이 더 희소한 자원—학습 데이터 또는 모델 용량—에 의해 병목을 받는 제1원리 스케일링 법칙을 유도한다. 이 법칙은 Chinchilla 스케일링 법칙을 특수한 경우로 복원하며, 스케일링이 신뢰성을 향상시키는 조건에 대한 구조적 설명을 제공한다. 스케일링을 넘어, 우리의 프레임워크는 검색-증강의 이점과 치명적 망각의 스펙트럴 메커니즘 같은 다양한 실용적 현상을 통합한다. 우리의 연구는 도메인 전반에 걸쳐 모델 성능을 지배하는 자원-복잡도 트레이드오프를 형식화하여, 생성형 언어 모델의 성능 한계에 대한 통합 이론을 제시한다.

arXiv:2607.14110v1cs.CL

MAPS: 다중 에이전트 인지 대화에서 공존하는 주관적 관점과 공유 의미 모델링

MAPS: Modeling Co-Existing Subjective Perspectives and Shared Meaning in Multi-Agent Cognitive Dialogue

인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.