PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30561v1cs.AI

인간 창의성 벤치마크

The Human Creativity Benchmark

현대 AI 평가 프레임워크는 평가자 간 불일치를 해소해야 할 잡음으로 취급한다. 창의적 도메인에서 전문가 간 불일치는 측정 오류가 아니라 취향의 진정한 차이를 반영한다. 우리는 창의적 AI 평가에 두 가지 별개의 신호를 보존해야 한다고 주장한다: 전문가들이 공유된 모범 사례에 동의하는 수렴(convergence)과, 개인 취향이 합법적으로 다양화되는 발산(divergence)이 그것이다. 우리는 도메인 전문가로부터 쌍별 선호도, 프롬프트 준수도·사용성·시각적 매력에 대한 스칼라 평점, 정성적 근거를 수집함으로써 이 분리를 구현하는 벤치마크인 인간 창의성 벤치마크(HCB)를 제시한다. 다섯 가지 창의적 도메인과 세 가지 워크플로우 단계(아이디에이션, 목업, 정제)에 걸친 15,000건의 전문가 판단을 분석한 결과, 수렴은 기술적 정확성 및 시각적 위계와 같은 검증 가능한 차원에 집중되는 반면, 발산은 미적 방향성 및 개념적 위험과 같은 취향 중심의 차원에 집중됨을 발견했다. 어떤 모델도 모든 단계에 걸쳐 균일하게 뛰어난 성능을 보이지 않는다. 이러한 신호들을 단일 품질 지표로 통합하면 가장 실행 가능한 정보—모델이 반드시 올바른 결과를 내야 하는 영역과 사용자 주도로 조종 가능하게 유지되어야 하는 영역에 대한 정보—가 사라진다.

arXiv:2606.29150v1cs.AI

Flow Reasoning Models: Scaling Reasoning Through Iterative Self-Refinement

Discrete flow models have recently shown promising performance on few-step text generation; however, when naively applied to structured reasoning tasks such as Sudoku and Zebra puzzles, they converge confidently to incorrect answers (solving only $\sim$36% of Sudoku puzzles). We introduce Flow Reasoning Models (FRMs), a training and test-time-scaling framework for structured reasoning with flow models. We make the observation that, despite their poor solve rate, flow models can act as their own verifiers. A correct answer is a stable fixed point of the denoising dynamics, returning to itself when re-noised and re-solved. This enables a test-time-scaling paradigm: propose many candidate solutions and keep those that are dynamically stable, which alone reaches high solve rates on Sudoku-Shah (~$100\%$) and Zebra ($95.9\%$). This even generalizes to harder out-of-distribution puzzles like Sudoku-Extreme ($96.1\%$), without ever training on that distribution. This pure search, however, wastes a great deal of computation generating incorrect candidate solutions. We therefore design a training recipe to improve the base model's efficiency. First, we train flow models with a self-conditioning channel and close it at inference, letting them refine their own past predictions. Second, we train models to avoid their own failed generations using direct preference optimization. These changes substantially improve the base model's efficiency, letting it reach $99.2\%$ on Sudoku in just $7$ forward passes, over $8\times$ fewer than the strongest matched masked-diffusion baseline we compare needs for the same accuracy. When combined with test-time scaling, this lets flow models solve hard out-of-distribution puzzles (e.g. Sudoku-Extreme) far more efficiently.

arXiv:2606.28363v1cs.IR

meta-pipe: An LLM-agent pipeline for end-to-end automated systematic review and meta-analysis

Objective: To describe the architecture and design rationale of meta-pipe, an open-source large language model (LLM)-agent pipeline that integrates the complete systematic review and meta-analysis (SR/MA) workflow -- from literature search through statistical analysis, manuscript generation, and quality assurance -- with mandatory human oversight at critical decision points. Study Design and Setting: We developed a 10-stage modular pipeline integrating Claude (Anthropic; Opus 4 for reasoning, Haiku 3.5 for classification) for LLM-assisted screening and extraction, Python (~3,600 lines of code) for automation, R (meta, metafor, gemtc, netmeta) for statistical analysis, and Quarto for manuscript rendering. Five mandatory human decision points enforce oversight. We systematically compared meta-pipe's capabilities with five existing SR automation tools based on published documentation as of March 2026. Results: meta-pipe offers four capabilities not available in any single existing tool: automated manuscript generation from analysis outputs, semi-automated GRADE assessment, overclaim detection (12 predefined patterns), and dual-paradigm network meta-analysis (Bayesian and frequentist). Estimated API cost is $15-30 per typical 5-10 study review. No validation data are reported; this is a system description, not a validation study. Conclusion: End-to-end AI-assisted evidence synthesis is architecturally feasible as an open-source tool with mandatory human oversight. Formal validation reproducing published Cochrane reviews is underway and essential before routine use.

arXiv:2606.28331v1cs.CY

"AI Watermarking": Bridging Policy Discourse and Technical Capabilities

The widespread deployment of generative artificial intelligence (AI) models has raised serious concerns about the proliferation of AI-generated content. This has led to a surge of interest in, and demand for, reliable tracking and detection mechanisms for content that is AI-generated, such as watermarking, metadata tagging, content tagging, and more. The problem has captured the attention of policymakers as well as the popular media, and a spate of recent bills in the US have sought to regulate the spread of AI content, and enforce or promote methods to track and label it. This work performs a critical analysis of the policy discourse surrounding generative AI content transparency in the US and EU. Through a broad document selection methodology, we first collect a broad corpus of documents containing legislative language and policy-relevant discourse on the topic. We then analyze these through inductive coding, and leverage our coding to systematize these documents, identifying key patterns, gaps, and open questions. We identify critical points of disconnect between policy and technological capabilities and practice, and we highlight and discuss potential ambiguities and pitfalls raised by the trends in our corpus.

arXiv:2606.28301v1cs.LG

마스크드 디퓨전 모델을 위한 VGB: 보상 만족 및 샘플 편집을 위한 효율적인 테스트 타임 스케일링

VGB for Masked Diffusion Model: Efficient Test-time Scaling for Reward Satisfaction and Sample Editing

추론 시점 스케일링(inference-time scaling)은 생성 모델을 개선하는 유망한 패러다임이며, 특히 출력이 구조적 제약을 만족하거나 하류 보상을 최적화해야 할 때 더욱 그렇다. 우리는 마스크드 디퓨전 모델(Masked Diffusion Model, MDM)을 고려하고, 언마스킹(unmasking) 생성을 이론적으로 정당화된 보상 안내 재마스킹(reward-guided remasking)으로 보강하는 이산 디퓨전 샘플러인 MDM-VGB를 제안한다. 보상 기울기(reward-tilted) 생성에서 고전적인 Jerrum-Sinclair 백트래킹(backtracking) 마르코프 체인(Markov chain)의 최근 성공에서 영감을 받아, MDM-VGB는 백트래킹 랜덤 워크(random walk)를 고정된 접두 문맥 트리에서 마스크 상태 그래프(masked-state graph)로 확장하여, 토큰을 임의의 위치에서 언마스킹 및 재마스킹할 수 있게 한다. 그 결과 샘플러는 더 높은 가치의 부분 구성(partial configuration)으로 이어지는 언마스킹 및 재마스킹 이동을 선호하여, 높은 보상 생성과 낮은 보상 샘플의 효율적 수정을 모두 가능하게 한다. 우리는 MDM-VGB가 프로세스 검증기(process-verifier) 노이즈에 강건하고 2차(quadratic) 복잡도를 달성함을 증명하며, best-of-$N$과 같은 널리 쓰이는 테스트 타임 휴리스틱은 오류 누적으로 인해 지수(exponential) 복잡도를 초래할 수 있음을 보인다. 우리의 이론적 발견은 강력한 실증 성능, 특히 Sudoku 및 QM9와 같은 널리 쓰이는 제약 만족(constraint-satisfaction) 및 과학 벤치마크에서 뒷받침된다.

arXiv:2606.27939v1cs.LG

목표 아미노산 조성을 갖춘 단백질 서열 생성을 위한 2단계 미세조정

Two-Stage Fine-Tuning for Protein Sequence Generation with Targeted Amino-Acid Composition

단백질 언어 모델은 생물학적 서열 생성의 표준 사전(prior)이지만, 이를 명시적인 분포 설계 목표로 유도하는 것은 아직 거의 탐구되지 않았다. 본 연구는 서열이 원하는 아미노산(AA) 조성 프로파일과 일치해야 하면서도 그럴듯한 서열 통계와 다양성을 유지해야 하는 제약 단백질 생성 문제를 다룬다. 동기가 되는 응용은 합성 사료 단백질 설계로, 여기서 사료 단백질의 AA 조성은 그 영양가를 직접적으로 결정한다. 우리는 도메인 내 단백질 데이터셋에 대한 도메인 적응형 미세조정(FT) 뒤에, FT 모델을 고정된 참조(reference)로 두고 강화학습(RL)을 통한 반복적 보상 가중 FT를 수행하는 2단계 파이프라인을 제안한다. 두 가지 AA 조성에 대해 파이프라인을 평가한 결과, FT는 평균 조성을 목표에 가깝게 맞추고, 이후 RL은 FT만으로는 충족할 수 없는 특정 서열 제약을 강제함을 확인했다. 또한 제안한 조성 보상 항의 설계 선택을 두 가지 베이스라인 및 절삭(ablated) 변형과 비교 평가하고, 각 학습 단계의 기여를 분리하며, AA 조성 정렬이 서열 품질 저하 없이 달성됨을 검증했다.

arXiv:2606.27732v1cs.IR

양초점 확산 언어 모델: 병렬 생성을 위한 비대칭 양방향 문맥

Bifocal Diffusion Language Models: Asymmetric Bidirectional Context for Parallel Generation

이산 확산 언어 모델(discrete diffusion language models, dLLM)은 마스킹된 토큰을 병렬로 복원하여 자기회귀(autoregressive, AR) 생성 대비 상당한 속도 향상을 제공한다. 그러나 이러한 유망한 프레임워크는 근본적인 아키텍처 설계 딜레마에 직면한다: ① 양방향 어텐션을 채택하면 각 위치가 전체 문맥에 접근할 수 있어 생성 품질이 우수해지지만, 본질적으로 KV 캐싱과 호환되지 않아 배치 서빙 시나리오에서 추론 처리량을 제한한다; ② 반면 인과(causal) 어텐션은 효율적인 캐시 기반 추론을 가능하게 하지만 우측 문맥을 모두 잃어 생성 품질이 크게 저하된다. 본 논문은 비대칭 양방향 문맥(asymmetric bidirectional context)을 통해 이 딜레마를 해소하는 새로운 패러다임인 Bifocal dLLM을 제안한다. 양초점 렌즈에 비유하듯, 우리는 이 패러다임을 R2LM(Right-to-Left Mamba)으로 구현하며, 두 가지 상보적 메커니즘을 결합한다: a) 전체 KV 캐시 호환성을 갖춘 정밀한 좌측 문맥을 제공하는 표준 인과 어텐션, b) 캐시 가능성을 깨뜨리지 않고 압축된 우측 문맥을 공급하는 경량 역방향 Mamba SSM 사이드카. Qwen3-1.7B에 600억 토큰으로 지속 사전학습(continued pretraining)을 수행한 포괄적 실험에서, R2LM은 KV 캐싱을 활용한 병렬 디코딩을 통해 배치 서빙에서 양방향 dLLM 대비 2.4~12.9배, AR 기준선 대비 1.9~2.9배의 처리량을 달성하며, 대부분의 벤치마크에서 인과 기준선을 능가하고 평균적으로 양방향 dLLM을 상회함을 보여준다.

arXiv:2606.27410v1eess.IV

DFM: 원격 탐사 이미지 변화 캡셔닝을 위한 텍스트 유도 게이트 대조 손실 기반 차이 특징 모델링

DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning

원격 탐사 이미지 변화 캡셔닝(Remote Sensing Image Change Captioning, RSICC)의 주요 목표는 서로 다른 시점에 촬영된 원격 탐사 이미지 간 변화에 대한 설명을 자동으로 생성하는 것이다. 기존 모델들은 여전히 단일 자기회귀(autoregressive) 생성 패러다임에 의존하며, 이는 이미지 간 판별적 차이를 포착하는 것보다 쉽게 생성되는 어휘 학습을 우선시하는 경향이 있다. 이를 해결하기 위해, 우리는 학습 패러다임을 재구성하고 새로운 차이 특징 모델링(Difference Feature Modeling, DFM) 프레임워크를 제안한다. 구체적으로, 텍스트 유도 게이트 대조 손실(Text-guided Gated Contrastive Loss, TGCL)을 도입하여 비전 인코더가 텍스트 모달 관점에서 핵심 특징을 추출하도록 유도한다. 또한, 사전학습된 변화 탐지(Change Detection) 모델을 통합하여 안정적인 변화 탐지 지식을 전이한다. 표현을 더욱 향상시키기 위해, 다중 스케일 차이 표현의 융합을 달성하고 이를 통해 다중 시점(multi-temporal) 이미지 간 포괄적인 시공간 변화를 포착하는 공동 특징 모델링(Joint Feature Modeling, JFM) 모듈을 설계한다. 여러 데이터셋에 대한 광범위한 실험을 통해 우리 접근법의 효과를 입증한다.

arXiv:2606.16682v3cs.LG

멀티모달 평가자 선호 붕괴: 자기 진화 에이전트의 교차 모달 결합

Multimodal Evaluator Preference Collapse: Cross-Modal Coupling in Self-Evolving Agents

AI 에이전트가 언어 모델을 사용하여 피드백 루프에서 자신의 출력을 평가할 때, 체계적인 편향이 발생한다. 우리는 Evaluator Preference Collapse(EPC)가 멀티모달 설정에서 극적으로 증폭된다는 것을 보여준다. GPT-4o를 사용하여 텍스트 및 시각 작업에서 DeepSeek-chat을 평가한 결과, 단일 전략(step_by_step)이 전체 가중치의 48.4%를 흡수하는 것을 발견했다 — 이는 텍스트 전용 자기 평가에서 관찰된 붕괴의 3.2배에 해당한다 — 반면 세 가지 시각 도메인 전략은 합산하여 9.1%의 가중치만 받는다. 그러고 나서 우리는 교차 모달 결합(cross-modal coupling)이라고 명명하는 새로운 현상을 입증한다: 한 모달리티에서 획득한 평가자 선호가 다른 모달리티로 전이되어 전략 선택을 손상시킨다. 4단계 격리 학습 패러다임을 통해 결합 계수를 측정하고 전략 역전(strategy inversion)을 문서화한다 — 모달리티에 대한 최적 전략이 교차 모달 노출 후에 역전된다. 텍스트 프록시 및 실제 이미지 시각 작업을 모두 포함한 5개 평가자 구성에 대한 Phase 3 통계 검증(N=80 총 독립 반복, ~35,000 API 호출) 결과는 다음과 같다: 교차 모델 평가가 강한 결합을 생성한다(JSD~0.19-0.34), 실제 이미지 입력이 가장 방향적으로 일관된 신호를 제공한다(mean gamma_{T->V}=1.145, gamma_{V->T}=0.937, 70% T->V, Cohen's d=0.56), 자기 평가는 거의 완전한 면역성을 제공한다 — 97%의 실행(N=30)이 제로 결합을 산출한다(JSD=0.003, d=0.07). 세 가지 방법론적 ablation 및 다중 실행자 검증을 통해 이 효과가 구조적 인공물이 아님을 확인한다. 평가자 식별자로 인덱싱된 결합 행렬을 도입하고, MM-EPC 프레임워크를 공개하며, 교차 모델 평가자 아키텍처가 선호 드리프트의 주요 위험 요인임을 확인한다. 코드 및 데이터: https://github.com/aidless/mm-epc.

arXiv:2605.26872v3cs.LG

가장 강한 교사가 항상 최고의 교사는 아니다: 학생 중심 답변 선택

The Strongest Teacher Is Not Always the Best Teacher: Student-Centric Answer Selection

대규모 언어 모델(LLM) 학습은 합성 응답부터 추론 trace, 도구 사용 시연에 이르기까지 교사가 생성한 지도(supervision)에 점점 더 의존하고 있다. 현재 관행은 학생 학습 데이터 생성을 위해 성능이 가장 높은 교사를 선택하며, 암묵적으로 교사의 테스트 성능을 교수 품질의 대리 지표로 삼는다. 우리는 이 가정이 실패할 수 있음을 보인다. 여러 교사가 동일한 질문에 대해 올바른 답을 제공하더라도, 가장 강한 교사의 답이 주어진 학생에게 최적의 지도일 필요는 없다. 이 공백을 해소하기 위해, 검증된 교사 생성 답변 중 추정된 학생 중심 학습 비용에 따라 선택하는 프레임워크인 Student-Centric Answer Sampling(SCAS)을 제안한다. 토큰 단위 그래디언트 분해에서 출발하여, 이 비용에 대한 효율적인 forward-only 프록시를 도출하고 학습 중 답변 선택을 유도하는 데 이를 사용한다. 30개 교사 모델, 6개 학생 기본 모델, 6개 태스크에 걸친 실험에서 SCAS는 학생 성능을 일관되게 향상시키며, 효과적인 지식 증류(distillation)는 교사의 강도만이 아니라 현재 학생에 맞는 지도를 우선해야 함을 시사한다.

arXiv:2605.06675v2cs.LG

RateQuant: 레이트-왜곡 이론 기반 최적 혼합 정밀도 KV 캐시 양자화

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

대규모 언어 모델(LLM)은 생성 과정에서 이전에 계산한 모든 키-값(KV) 쌍을 캐시하며, 이 KV 캐시는 시퀀스 길이에 선형적으로 증가하여 서빙에서 주요 메모리 병목이 된다. KV 캐시를 더 적은 비트로 양자화하면 비용을 줄일 수 있지만, 현재 모든 양자화기는 어텐션 헤드 간 중요도의 큰 차이를 무시하고 모든 헤드에 동일한 비트 폭을 할당한다. 자연스러운 아이디어는 중요한 헤드에는 더 많은 비트를, 나머지에는 더 적은 비트를 할당하는 것이다. 그러나 우리는 이러한 혼합 정밀도 할당이 숨겨진 함정이 있음을 보인다. 각 양자화기는 서로 다른 왜곡 곡선 D(b)=α·β^{-b}를 따르며, 감쇠율 β는 양자화기 설계에 따라 3.6에서 5.3까지 달라진다. 한 양자화기의 왜곡 모델을 다른 양자화기에 적용하면 할당 순서가 뒤바뀌어 균일 양자화보다 성능이 더 나빠진다. 우리는 이 실패 양상을 왜곡 모델 불일치(distortion model mismatch)라고 부르며, 이를 해결하기 위해 RateQuant를 제안한다. RateQuant는 소규모 보정(calibration) 세트로 양자화기별 왜곡 모델을 적합한 뒤, 레이트-왜곡 이론의 역 waterfilling을 통해 결과적인 비트 할당 문제를 폐형(closed form)으로 풀어낸다. Qwen3-8B에서 평균 2.5비트로, 보정된 RateQuant는 KIVI의 perplexity(PPL)를 49.3에서 14.9로 낮추어(70% 감소) QuaRot 대비 6.6 PPL를 개선한다. 전체 보정은 단일 GPU에서 1.6초가 걸리며, 추론(inference) 시 오버헤드는 전혀 추가되지 않는다.

arXiv:2510.03243v3cs.LG

서빙 전 순위화: 쌍별 학습-순위(Pairwise Learning-to-Rank)를 통한 저지연 LLM 서빙

Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank

PARS는 마진 랭킹 손실(margin ranking loss)을 활용한 쌍별 학습-투-랭크(pairwise learning-to-rank) 방식으로 프롬프트에서 직접 응답 길이 순서를 예측해, 대규모 언어 모델(LLM) 서빙 시 선착순(FCFS) 스케줄링의 헤드-오브-라인(HOL) 블로킹 문제를 완화하는 프롬프트 인식 스케줄러다. vLLM에 통합된 실험에서 기본 스케줄러 대비 최대 15.7배 지연 감소를 달성했으며, 모델별 재학습 없이도 다양한 LLM에 걸쳐 일반화 성능을 보였다.

arXiv:2606.28057v1cs.CL

MultiHashFormer: 해시 기반 생성형 언어 모델

MultiHashFormer: Hash-based Generative Language Models

언어 모델(LM)은 어휘 크기에 비례하여 선형적으로 확장되는 임베딩 행렬을 사용해 토큰을 표현한다. 매개변수 규모를 제한하기 위해, 기존 연구는 인코더 전용 모델에서 여러 토큰을 단일 벡터로 해싱하는 방법을 제안했다. 이는 매개변수 효율성을 제공하지만, 다대일 충돌(many-to-one collisions)로 인해 인과적 LM에서의 사용이 불가능하다. 본 논문에서는 해시 기반 자기회귀(autoregression)를 가능하게 하는 새로운 프레임워크인 MultiHashFormer를 제안한다. 각 토큰은 여러 독립적인 해시 함수로 생성된, 이산적 해시 ID의 짧은 시퀀스인 고유한 해시 서명(hash signature)으로 표현된다. Hash Encoder는 이 서명을 단일 잠재 벡터로 압축하여 트랜스포머 디코더가 처리할 수 있도록 한다. 그다음 Hash Decoder는 다음 토큰의 해시 서명을 생성하고, 이는 다시 텍스트로 역매핑된다. 100M, 1B, 3B 매개변수 규모에서 접근법을 평가한 결과, MultiHashFormer가 여러 벤치마크에서 표준 트랜스포머 LM을 지속적으로 능가함을 보였다. 또한 별도의 수정 없이 일정한 매개변수 규모로 다국어 어휘 확장을 처리할 수 있음을 보였다.

arXiv:2606.28044v1cs.CL

LLM을 활용한 법률 사건 판결 요약을 위한 Tree-of-Thoughts 영감 하이브리드 접근법

A Tree-of-Thoughts Inspired Hybrid Approach for Legal Case Judgement Summarization using LLMs

최근 대규모 언어 모델(LLM)이 법률 사건 판결 요약에 점점 더 많이 사용되고 있다. 대부분의 선행 연구는 사건 판결에 대한 전통적인 추출적 및 생성적 요약을 시도해 왔다. 그러나 하이브리드 또는 추출-생성적 기법은 많이 탐구되지 않았다. 본 연구에서는 법률 판결 요약을 위한 새로운 Tree-of-Thoughts 영감 기반 추출-생성적 요약 접근법을 제안한다. DeepSeek과 LLama라는 두 가지 인기 LLM을 사용하여 실험을 수행하고, 추출적, 생성적, 추출-생성적 요약을 비교한다. 실험 결과, 제안한 추출-생성적 프롬프트가 다른 유형의 LLM 프롬프트에 비해 더 나은 요약을 제공하는 것으로 나타났다.

arXiv:2606.27808v1cs.CL

자동차 정비 지침으로부터 상보적 행동 모델링 학습

Learning Complementary Action Modeling from Automotive Maintenance Instructions

자동차 정비 지침에서 미세한 어휘 변화가 절차적 의미를 역전시키는 현상에 주목하여, 행동 구(action phrase)만 수정하면서 나머지 문맥을 보존해 절차적 대응 쌍을 식별·생성하는 상보적 행동 모델링(CAM, Complementary Action Modeling) 과제를 정의한다. 독일어 자동차 정비 데이터셋을 기반으로 후보 매칭과 제어된 Seq2Seq 생성 실험을 수행한 결과, 상보적 정비 지침은 표면적 유사성이나 동의어 기반 패러프레이징이 아닌 미묘한 어휘 단서에 기반한 절차적 연관으로 모델링해야 함을 보였다.

arXiv:2606.27679v1cs.CL

신호에서 전이까지: 대규모 언어 모델의 프로브 기반 불확실성 추정에 대한 요인 분해 연구

From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models

LLM 환각 탐지를 위한 프로브 기반 불확실성 추정(UE)에서 실제 성능을 좌우하는 요인을 분리하기 위해, 특징 표현·학습 데이터 구성·전이 설정을 동일 조건 하에서 요인 분해 방식으로 분석했다. 도메인 내에서는 단순한 은닉 상태 및 어텐션 특징이 가장 강력하지만, 분포 이동 시에는 구조화·압축된 특징이 더 견고하며, 이 모범 사례를 바탕으로 사전학습된 프로브가 개방형 사실 생성 태스크로도 합리적으로 전이됨을 보였다.

arXiv:2606.27617v1cs.CL

마스킹 언어 흐름 모델

Masked Language Flow Models

마스킹 확산 모델(MDM)의 병렬 디코딩 한계와 흐름 언어 모델(FLM)의 다단계 추론 취약성을 동시에 극복하기 위해, 연속 확률 보간(continuous stochastic interpolant)으로 부분 마스킹 시퀀스와 클린 시퀀스를 연결하는 Masked Language Flow Models(MLFM)을 제안한다. 사전학습된 MDM을 경량 적응으로 MLFM으로 변환하고, 연속 디노이징과 확신 토큰의 이산적 언마스킹을 교대하는 새로운 샘플러를 통해 GSM8K와 MT-Bench에서 흐름 기반 언어 모델이 추론 및 인스트럭션 수행 과제를 처음으로 스케일링하여 해결할 수 있음을 입증하였다.

arXiv:2606.27550v1cs.CL

EntMTP: 엔트로피 유도 다중 토큰 예측을 통한 LLM 추론 가속

EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

기존 다중 토큰 예측(MTP) 기반 추론 가속 방식이 정적 트리 토폴로지를 사용해 문맥의 엔트로피 변화를 반영하지 못하는 문제를 해결하기 위해, EntMTP는 로컬 생성 엔트로피 추정치에 따라 작업별 파레토 최적 트리 집합 중 적절한 어텐션 토폴로지를 동적으로 선택하는 학습 불필요 스케줄러를 제안한다. Humaneval, ShareGPT, GSM8k, Litbench 벤치마크에서 Hydra 대비 최대 1.15배, Medusa 대비 최대 1.36배의 추론 속도 향상을 생성 품질 저하 없이 달성했다.

arXiv:2606.27538v1cs.CL

컨텍스트 준비형 트랜스포머

The Context-Ready Transformer

토큰이 트랜스포머 블록에 진입하기 전에 이전 위치의 블록 출력과 현재 임베딩을 결합한 보정 네트워크(correction network)로 사전 문맥화하는 새로운 순환 신경망 아키텍처 Context-Ready Transformer를 제안한다. 학습 시에는 전체 시퀀스에 걸쳐 보정 과정을 K번 병렬 전개하고, 추론 시에는 순차 생성으로 자연스럽게 수렴된 보정을 제공하여, D=5 모델이 12층 트랜스포머 대비 1.7배 빠른 속도로 더 낮은 퍼플렉시티를 달성한다.

arXiv:2606.23387v2cs.CL

자기 낙인은 단일체가 아니지만, 일반적 공감은 그렇다: 약물 사용자를 위한 페르소나 조건 LLM 지원

Self-Stigma Is Not a Monolith, but Generic Empathy Is: Persona-Conditioned LLM Support for People Who Use Drugs

Reddit 약물 사용자 1,174명의 자기 낙인(self-stigma) 표현을 잠재 프로필 분석(LPA)으로 네 가지 페르소나로 나누고, 순차 베이지안·순환 신경망 분류기가 30개 게시물에서 macro-F1 0.74로 페르소나를 복원하는 페르소나 인식 LLM 지원 개념 증명을 제시한다. 임상 전문가 평가에서는 페르소나 맞춤 응답이 목표 행동 변화에는 유효했지만, 평가자들은 페르소나 중립 기준선의 일반적 공감을 더 선호해 전체적 공감 판단과 임상 정렬 설계가 엇갈릴 수 있음을 보였다.