Scientific language is a central infrastructure of knowledge production, but it remains unclear whether large language models (LLMs) are altering not only how scientists write, but also how scientific knowledge is communicated and accessed. Here we analyze 21.36 million scientific abstracts published between 2020 and 2024, together with historical records from major journals, to trace recent changes in the language of science. We identify a marked turning point in 2024, when scientific writing shows a sharp increase in lexical complexity alongside a decline in syntactic complexity. This shift is pervasive across disciplines and journal tiers, and is more pronounced in texts by scholars working in non-native English contexts, especially those from language backgrounds that differ more typologically from English. Controlled polishing experiments confirm that LLMs reproduce this pattern by favoring more lexically dense and syntactically compressed expression. We further show why this linguistic shift matters: it may widen the distance between scientific discourse and public-facing language, while also helping scholars in non-native English contexts navigate English-language publishing requirements. These findings suggest that LLMs may broaden participation in scientific authorship while narrowing the accessibility of scientific communication, making them a new force in the linguistic infrastructure of science.
비직교 벽면과 불규칙한 경계를 갖는 비맨해튼(non-Manhattan) 실내 환경에서 텍스트 기반 3D 장면 생성이 어렵다는 문제를 해결하기 위해, SPG-Layout은 객체 분포의 통계적 사전 정보(spatial prior)를 강화학습 보상으로 활용하는 두 단계 학습 전략과 대형 가구를 우선 배치하는 계층적 레이아웃 전략을 결합한 프레임워크를 제안한다. 500개의 다양한 비맨해튼 환경으로 구성된 새 벤치마크 실험에서 기존 방법 대비 레이아웃 충실도와 물리적 타당성 모두에서 일관되게 뛰어난 성능을 보였다.
Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/
대규모 언어 모델(LLM)이 생성한 작문 피드백을 강사 피드백과 체계적으로 비교·평가하기 위해, 564개의 초안과 8,240개의 강사 주석으로 구성된 공개 코퍼스 SEFORA와 피드백을 단위별로 분할하고 최적 매칭으로 정밀도·재현율·F1을 산출하는 UniMatch 프레임워크를 제안한다. 74가지 실험 구성에서 어떤 LLM도 F1 0.4를 넘지 못했으며, 피드백 과잉 생성이 정렬 성능 저하의 주요 원인임을 밝혔다.
SLIM-RL은 확산 대규모 언어 모델(dLLM)의 강화학습에서 궤적 재구성 없이 τ-budget 디코더로 롤아웃의 커밋 리스크를 제한하고, 분산 감소 랜덤 마스킹 목적함수로 학습하는 방법이다. SDAR-4B 기준으로 TraceRL 대비 0.46배의 학습 샘플만으로 동등한 MATH500 정확도를 달성하며, GSM8K에서 11.05%, 코드 벤치마크 MBPP에서 4.20% 향상을 보인다.
대규모 언어 모델(LLM) 기반 창작 글쓰기 보조 시스템이 표면적 교정과 무분별한 플롯 확장 사이에서 진동하는 이진 실패 문제를 해결하기 위해, 스토리와 담론의 서사학적 구분에 기반한 3단계 파이프라인 프레임워크 Loom을 제안한다. Loom은 지각 할당(Perception Quota), 의미 생성(Meaning Making), 서사 렌더링(Narrative Rendering) 레이어를 순차적으로 적용하여 원본 사건 구조를 보존하면서도 묘사 강도와 서사적 의도를 정밀하게 제어함으로써 기존 최신 기준선 대비 사실적 무결성과 묘사 강도 모두에서 최고 품질 점수를 달성했다.
검증 가능한 보상(RLVR)만으로는 스타일·구조 등 비검증 속성이 무시되는 문제를 해결하기 위해, VARL은 생성기-판별기 적대적 프레임워크로 검증 보상과 인간 데모 기반 학습 신호를 곱셈 방식으로 결합한다. 버그 수정·스토리 생성·countdown-code 등 다양한 도메인에서 RLVR의 정확도 향상을 유지하면서도 다양성 붕괴와 보상 해킹을 크게 억제하고 인간 유사 출력을 달성했다.
Generative AI now enables games to produce dialogue, quests, characters, images, and worlds at runtime. Yet generation alone does not make a game AI-native, nor does it guarantee playability. This paper defines AI-native games by whether runtime generative AI is constitutive of the core loop: if the AI component were removed or trivially replaced, the central form of play would collapse or become fundamentally different. This counterfactual criterion separates AI-native games from AI-augmented games, boundary artifacts, chatbots, tavern-style role-play, procedural content generation, and AI-assisted production. Using this definition, we screen candidate artifacts and analyze 53 publicly available AI-native games and prototypes. We introduce a dual-axis G/N taxonomy: the G-axis captures player-facing game type, while the N-axis captures the dominant AI mechanic that makes generative AI indispensable to play. The corpus is concentrated around language-forward designs, especially narrative adventure, epistemic interaction, and generative narrative, while categories such as semantic adjudication, multi-agent simulation, generative construction, and relationship/companion play remain less represented. We argue that the central design problem is organizing semantic openness into stable gameplay. AI-native design depends on mechanical invariants: goals, rules, state, feedback, pacing, and player agency that make open-ended AI outputs interpretable and consequential. We conclude with a roadmap for controllable generation, AI-as-mechanic design, multimodal and multi-agent systems, inference economics, evaluation, safety, and regulation.
EU 저작권 법리에서 요구하는 실질적 유사성(substantial similarity) 기준을 충족하는 자동화 평가 프레임워크 PSALM을 제안하며, 문체·서사·캐릭터 등 10개 평가 차원을 DAG 기반 LLM-as-a-judge 구조로 구현하였다. 번역된 네덜란드 문학 작품으로 파인튜닝한 Llama 3.2 실험에서 파인튜닝이 축어적 암기를 넘어 추상적 서사 패턴까지 문체 도용을 유발하며, Negative Preference Optimisation 언러닝 후에도 잔여 문체 유사성이 남음을 확인하였다.
기존 AI 생성 텍스트 탐지기는 텍스트의 특성을 조작하는 공격에 취약하다. 본 연구에서는 주어진 텍스트 내의 내용(핵심 아이디어)과 표현(문체적 요소)이라는 추가적인 관점을 활용한 새로운 Triospect 탐지 프레임워크를 제안한다. 17가지 공격, 12개 도메인, 17개 소스 모델을 포함하는 두 벤치마크에서 수행한 실험을 통해 Triospect가 이러한 공격에 강인함을 입증한다. Humanize-16K 공격 후 서브셋에서 강력한 기준선(baseline) 대비 AUROC 22.3%, TPR01 13%의 유의미한 마진(margin)으로 성능을 향상시켰으며, 적대적 RAID에서는 AUROC 9.1%, TPR01 22% 향상을 달성하였다. 이 프레임워크는 공격에 대한 탐지 신뢰성을 높이기 위한 통계적 방법론의 선구적 시도이다. 데이터와 코드는 https://github.com/baoguangsheng/triospect 에서 공개한다.
블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.
확산 언어 모델(diffusion language model)의 컨텍스트 표현과 노이즈 제거 역할을 분리하기 위해, 고정된 자기회귀(AR) 컨텍스트 타워와 학습 가능한 확산 디노이저 타워로 구성된 블록 단위 아키텍처 TwoTower를 제안한다. Nemotron-3-Nano-30B-A3B 기반으로 약 2.1T 토큰 학습한 Nemotron-Labs-TwoTower는 자기회귀 기준선 대비 품질 98.7%를 유지하면서 2.42배 높은 생성 처리량(throughput)을 달성했다.
AI 생성 콘텐츠로 인한 자기소비(AI autophagy) 피드백 루프가 대규모 언어 모델(LLM)의 모델 붕괴(model collapse)를 유발한다는 문제를 다루며, 퍼플렉서티(perplexity)가 붕괴의 핵심 동인임을 밝히고 인간 저작 데이터 구별 없이 고-서프라이즈 문서를 우선 선택하는 필터링 전략을 제안한다. 이 전략은 여러 데이터셋과 LLM 패밀리에서 일관되게 모델 붕괴를 완화하며, 인간 데이터 기반선과 동등하거나 그 이상의 성능을 달성한다.
Deterministic few-step generation succeeds on continuous image latents but collapses to incoherent text on continuous text latents, and we show the cause is geometric rather than a training or scaling deficiency: a smooth, regularity-limited deterministic map cannot resolve a discrete branch choice before a sharp categorical readout, so few-step failure is governed by decoder sharpness, not transport accuracy. In the overlapping regime of real text autoencoders, we prove (Theorem 3) that the posterior-mean terminal step flips tokens at the rate of the latent mass in an $O(s(t))$ tube around decision boundaries. Two diagnostics, DABI (readout sharpness) and CCI (categorical commitment), measured on published checkpoints show that four independently built continuous-text decoders amplify a boundary-aligned perturbation far beyond a norm-matched isotropic one (DABI from $5\times10^{2}$ to $>10^{5}$), while image decoders have DABI $\approx 1$. Two mechanisms escape the continuous bound: categorical commitment (autoregressive decoders succeed despite sharper readouts) and stochastic re-injection (deterministic ODE at $K=4$ gives PPL 294 versus SDE 50 on the same model). In the idealized separated regime we prove matching sharp transport laws, including a dimension phase diagram: the deterministic stiffness needed to separate $M$ modes grows as $Θ(\sqrt{\log M})$ once the latent dimension is $Ω(\log M)$ (and as $M^{1/n}$ in fixed dimension), with a depth-$B$ hierarchy giving a $\sqrt{B}$-smaller per-step peak (Theorems 5-7); a coarea identity links these to the overlapping tube (Theorem 17). The result is an accuracy-depth-stiffness tradeoff: within the deterministic-continuous class the cost is irreducible, and both escapes step outside it.
확산 언어 모델(DLM)의 고정 블록 학습과 추론 시 임의 구성 간의 불일치를 해결하기 위해, 접두 문맥 윈도우 구성을 확률 변수로 취급하여 전체 구성 공간에 걸쳐 노이즈 제거 리스크를 최적화하는 Adaptive Block Diffusion(ABD)을 제안한다. ABD는 아키텍처 변경 없이 단일 모델을 학습시켜 그리드 이탈 붕괴를 방지하고, 블록 크기와 perplexity 간 단조 관계를 회복하며 고정 블록 전문 모델과 동등하거나 우수한 성능을 달성한다.
배경. 주변 디지털 스크라이브(ambient digital scribe)의 광범위한 배포로 임상의-환자 대화의 대규모 수집이 촉진되고 있다. 임상 커뮤니케이션 데이터에 대한 인간 코딩은 비용이 많이 들고 일관성이 낮으며 확장이 어려워, AI 기반 커뮤니케이션 코딩 시스템의 필요성이 대두되고 있다. 그러나 이러한 시스템을 평가하려면 실제 대화와 인간이 레이블링한 데이터가 필요하며, 두 가지 모두 대규모로 확보하기 어렵다. 방법. 우리는 참조 행동 주석(reference behavioral annotation)이 포함된 통제된 임상 대화 데이터를 생성하기 위한 프레임워크인 SIMAX(Scalable and Interpretable Framework for Multi-Fidelity and Annotated Clinician-Patient Dialogue Simulation)를 개발하였다. SIMAX는 사전 정의된 임상 시나리오, 페르소나(persona), 음성 조건, 그리고 목표 커뮤니케이션 행동으로부터 임상의-환자 대화를 생성한다. 행동 제어는 두 가지 코드북을 사용하여 수행된다: 전반적인 커뮤니케이션 품질을 위한 Global Codebook과 특정 계산 가능한 행동을 위한 WISER Codebook. 우리는 자동화 및 인간 품질 평가와 예시 커뮤니케이션 코딩 시스템을 통해 SIMAX를 평가하였다. 결과. SIMAX는 세 가지 전문과(specialty), 다양한 방문 단계, 페르소나 특성, 억양 조건에 걸쳐 3,388개의 시뮬레이션 대화를 생성하였다. 자동화 평가에서 UTMOS 및 WV-MOS 평균 점수는 각각 3.03과 2.61, WER 및 CER은 0.07과 0.05, CLAP 코사인 유사도는 0.41로 나타나, 합리적인 음성 자연스러움, 높은 전사(transcription) 충실도, 그리고 긍정적인 텍스트-오디오 대응을 시사한다. 인간 평가에서는 MOS 중앙값 4.67, 임상적 현실성 점수 중앙값 3.00이 측정되었다. 다운스트림 평가 결과, SIMAX는 커뮤니케이션 코딩 시스템이 행동 목표에 어떻게 반응하는지 평가하고 일부 차원에서의 민감도 부족을 드러낼 수 있음을 보여준다. 결론. SIMAX는 통제되고 재현 가능한 시뮬레이션 임상의-환자 대화를 생성하여, 커뮤니케이션 코딩 시스템의 개발, 검증 및 개선을 위한 데이터 기반을 제공한다.
지식 증류(KD)는 대규모 언어 모델(LLM) 압축의 핵심 기법이나, 단일 KL 목적함수에 의존하는 방법들은 주요 분포 적합과 롱테일 확률 모델링 간의 균형에 실패하는 경우가 많아 생성 품질과 일반화를 모두 제한한다. 이를 해결하기 위해, 우리는 분포 정렬에서 순방향 및 역방향 KL 발산(FKL/RKL)의 상호 보완적 역할을 이론적·실증적 관점에서 분석한다. 이를 바탕으로, 정책 네트워크가 교사-학생 분포 특성에 따라 FKL과 RKL의 가중치를 동적으로 할당하는 강화학습 기반 적응형 KL 가중 지식 증류 프레임워크를 제안하며, 즉각적인 보상 신호를 통해 주요 모드와 롱테일 모드에 대한 이중 정렬을 달성한다. 광범위한 실험 결과, Rouge-L 및 BertScore 지표 전반에 걸쳐 일관된 성능 향상을 확인하였으며, 탐욕적 휴리스틱 방법 대비 0.4-0.6점 향상되고 다양한 벤치마크에서 다른 기준선 방법들을 능가함을 입증하였다.
극한에서의 언어 식별이라는 고전적 패러다임은 학습을 미지의 목표 언어에서 문자열을 공개하는 적대자와 해당 언어를 식별하는 학습자 간의 게임으로 모델링한다. 최근 도입된 극한에서의 언어 생성 프레임워크는 현대 언어 모델링을 더 잘 반영하도록 목표를 전환하여, 학습자가 목표 언어에서 유효하고 새로운 문자열을 생성하도록 요구한다. 관련 연구는 근본적인 긴장 관계를 부각시켰는데, 목표에 대한 넓은 커버리지는 종종 유효성의 희생을 수반한다는 것이다. 우리는 정밀도(precision)의 새로운 개념을 도입하고 이 문제를 고전적인 재현율(recall)-정밀도 트레이드오프로 재구성한다. 우리는 대규모 언어 모델(LLM)이 직면하는 환경에 더 가까운 설정을 반영하기 위해 열거, 신규성, 유효성에 대한 다양한 제약 조건 하에서 극한에서의 생성을 분석한다. 핵심 기여는 최종적으로 유효하지 않은 학습자에 대한 분석으로, 오류의 빈도가 0으로 수렴하여 정밀도가 1로 유지되는 한 무한히 많은 오류를 허용한다. 우리는 적대자가 목표 언어의 상당 부분을 영구적으로 보류할 때 이 완화가 재현율을 엄격하게 높일 수 있음을 보인다. 또한 출력의 고정된 비율만 새로울 것을 요구하는 신규성 제약의 연속적 완화도 연구한다. 이러한 결과들을 종합하면, 간헐적인 오류와 반복이 불가피하지만 그 비율이 제어되는 보다 현실적인 언어 생성 모델을 향해 나아간다.
전통적인 토픽 모델은 대규모 텍스트 컬렉션에서 잠재적 주제를 발견하는 데 효과적이다. 그러나 단어 빈도(bag-of-words) 표현에 의존하기 때문에 의미적으로 추상적인 특징을 포착하는 데 어려움을 겪는다. 일부 신경망 변형은 더 풍부한 표현을 사용하지만, 주제를 단어 목록으로 표현하는 방식에 동일하게 제약되어 복잡한 주제를 명확히 표현하는 능력이 제한된다. 우리는 희소 오토인코더(SAE)가 학습한 해석 가능한 특징에 기반하여 동작하는 토픽 모델의 일종인 메커니즘 토픽 모델(MTM)을 소개한다. 의미적으로 풍부한 이 공간에서 주제를 정의함으로써, MTM은 표현력 있는 특징 설명을 통해 더 깊은 개념적 주제를 드러낼 수 있다. 또한, 토픽 모델 중 유일하게 MTM은 토픽 조향 벡터(topic steering vector)를 사용한 제어 가능한 텍스트 생성을 가능하게 한다. 단어 목록 방식과의 비교 평가를 위해, 우리는 대규모 언어 모델(LLM) 기반 쌍별 비교 평가 프레임워크인 topic judge를 제안한다. 8개의 데이터셋에 걸쳐, MTM은 일관성 지표에서 전통적 및 신경망 기반 기준 모델과 동등하거나 이를 초과하며, topic judge에서 일관되게 선호되고, 효과적인 LLM 조향을 가능하게 한다.
텍스트와 이미지를 생성할 수 있는 생성형 AI 모델의 발전은 두 모달리티의 교차(interleaving)를 수반하는 작업, 특히 멀티모달 지능 분야에서 중요한 진전을 의미한다. 이 지능을 다음 단계로 발전시키기 위해서는 모델이 자유 형식의 교차 텍스트-이미지 시퀀스를 자율적으로 생성할 수 있어야 한다. 본 논문에서는 멀티모달 데이터 효율성을 개선하고 멀티모달 학습 과정을 안정화함으로써 고품질의 자유 형식 교차 텍스트-이미지 생성을 가능하게 하는 진보된 통합 멀티모달 패러다임인 ILLUME-X를 소개한다. ILLUME-X는 세 가지 핵심 구성 요소로 이루어진다: (i) 교차 텍스트-이미지 생성에 최적화된 확장된 학습 데이터 파이프라인, (ii) 자유 길이 멀티모달 토큰 시퀀스에 대한 자기 적응적 목적함수를 갖춘 점진적 학습 전략, (iii) 교차 텍스트-이미지 시퀀스를 위한 객관적이고 포괄적인 평가 방법인 ILScore. 특히, ILLUME-X는 스타일 전이(style transfer), 이미지 분해(image decomposition), 스토리텔링(storytelling) 등 다양한 교차 텍스트-이미지 생성 작업에서 기존 통합 모델들을 능가하는 성능을 보인다.