AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising
원문 초록
Large language models (LLMs) have opened up enormous opportunities while simultaneously posing ethical dilemmas. One of the major concerns is their ability to create text that closely mimics human writing, which can lead to potential misuse, such as academic misconduct, disinformation, and fraud. To address this problem, we present AuthentiGPT, an efficient classifier that distinguishes between machine-generated and human-written texts. Under the assumption that human-written text resides outside the distribution of machine-generated text, AuthentiGPT leverages a black-box LLM to denoise input text with artificially added noise, and then semantically compares the denoised text with the original to determine if the content is machine-generated. With only one trainable parameter, AuthentiGPT eliminates the need for a large training dataset, watermarking the LLM's output, or computing the log-likelihood. Importantly, the detection capability of AuthentiGPT can be easily adapted to any generative language model. With a 0.918 AUROC score on a domain-specific dataset, AuthentiGPT demonstrates its effectiveness over other commercial algorithms, highlighting its potential for detecting machine-generated text in academic settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연속 확산 언어 모델의 설계 공간에 관한 연구
On the Design Space of Continuous Diffusion Language Models
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.
관성 가둠 핵융합 예측을 위한 분해 유도 확산 언어 모델
Decomposition-Guided Diffusion Language Models for Inertial Confinement Fusion Prediction
관성 가둠 핵융합(ICF)은 청정에너지를 향한 유력한 경로이지만, 국립점화시설(National Ignition Facility)에서의 샷(shot)당 비용이 수백만 달러에 달하여 정확한 AI 대리 모델(surrogate) 개발은 가치가 매우 높은 목표입니다. 본 논문에서는 과거 반응 관측 없이 레이저 펄스와 타깃 설계 파라미터로부터 512단계의 중성자 발생률 진단을 직접 추론해야 하는 외생 변수 기반 ICF 파형(waveform) 예측을 연구합니다. 이러한 체계는 시간적 희소성(sparsity, 나노초 단위 윈도우 내 피코초 단위 피크), 입출력 스케일 불일치(300회 미만의 실제 샷), 피크 민감도(피코초 단위 타이밍)로 인해 기존 시계열 예측 모델에 큰 부담을 줍니다. 이에 본 연구는 우리가 아는 한 최초의 언어 모델 기반 ICF 예측기인 ICF-DLM을 제안합니다. 이 모델은 (i) 수율 $Y_{DT}$, 피크 타이밍 $t_{\mathrm{peak}}$, 국소 파형 $w_{\mathrm{local}}$로의 물리 유형화된 분해, (ii) 피크 위치에 대한 결정을 유예하는 양방향 노이즈 제거(denoising), (iii) 숫자 토큰 전반에 걸쳐 메트릭 구조를 재주입하는 물리 기반 PPO 보상(reward)을 결합합니다. ICFBench(5만 개 시뮬레이션 + 232개 실험 샷)에서 ICF-DLM은 동일 조건의 자기회귀 LLaMA-3-8B 대비 피크 타이밍 오차를 11.6스텝에서 9.2스텝으로 줄였으며, 기존 시퀀스 모델 및 LLM 기반 시계열 예측 모델보다 우수한 성능을 보였습니다. ICF를 넘어, 본 방법론은 데이터가 적고 희소한 이벤트가 발생하는 과학 분야 문제를 해결할 잠재력을 보여줍니다.
LOCKR: 확산 언어 모델에서 안정적이지만 잘못된 락인을 감지하고 수정하기 위한 은닉 상태 궤적 유도 플래너
LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models
확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.
효율적인 추론을 향하여: 확산 언어 모델을 위한 인과적 지름길 학습
Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.