PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15870v1cs.CL

검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가

Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh

AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.

arXiv:2609.35821v2cs.CL

CrisisFake: 재난 소셜 센싱을 위한 AI 생성 텍스트 탐지의 벤치마크 유효성 평가

CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing

재난 소셜 센싱은 대중의 소셜 미디어 게시물을 상황 인지 및 인도주의적 대응을 위한 근거로 변환하지만, 그럴듯한 대규모 언어 모델(LLM) 생성 게시물은 이러한 정보 흐름을 오염시키고 피해, 요구사항, 자원 우선순위 평가를 왜곡할 수 있습니다. 본 연구는 텍스트 기반 탐지기가 사람이 작성한 재난 게시물과 LLM이 생성한 재난 게시물을 구별할 수 있는지, 그리고 그 판단의 기반이 되는 텍스트 단서가 무엇인지를 실증적으로 조사합니다. 우리는 9개 재난 사건에서 수집한 3,000개의 매칭된 시맨틱 단위로 구성된 12,000개 텍스트 규모의 Qwen2.5-7B 기반 데이터셋인 CrisisFake를 구축했습니다. 각 단위는 사람이 작성한 원본 게시물, LLM이 최소한으로 교정한 게시물, LoRA를 사용해 사실을 보존하며 생성한 LLM 게시물, 그리고 해당 인공 게시물의 정서적 프레임을 재구성한 버전으로 구성됩니다. 모델 선택 및 임계값 캘리브레이션을 지원하기 위해 42개 재난 사건에 걸친 6,000개 텍스트 규모의 별도 말뭉치도 독립적으로 구축되었습니다. 우리는 5개 모델 계열에 걸쳐 OSM-Det, Fast-DetectGPT, Binoculars 및 직접적인 LLM 판별기를 평가하고, 재난 도메인 캘리브레이션과 리트윗 마커, 사용자 멘션, 해시태그, URL, 구두점, 텍스트 길이와 같은 표면적 언어적 단서가 탐지기 성능에 어떤 영향을 미치는지 추가로 조사합니다. 14개의 고정(frozen) 구성 전반에서 AUROC는 0.402에서 0.517 사이에 머물렀으며, 캘리브레이션을 통해 도출한 낮은 위양성(false-positive) 동작 지점에서의 최고 예측 재현율은 3.6%에 불과해 무작위 추측에 가까운 구별 능력을 보였습니다. OSM-Det의 경우 재난 도메인에 캘리브레이션된 선형 헤드를 적용하면 AUROC가 0.817로 향상되지만, 7개 특징(feature)만을 사용한 텍스트 분류기만으로도 원본 대 사실적 LLM 생성 대조군에서 AUROC 0.784에 도달하며, 확인된 표면적 비대칭성을 중립화하면 해당 선형 헤드의 AUROC는 0.733에서 0.594로 떨어집니다. 이러한 결과는 LLM 생성 텍스트 탐지가 주로 언어적 단서에 의해 유도되며, 단문 형태의 재난 소셜 미디어에 적용하기에는 여전히 충분히 강건하지 않다는 실증적 근거를 제시합니다.

arXiv:2610.00531v1cs.AI

과학인가 조잡한 생성물인가?: AI 생성 논문 내 과학적 무성의함 벤치마킹 및 완화

Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

흔히 AI 슬롭(AI slop)이라 불리는 AI 생성 콘텐츠는 모든 분야에서, 특히 학계에서 점점 더 흔해지고 있습니다. 그러나 AI가 생성한 과학 논문 속 슬롭은 기존 토큰(token) 기반 AI 탐지기로는 쉽게 감지할 수 없는 보다 복잡한 패턴을 지닙니다. 이러한 논문은 각 부분이 그럴듯해 보이지만 부분들을 연결하는 과학적 추론이 무너지며, 이는 독자가 연구를 평가하는 방식을 오도할 수 있습니다. 본 연구에서는 구조(Structure), 논증(Argument), 인공물(Artifacts)에 걸친 6가지 척도를 통해 이러한 결함을 과학적 슬롭으로 벤치마킹합니다. 주로 컴퓨터 과학 분야를 다루되 생명, 사회, 자연과학을 아우르는 390편의 AI 생성 논문으로 SciSlopBench를 구축하였으며, 각 논문은 연구 문제와 기여 유형이 일치하는 인간이 작성한 논문과 쌍을 이루도록 했습니다. 제안하는 척도는 68.7%의 정확도를 보인 Binoculars에 비해 각 쌍에서 85.9%의 정확도로 AI 논문을 식별합니다. 더 높은 과학적 슬롭은 더 낮은 ICLR 점수와 연관되며, 2017년부터 2025년까지 매년 우연 수준 이상으로 탈락 논문과 채택 논문을 구분합니다. 그러나 이러한 패턴을 줄이는 것은 척도를 직접 최적화하는 것만큼 단순하지 않습니다. 이에 따라 실험 기록이 수정을 뒷받침하는 경우에만 고정된 대규모 언어 모델(LLM)이 슬롭을 수정하도록 안내하는 하네스 수준의 프레임워크인 SciSlopHarness를 제안합니다. 표준적인 수정은 잔여 슬롭을 남기고 직접적인 슬롭 인지 프롬프트는 보상(reward) 해킹을 유발하는 반면, SciSlopHarness는 인간 참조 목표 없이도 가장 강력한 수정 기준선(baseline) 대비 남은 AI-인간 격차를 63% 줄입니다. 전반적으로 AI가 생성한 과학 논문은 전역적 추론에 근본적인 흔적을 남기며, 책임감 있는 완화를 위해서는 단순한 문장 다듬기가 아닌 엄격한 증거 기반 그라운딩(grounding)이 필요함을 입증합니다.

arXiv:2607.14113v1cs.CL

T5-CSBoost: 적대적 교란에 강인한 LLM 핑거프rinting

T5-CSBoost: Adversarial Perturbation Resistant LLM Fingerprinting

많은 AI 생성 텍스트(AIGT) 탐지기는 깨끗한 입력에서 강한 성능을 달성하지만, 가벼운 패러프레이징(paraphrasing), 단어 치환, 문자 편집, 분포 이동(distribution shift) 하에서 정확도가 크게 저하된다. 본 논문은 T5 Contrastive Style Boosted Classifier(T5-CSBoost)를 제안한다. 이는 T5-Sentinel 프레임워크의 확장으로, 출처 귀속(source attribution)을 위해 원래의 다음 토큰 예측 목적(next-token prediction objective)을 유지하면서 디코더 임베딩(decoder embeddings) 위에 보조적인 마진 기반 트리플릿 손실(triplet loss)을 도입한다. 이러한 대비 스타일 정규화(contrastive style regularization)는 컴팩트하고 교란에 강인한 스타일 표현(stylistic representations)의 학습을 촉진하며, 기존 T5-small 백본을 변경하지 않으면서 아키텍처 수정, 적대적 학습(adversarial training), 또는 복잡한 다중 과제 목적(multi-task objectives)에 의존하는 선행 접근법에 대한 경량이면서도 효과적인 대안을 제공한다. T5-CSBoost는 OpenLLMText 및 HC3 AIGT 벤치마크에서 최신 최고 수준의 다중 클래스 출처 귀속 및 이진 human-vs-LLM 탐지 성능을 달성한다. 더 중요한 것은, T5-CSBoost가 최대 90% 강도의 단어 및 문자 수준 적대적 교란(adversarial perturbations)에 대한 강화된 강건성(robustness)을 보여주며, 미공개 모델(unseen models), 미공개 도메인(unseen domains), 극단적 패러프레이징 시나리오를 포함한 도전적인 MAGE/Deepfake 스트레스 테스트 스위트에서 최신 최고 성능을 달성한다는 점이다. 우리 결과는 대비 학습(contrastive learning)을 통해 스타일 임베딩을 명시적으로 정규화하는 것이 실제 적대적 환경에서 더 강건한 LLM 핑거프rinting 시스템을 구축하기 위한 실용적이고 효과적인 전략임을 보여준다.

arXiv:2607.03680v1cs.LG

AI 생성 텍스트 탐지의 재고찰: 강력한 기준선과 여전히 남아있는 분포 이동 문제

Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains

완전 파인튜닝된 RoBERTa만으로도 여러 AI 생성 텍스트 탐지 벤치마크에서 특화된 탐지기와 동등하거나 이를 능가하며, 이는 최근 복잡한 아키텍처 설계가 분포 내 탐지 성능의 핵심이 아님을 시사한다. 분포 이동(distribution shift) 환경에서는 탐지기가 미관측 도메인의 인간 작성 텍스트에 높은 신뢰도로 기계 레이블을 부여하는 핵심 실패 패턴이 나타나며, LoRA 어댑터 기반 K-shot MAML 적응과 신뢰도 가중 앙상블로 이를 부분적으로 완화할 수 있음을 보인다.

arXiv:2606.31074v1cs.CL

Triospect: 다양한 공격에 강인한 통계적 AI 생성 텍스트 탐지를 위한 3차원 프레임워크

Triospect: A Three-Dimensional Framework for Robust Statistical AI-Generated Text Detection Against Diverse Attacks

기존 AI 생성 텍스트 탐지기는 텍스트의 특성을 조작하는 공격에 취약하다. 본 연구에서는 주어진 텍스트 내의 내용(핵심 아이디어)과 표현(문체적 요소)이라는 추가적인 관점을 활용한 새로운 Triospect 탐지 프레임워크를 제안한다. 17가지 공격, 12개 도메인, 17개 소스 모델을 포함하는 두 벤치마크에서 수행한 실험을 통해 Triospect가 이러한 공격에 강인함을 입증한다. Humanize-16K 공격 후 서브셋에서 강력한 기준선(baseline) 대비 AUROC 22.3%, TPR01 13%의 유의미한 마진(margin)으로 성능을 향상시켰으며, 적대적 RAID에서는 AUROC 9.1%, TPR01 22% 향상을 달성하였다. 이 프레임워크는 공격에 대한 탐지 신뢰성을 높이기 위한 통계적 방법론의 선구적 시도이다. 데이터와 코드는 https://github.com/baoguangsheng/triospect 에서 공개한다.

arXiv:2605.14240v1cs.LG

다양한 AI 생성 텍스트 탐지 방법의 패러프레이징 공격 회복력

Paraphrasing Attack Resilience of Various AI-Generated Text Detection Methods

최근 대규모 언어 모델(LLM)의 등장은 표절이나 인터넷상 허위 정보 확산과 같은 그 결과를 다룰 공백을 남겼다. 여기에 AI 탐지기 우회 도구의 부상이 더해지면서, 신뢰할 수 있는 기계 생성 텍스트 탐지에 대한 수요가 점점 더 높아지고 있다. 우리는 다양한 기계 생성 텍스트 탐지 방법의 패러프레이징 공격 회복력을 조사하며, 파인튜닝된 RoBERTa, Binoculars, 텍스트 특징 분석 세 가지 접근법과 Random Forest 분류기를 이용한 앙상블을 평가한다. Binoculars를 포함한 앙상블이 가장 강력한 결과를 보였지만, 공격 중 가장 큰 손실도 겪는다는 것을 발견했다. 본 논문에서는 AI 텍스트 탐지 영역에서 성능과 회복력 사이의 이분법을 제시하며, 이는 최신 기법들에 대한 현재의 신뢰성 인식을 복잡하게 만든다.

arXiv:2606.18946v1cs.CL

SenFlow: 하이브리드 문서에서의 AI 생성 텍스트 탐지를 위한 문장 간 흐름 모델링

SenFlow: Inter-Sentence Flow Modeling for AI-Generated Text Detection in Hybrid Documents

하이브리드 문서의 문장 수준 AI 생성 텍스트 탐지(S-AGTD)를 문장 그래프 위 구조적 예측으로 재정의한 SenFlow는 그래프 기반 문장 간 전파와 선형 체인 CRF 디코딩을 단일 문서 패스로 결합한다. DeepSeek-V3.2·Kimi K2로 구축한 MOSAIC 벤치마크(16,000문서)에서 최고 성능을 보이며, 특히 교차 도메인 전이에서 Macro-F1이 평균 4.15pp 향상되고 혼란도 필터 이후에도 생성 모델에 따른 문장 길이 격차가 탐지 단서로 남는다.