arXiv:2210.10488

Attribution and Obfuscation of Neural Text Authorship: A Data Mining Perspective

Adaku Uchendu, Thai Le, Dongwon Lee

제출 2022-10-19

원문 초록

Two interlocking research questions of growing interest and importance in privacy research are Authorship Attribution (AA) and Authorship Obfuscation (AO). Given an artifact, especially a text t in question, an AA solution aims to accurately attribute t to its true author out of many candidate authors while an AO solution aims to modify t to hide its true authorship. Traditionally, the notion of authorship and its accompanying privacy concern is only toward human authors. However, in recent years, due to the explosive advancements in Neural Text Generation (NTG) techniques in NLP, capable of synthesizing human-quality open-ended texts (so-called "neural texts"), one has to now consider authorships by humans, machines, or their combination. Due to the implications and potential threats of neural texts when used maliciously, it has become critical to understand the limitations of traditional AA/AO solutions and develop novel AA/AO solutions in dealing with neural texts. In this survey, therefore, we make a comprehensive review of recent literature on the attribution and obfuscation of neural text authorship from a Data Mining perspective, and share our view on their limitations and promising research directions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28004v1cs.CL공통 태그 Text Generation, Attribute

질문형 대화의 속성별 제어 요약

Controlled Attribute-Specific Summarization of Interrogative Dialogues

효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.

arXiv:2607.19364v1cs.AI공통 태그 Text Generation, Attribute

대규모 언어 모델의 활성화 공간 제어를 위한 통계적 근거 기반 희소 특징 개입

Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models

활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.

arXiv:2607.14396v1cs.AI공통 태그 Text Generation, Attribute

CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.

arXiv:2607.13003v1cs.CR공통 태그 Text Generation, Attribute

생성 모델을 위한 워터마크 포렌식: 정보이론적 관점

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

생성 모델 출력의 워터마크는 보통 텍스트가 기계 생성인지 여부만 묻는다. 같은 표식으로는 더 많은 일을 할 수 있다: 이를 생성한 사용자에게 귀속하고, 숨겨진 페이로드를 추출하거나, 편집 후에도 남는 부분을 국소화하는 것이다. 이들은 포렌식 사다리를 이루며, 우리는 각 단계가 표본 길이 $n$에서 어떤 비용을 드는지 묻는다. 하나의 대상이 답을 정리한다. $S$를 표식이 담는 비밀(사용자 신원 또는 페이로드)이라 하고, 정보 프로필 $ν(t)=I(S;X_t\mid X_{<t})$는 이전 토큰들이 주어졌을 때 $t$번째 토큰이 $S$에 대해 얼마나 많이 드러내는지를 기록한다. 그 총량이 귀속과 추출의 대가를 치르게 하고, 그 분포 방식이 국소화의 대가를 치르게 하며, 탐지만은 정보가 아니라 존재, 즉 표식이 있는 분포와 없는 분포 사이의 거리로 대가를 치른다. 문헌의 두 품질 모델—모든 토큰에서 미묘한 표식과 소수 토큰에 크게 찍는 표식—은 이 프로필을 제한하는 두 가지 비교 불가능한 방식이다. 우리의 주정리는 사다리의 엔트로피 열을 확정한다. 통계적으로 왜곡 없는(d distortion-free) 방식에 대해, $N$명의 사용자 중 하나에게 텍스트를 귀속하는 비용은 엔트로피율 $h$를 갖는 모든 정상-에르고딕(stationary-ergodic) 소스에 대해 $Θ(\log N/h)$ 토큰이며, $(1+o(1))$ 인자까지 날카롭다: 우리가 아는 한 다중 사용자 귀속에 대한 최초의 정확한 엔트로피율 법칙(정확한 정렬을 통해)이다. 자연스러운 충돌 계수 분석은 무한히 과다 청구하며, 각 후보를 그 자체의 실현된 서프라이즈(surprisal)로 임계값 처리하는 디코더만이 이율을 달성하면서 거의 결코 무고한 사용자를 연루시키지 않는다. 대응하는 역정리(converse)가 이 법칙을 양방향으로 만들며, $\ell$비트 페이로드의 추출 비용은 $Θ(\ell/h)$이다. 두 가지 공백은 실재하며 모델링 인공물이 아니다: 텍스트가 증명 가능하게 기계 생성이지만 귀속 불가능한 $Θ(\log N)$ 토큰 창, 그리고 footprint-resolution 불확정성 원리. GPT-2, Pythia-410M, Qwen2.5에서의 실험은 예측된 상수를 재현한다.

arXiv:2607.21067v2cs.CL공통 태그 Text Generation

PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습

PrefReward: Learning User Preference Matrix for Personalized Text Generation

대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.

arXiv:2607.24743v4cs.CV공통 태그 Text Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.