PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20589v1cs.CL

GPT-4.1을 활용한 의견 예측에서 페르소나 시뮬레이션의 효과 평가

Evaluating the Effectiveness of Persona Simulation in Opinion Prediction with GPT-4.1

페르소나 시뮬레이션은 특정 특성 정보를 바탕으로 대규모 언어 모델(LLM)을 활용하여 인간의 선택이나 상호작용을 예측하는 것을 포함한다. 현재의 한계와 향후 방향을 더 잘 이해하기 위해, 우리는 GPT-4.1(2024년 6월까지의 지식 기준)을 사용하여 의견 예측에서 페르소나 시뮬레이션을 테스트했다. 컬럼비아 대학교의 Personas 데이터셋에서 제공된 미국 9개 주의 페르소나를 사용하여, GPT-4.1은 9개 주 중 8개 주에서 2024년 선거 결과를 정확히 예측했으며, 스윙 주(swing state) 중 하나에서만 실패했다. 그다음 우리는 의학 및 헬스케어와 관련된 의견에 초점을 맞췄다. Pew Research Center의 American Trends Panel Wave 123 데이터셋을 사용하여, GPT-4.1은 아동 백신에 대한 신념을 최대 0.94의 정확도로 예측할 수 있었다. 또한 우리는 GPT-4.1을 적용하여 페르소나 간 대화를 생성했으며, 시뮬레이션된 대화와 의견이 페르소나의 성격과 배경을 잘 따랐지만, 자연스러운 인간적인 흐름은 부족함을 관찰했다. 페르소나 시뮬레이션은 편향이 해결되는 한 인공지능의 유망한 응용임이 입증된다. 가까운 미래에, 공중 보건에서 입법, 경제에 이르는 다양한 분야에서 의견 분석 및 반응 예측에 이를 적용하는 것이 유익할 것이다.

arXiv:2607.20458v1cs.CL

CAMeR: LLM 에이전트의 적응형 메모리 유지를 위한 키워드 게이트 하이브리드 활성화

CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents

장시간 대화를 수행하는 대규모 언어 모델(LLM) 에이전트는 방대한 양의 정보를 축적하지만, 기존 메모리 시스템은 모든 것을 무차별적으로 유지하거나 관련 지식과 무관한 지식을 구분하지 못하는 균일한 망각 휴리스틱을 적용한다. 본 논문은 CAMeR(Context-Activated Memory Reinforcement)를 제안한다. 이는 키워드 게이트 하이브리드 활성화—기호적(word-level Jaccard) 및 하위기호적(임베딩 cosine) 게이팅 메커니즘의 결합—와 적응형 가중치 동역학을 결합한 메모리 유지 프레임워크이다. CAMeR은 각 메모리-쿼리 쌍에 대해 하이브리드 유사도 점수를 계산한다. 임계값을 초과하는 메모리는 강화를 받으며, 모든 메모리는 통제된 감쇠를 겪는다. CAMeR-Bench를 도입한다. 이는 8개 주제 클러스터에 걸쳐 단계적 활성화 빈도를 갖는 76개 메모리, 100라운드 벤치마크로, 기존 벤치마크(LoCoMO, LongMemEval)가 검증할 수 없는 적응형 유지를 테스트하도록 설계되었다. CAMeR-Bench에서 CAMeR의 키워드 게이트는 임베딩 전용 게이팅 대비 고빈도 메모리와 한 번도 참조되지 않은 메모리 간 유지 격차가 1.6$\times$ 더 크다(scissors gap: 0.039 vs. 0.024). 한편 시간 기반 베이스라인(Oblivion, SuperLocalMemory)은 100라운드 동안 거의 0에 가까운 가중치로 붕괴한다. CAMeR의 top-5 검색은 전체 컨텍스트 방식 대비 83.2\%의 토큰을 절약한다(누적 39k vs. 231k). 동시에 검색 정밀도를 향상시키는 가중치 신호를 생성한다. 8가지 ablation 조건을 통해, 학습 가능한 감쇠가 아닌 키워드 게이트가 이 규모에서 주요 성능 동력임을 확인한다. 결과는 하이브리드 기호-신경 게이팅이 LLM 에이전트의 적응형 메모리 유지를 위한 단순하면서도 효과적인 메커니즘을 제공함을 보여준다.

arXiv:2607.20455v1cs.CL

RE-AD: 데이터 라벨링을 위한 실시간 요구사항 준수

RE-AD: Real-Time Requirement Adherence for Data Labeling

인간 주석 데이터는 최첨단 대규모 언어 모델(LLM)의 학습에 여전히 근본적으로 중요하다. 그러나 크라우드소싱 주석은 종종 주석자의 오해 또는 참여 부족에서 비롯된 품질 문제를 겪는다. 이를 해결하기 위해, 우리는 LLM을 활용하여 라벨링 품질을 사전적으로 검증하는 실시간 요구사항 준수(RE-AD) 프레임워크를 제안한다. 우리의 방법론은 자기 성찰(self-reflection)을 통해 표준 운영 절차(SOP)를 원자 규칙으로 분해하고, 복잡도별로 분류하며, 계층적 검증 전략을 적용하는 것을 포함한다. 합성 벤치마크에서 평가한 결과, 시스템은 F1 점수 0.749를 달성했다. 또한, 프로덕션 배포 결과 주석자들은 프레임워크가 표시한 오류의 82%를 수용하고 수정했다. 우리는 핵심 설계 결정의 영향을 보여주기 위해 절제 연구(ablation study)를 포함한다.

arXiv:2607.20454v1cs.CL

프론티어 대규모 언어 모델 전반의 응답 드리프트

Response drift across frontier large language models

모든 프론티어 대규모 언어 모델(LLM)은 응답 드리프트(response drift)—전문가가 검증한 참조에서 벗어난 출력을 생성하는 현상—를 보이지만, 이 드리프트의 크기와 구조는 체계적인 인간 평가를 통해 아직 규명되지 않았다. 본 연구에서는 47명의 지리적으로 다양한 참가자가 블라인드 조건에서 10개의 프론티어 LLM에 걸친 62개의 다영역 질문을 각각 평가한 완전 교차 평가를 보고하며, 이를 통해 29,140건의 독립적 평가를 도출했다. 모든 모델은 드리프트하지만 드리프트 크기는 상당히 다르다. 여덟 모델은 통계적으로 구별할 수 없는 상한(78–81% 편차)에 수렴하는 반면, 두 모델은 더 낮은 편차(47–49%)를 달성한다. 드리프트 프로파일은 6개 영역과 62개 질문에 걸쳐 다르며, 상한에 해당하는 모델들 간의 쌍별 상관은 r = 0.85를 초과한다. 자동화된 유사도 지표는 인간 판단 분산의 2% 미만만을 설명한다. 이러한 결과는 응답 드리프트가 프론티어 LLM 전반에 보편적이며, 구조적으로 영역 및 질문에 따라 달라지고, 인간 중심 평가를 통해서만 접근 가능함을 보여준다.

arXiv:2607.20453v1cs.CL

섬망 예측을 위한 LLM 제로샷 적응 지식 주입 프레임워크

A Knowledge-Injection Framework for Zero-Shot Adaptation of LLMs to Delirium Prediction

대규모 언어 모델(LLM)은 임상 예측에 유망하지만, 특화된 작업에서의 제로샷 성능은 불완전한 도메인 지식으로 인해 제한되며, 특히 소규모의 로컬 배포 가능 모델에서 그렇다. 우리는 미세조정이나 검색 없이 추론 시점에 구조화된 전자 건강 기록(EHR) 데이터의 결정론적 자연어 요약을 외부 임상 지식 보고서로 보강하는, ICU 섬망 예측을 위한 경량 지식 주입 프레임워크를 제시한다. MIMIC IV 데이터셋의 ICU 입원 3,160건에 대해 LLaMA 3.1 8B와 LLaMA 3.3 70B를 평가한다. 임상적으로 의미 있는 외부 지식 보고서를 추가하면 외부 지식이 없을 때와 비교하여 8B 모델의 AUROC가 8.57퍼센트포인트, 70B 모델은 1.99퍼센트포인트 향상된다. 외부 지식 보고서 없이 사용한 GPT-5.2 프론티어 모델 기준(AUROC 68.86%)과 비교할 때, 지식 주입은 LLaMA 8B의 성능 격차를 15.66에서 7.09 AUROC 포인트로, LLaMA 70B는 5.30에서 3.31 AUROC 포인트로 줄인다. 무작위 대조 보고서는 성능을 개선하지 않으며 오히려 저하시키는 경우가 많아, 향상은 프롬프트 길이 증가만이 아니라 임상적으로 의미 있는 내용에 달려 있음을 시사한다. SHAP 기반 기여도 분석은 주입된 지식이 예측 과정에서 적극적으로 활용됨을 추가로 확인한다. 이러한 결과는 추론 시점 지식 주입이 로컬 배포 가능한 오픈 가중치 모델과 프론티어 폐쇄형 모델 간의 격차를 줄일 수 있으며, 자원이 제한된 임상 환경에서 실용적이고 프라이버시를 보존하는 워크플로를 유지할 수 있음을 시사한다.

arXiv:2607.20449v1cs.CL

모델 속의 이야기꾼: 서사 패턴 상속, 확대 역학, 그리고 LLM의 정렬 거버넌스

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

LLM은 주로 인간이 작성한 텍스트로 학습되지만, 해당 텍스트에 내재된 구조적·서사적 관습이 체계적 행동 영향의 원천이거나 배포된 시스템에서의 거버넌스 위험으로 거의 검토되지 않는다. 본 논문은 주인공, 적대자, 약자와 같은 원형적 역할과 긴장-해결 서사 호를 포함하여 출판된 인간 글쓰기에 내재된 스토리텔링 패턴이 학습 과정에서 흡수되어 이후 LLM 출력에 표면화되는지, 그리고 그로 인해 장기 상호작용에서 응답이 예상치 못한, 적대적이거나 수사적으로 유혹적인 행동으로 표류하는지를 검토한다. LLM 정렬, 페르소나 역학, 창발적 미정렬, 사용자 상호작용 패턴에 관한 최근 실증 연구에 대한 체계적 문헌 검토와 교차 논문 분석을 통해, 우리는 이 가설을 뒷받침하는 증거를 관찰한다. 연구 결과는 세 가지 핵심 패턴을 드러낸다. 첫째, LLM은 독립적으로 추론하기보다 학습 데이터의 통계적 패턴을 재현한다. 둘째, 아첨(sycophancy)과 기만성(deceptiveness)을 포함한 측정 가능한 잠재 특성이 관련 없는 프롬프트 전반에 걸쳐 안정적으로 창발한다. 셋째, 좁은 서사 과제에 대한 미세조정은 해당 과제를 훨씬 넘어서는 의도하지 않은 행동 변화를 야기할 수 있다. 또한 증거는 설득적이고 서사적 스타일의 출력이 실제 사용에서 가장 흔한 LLM 산출물 중 하나이며, 이러한 위험을 증폭시킨다고 시사한다. 서사 표류(narrative drift)는 배포된 AI 시스템에서 모니터링되지 않는 확대 경로를 구성하며, 개별 사건 탐지 메커니즘을 회피하고 전용 모니터링 도구를 필요로 한다.

arXiv:2607.20448v1cs.CL

Domyn-Small: 유럽 100억 매개변수 추론 언어 모델

Domyn-Small: A European 10B Reasoning Language Model

Domyn-Small을 소개한다. 이 모델은 MIT 라이선스로 공개된 100억 매개변수 오픈 웨이트(open-weight) 추론 언어 모델이다. Domyn-Small은 9조 토큰 다국어 데이터에 대한 초기 사전학습 단계와, 추론, 인스트럭션 수행(instruction following), 컨텍스트 확장을 위한 사후 학습 파이프라인의 결과물이다. 후자에 대해서는 기본 컨텍스트 윈도우(context window)를 32K 토큰으로 두 배 확장하는 지속 사전학습(Continued Pre-Training, CPT) 단계를 수행했으며, 이어 수학 중심 어닐링(annealing) 실행과 함께 SFT를 진행했다. 마지막으로 RL 단계에는 검증 가능한 보상을 사용한 GRPO, DPO, 그리고 수학, 코드, 객관식 QA, 인스트럭션 수행, 도구 호출(tool calling)의 다섯 작업 도메인에 걸친 다중 환경 GRPO 단계가 포함된다. 32K 토큰 기본 컨텍스트는 YaRN을 통해 추론 시 128K로 확장되며, 채팅 템플릿(chat-template) 토글이 이중 모드 추론을 가능하게 한다. 7--10B급 동급 모델(Qwen3.5-9B, OLMo-3-7B-Think, Nemotron-Nano-8B, Ministral-3-8B)과 비교했을 때, Domyn-Small은 강력한 정확도-효율 균형을 달성한다. 핵심 추론 벤치마크에서 Qwen3.5-9B 대비 약 3분의 1, OLMo-3-7B-Think의 토큰 예산(token budget) 대비 약 35%의 토큰을 생성하면서도, 뛰어난 인스트럭션 수행(IFEval 79.9)과 경쟁력 있는 과학 추론(GPQA-Diamond 50.0) 성능을 제공한다. 본 연구 과정에서 개발되어 전 과정에 사용된 HPC 클러스터에서 확장 가능한 LLM 추론을 위한 오픈소스 프레임워크인 Domyn Swarm(Apache 2.0)과 함께 가중치와 사후 학습 레시피를 공개한다.

arXiv:2607.20446v1cs.CL

인공과 진본 구별: LLM 생성 콘텐츠 탐지를 위한 LLM 평가

Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content

학생들이 자연어 응답과 프로그램 코드를 생성하는 데 대규모 언어 모델(LLM)을 점점 더 많이 사용하면서, LLM 자체가 AI 생성 작업과 인간이 작성한 제출물을 구별하는 데 사용될 수 있는지에 대한 관심이 커지고 있다. 본 논문에서는 프로그래밍 연습, 성찰적 글쓰기, 단답형 질문 등 여러 교육 과제 유형에 걸쳐 LLM이 자신이 생성한 콘텐츠를 어느 정도 탐지할 수 있는지 조사한다. 실제 학생 응답과 여러 변형의 LLM 생성 답변을 사용하여, 서로 다른 프롬프트 전략과 출력 형식 하에서 탐지 성능을 평가한다. 본 연구는 세 가지 연구 질문을 다룬다: (1) LLM이 과제 영역 전반에 걸쳐 자신의 출력을 얼마나 정확하게 식별할 수 있는가, (2) 프롬프트 설계, 응답 길이, 과제 유형과 같은 요인이 탐지 효과에 어떻게 영향을 미치는가, (3) LLM 생성 응답의 어떤 특성이 탐지 성공 또는 실패에 기여하는가. 연구 결과, LLM 기반 탐지는 과제에 매우 크게 의존한다: 프로그래밍 과제와 더 긴 성찰적 응답에서는 탐지가 훨씬 더 신뢰할 수 있지만, 단답형 질문에서는 성능이 낮으며 LLM이 자신의 출력을 실제 학생 응답보다 더 인간적이라고 판단하는 경우가 빈번하다. 또한 성찰적 글쓰기 과제에서 프롬프트 프레이밍과 응답 장황함(verbosity)이 탐지 가능성에 뚜렷한 영향을 미치며, 상대적으로 사소한 프롬프트 변화만으로도 탐지 정확도가 크게 감소하는 반면, 프로그래밍 관련 탐지는 프롬프트 변화에 더 강건하다. 이러한 결과는 교육 환경에서 LLM 자기 탐지(self-detection)의 잠재력과 한계를 모두 부각하며, AI 생성 학생 작업을 식별하기 위한 독립 도구로 LLM에 의존할 때는 신중함을 권고한다.

arXiv:2607.20444v1cs.CL

확신적 기만: 신뢰도가 LLM 기만 위험을 어떻게 증폭하는가

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

대규모 언어 모델(LLM)은 기만적인 응답, 즉 맥락상 또는 실험적으로 유도된 목표를 위해 사용자를 오도하는 출력을 생성할 수 있다. 그러나 모델이 얼마나 자신 있게 기만하는지, 더 높은 신뢰도가 기만적인 응답을 최종 사용자에게 더 설득력 있게 만드는지는 여전히 불분명하다. 본 논문에서는 다양한 모델과 서로 다른 기만 데이터셋에서 이러한 기본적인 질문들을 연구한다. 언어화된 자기 보고와 다양한 로짓 기반 추정기를 통해 신뢰도를 측정하는 포괄적인 연구를 제시한다. LLM이 상당한 수준의 언어화된 신뢰도로 기만적인 응답을 제공하며, 쌍별 비교에서 인간 어노테이터가 더 높은 신뢰도의 기만적 응답을 78%의 경우 선호한다는 것을 보여준다. 미정렬 미세조정은 이 문제를 증폭한다. 기만적 응답에 대한 신뢰도는 세 벤치마크 모두에서 상승하며, 그로 인한 잠재적 위험이 증가하고, 효과는 학습 분포를 넘어 일반화된다. 주목할 점은, 모델이 자신의 기만적 출력을 높은 비율(미정렬 하에서 82.7%)로 기만적이라 분류하면서도 여전히 그것을 생성할 것이라 예측한다는 것이다—회피 없는 인식. 우리는 자신 있는 기만이 기만, 신뢰도, 인식을 함께 측정하는 평가가 필요한 별개의 정렬 위험이라고 주장한다.

arXiv:2607.20441v1cs.CL

LLM 월드 모델에서의 신념 전파: 예측 시장을 이용한 전략적 정보 바이어스 측정

Belief Propagation in LLM World Models: Measuring Strategic Information Bias with Prediction Markets

모든 정보 생태계는 전략적 의사결정을 형성하는 신념을 생성한다. 인간 분석가와 AI 시스템 모두 정보 출처의 맹점을 그대로 물려받는다. 우리는 LLM과 예측 시장을 결합하면, 생태계에서 유발된 신념이 외부 기준점에서 얼마나 벗어나는지 측정하는 보정된 도구로 작동함을 보인다. LLM은 텍스트 말뭉치가 함의하는 신념을 추출하고, 실현된 결과로 해결 시점에 고정된 예측 시장 가격 궤적은 편차를 정량화할 보정 기준을 제공한다. 우리는 절제(ablation)를 통해 특정 텍스트의 바이어스 기여를 분리한다. 모델은 고정한 채 정보 맥락을 변화시키고, 실제 결과를 아는 오염된 모델을 대조군으로 사용한다. 111개의 우크라이나 관련 예측 시장(4개 모델에 걸친 약 93,000건의 예측)에 적용한 결과, 영어 뉴스 맥락이 영토 관련 예측에 체계적으로 바이어스를 유발하며, 예측을 영토 점령 방향으로 밀어낼 때 64~72% 확률로 틀린다. 실제 결과를 아는 오염된 모델도 동일한 오류율을 보여, 바이어스가 주로 텍스트에서 기인함을 시사한다. 우크라이나 군사·분석 출처를 보완하면 모든 클린 모델에서 바이어스가 감소하지만, 절대 오차 개선은 부분적이며 모델에 따라 다르다. 왜곡은 주로 모델이 아니라 출처에서 기인함을 보인다. 네 가지 아키텍처에서 일관되게 나타나며, 이를 처리하는 모든 시스템에서 지속되고 하류 의사결정으로 전파될 것이다.

arXiv:2607.20440v1cs.CL

Answer-then-Edit: 유틸리티 보존을 위한 반-증류 추론 골격 편집

Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility

독점 대규모 언어 모델(LLM)은 상당한 지적·재정적 투자를 수반하므로 가치 있는 지적 재산(IP)이다. 그러나 블랙박스 API를 통해 배포되는 경우에도, 이러한 모델은 무단 지식 증류에 취약하여 적대자가 저렴하게 모델 역량을 추출·복제할 수 있다. 이 문제를 해결하기 위해 반-증류(anti-distillation, AD)가 제안되었으며, 이는 사후 검증에 의존하는 워터마킹 기반 접근법의 한계를 극복하면서 증류 효과를 저해하는 방어적 출력을 생성한다. 그러나 내부 모델 교란에 기반한 기존 AD 방법은 반-증류 가능성과 추론 trace의 유틸리티(예: 답변 정확도 및 자연스러움) 간 균형을 맞추기 어려우며, 더 강한 방어는 종종 상당한 유틸리티 손실을 야기한다. 이 공백을 메우기 위해, 우리는 반-증류를 위한 사후 trace 수정을 수행하는 Answer-then-Edit 프레임워크인 Skeleton-Guided Reasoning Editing(SGRE)을 제안한다. 답변(answer) 단계에서 교사 모델은 먼저 깨끗한 추론 trace를 생성하여 원래의 추론 정확도를 보존하면서 trace 자연스러움에 대한 더 유연한 제어를 가능하게 한다. 편집(editing) 단계에서 우리는 인지 부하 이론(Cognitive Load Theory, CLT)에서 영감을 받아 추론 골격 추출, 골격 그래프 거칠화(skeleton graph coarsening), 골격 언어화(skeleton verbalization)로 구성된 3단계 전략을 도입한다. 이 연산들은 추론 구조를 공동으로 교란하고 텍스트 복잡도를 증가시켜 학생 모델(student model)에 대한 외재적 부하(extraneous load)를 증폭하여 기저 추론 패턴의 습득을 방해한다. 다양한 LLM에 걸친 광범위한 실험은 SGRE가 증류 효과 감소에서 최첨단(state-of-the-art) 성능을 달성하면서, 무손실(lossless) 추론 정확도와 우수한 trace 자연스러움을 유지함을 보여준다.

arXiv:2607.20439v1cs.CL

SemEval-2026 Task 6의 AsymVerify: 정치적 회피 탐지를 위한 비대칭 신뢰도 게이팅 검증

AsymVerify at SemEval-2026 Task 6: Asymmetric Confidence-Gated Verification for Political Evasion Detection

정치적 회피는 회피적 답변이 구체적 약속을 피하면서도 협조적으로 보이는 경우가 많아 탐지하기 어렵다. 본 논문은 SemEval-2026 Task 6(명확한 응답(Clear Reply), 양가적 응답(Ambivalent), 명확한 비응답(Clear Non-Reply)의 3-way 분류)을 위한 신뢰도 게이팅 검증 시스템인 AsymVerify를 제안한다. AsymVerify는 평가 분할(D_eval, n=237)에서 Macro F1 0.85를 기록하여 공식 리더보드에서 41개 팀 중 2위를 차지했다. 이 시스템은 먼저 각 질문-답변 쌍을 분류한 다음, 낮은 신뢰도 예측에 대해 선택적으로 하향 검증(CR/CNR → AMB) 또는 상향 검증(AMB → CR)을 적용한다. 개발 분석에 따르면 오류는 양방향 모두에서 Ambivalent 경계에 집중되며, 이는 비대칭 이중 검증기 설계의 동기가 되고, 신뢰도 게이팅은 추가 추론 비용을 낮게 유지한다. D_dev(n=308)에서 GLM-4.7을 사용한 AsymVerify는 예시당 1.48회 호출로 단일 패스 분류 대비 Macro F1 +17.1을 얻었으며, 상향 검증기만으로도 D_dev에서 테스트된 모든 LLM 백엔드의 단일 패스 기준선 대비 Macro F1 +6.8~+15.2를 개선했다. 코드는 https://github.com/kaons-research/AsymVerify-ACL 에서 제공된다.

arXiv:2607.20438v1cs.CL

스펙트럴 업데이트 재구성으로서의 선호 튜닝

Preference Tuning as Spectral Update Reorganization

선호 기반 사후 학습은 보통 최종 행동을 통해 이해되지만, 이러한 행동을 만들어내는 학습된 업데이트는 여전히 대체로 불투명하다. 우리는 인간 피드백 강화학습(RLHF) 및 관련 선호 최적화를 그들이 유도하는 매개변수 업데이트의 스펙트럴 구조를 통해 연구한다. 효과적인 LoRA 업데이트를 분해하고 스펙트럴 성분을 플러그인 모듈로 다시 로드함으로써, 선호에 의해 유도된 업데이트를 분리·재구성·직접 개입이 가능한 객체로 전환한다. 모델 계열, 최적화 알고리즘, 감독 체계에 걸쳐 이러한 업데이트는 일관되게 스펙트럴 head–tail 구조를 형성한다. 컴팩트한 head가 초기에 나타나 지배적인 최종 변화를 담당하는 반면, 이질적인 잔차 tail이 남는다. 이 분할은 단순히 기술적인 수준을 넘어 기능적으로 작용한다. 플러그인 개입은 head가 베이스 모델로부터의 가시적 행동 이탈을 설명하는 반면, tail은 단독으로는 약함을 보여준다. 실행 간 재구성은 혼합 어댑터가 head의 출처를 따름을 추가로 보여주며, 이는 head가 실행 수준의 solver 바이어스를 담고 있음을 시사한다. 이러한 최종 지배성은 학습의 충분성을 의미하지 않는다. Head만 학습하는 방식은 무의미하지 않지만 전체 해법을 복원하지 못하며, 특히 분포 밖(out-of-distribution) 행동에서 그렇다. Tail만 학습하면 가시적 이득은 거의 없지만, tail 없이는 전체 해벅을 복원할 수 없다. 이러한 발견은 선호 사후 학습을 단일형 행동 교정이 아닌 구조화된 업데이트 재구성으로 재해석하며, 정렬(alignment) 이득과 커버리지 손실(coverage loss)이 학습된 업데이트 자체의 조직 방식과 연결되어 있음을 시사한다.

arXiv:2607.20435v1cs.CL

모델 병합에 강인한 오픈소스 텍스트 LLM 워터마크 만들기

Making Open-Source Text LLM Watermarks Durable Against Merging

오픈소스 LLM(OSM)은 최첨단에 근접한 성능에 도달하고 있어, 선행 연구들은 가중치에 텍스트 워터마킹 알고리즘을 직접 내장하여 생성 텍스트를 추적해 왔다. 그러나 OSM은 사후 학습 수정의 영향을 받으며, 이는 워터마크를 제거하는 것으로 나타났다. 특히 전문가 지식을 결합하고 파국적 망각(catastrophic forgetting)을 방지하는 데 널리 쓰이는 모델 병합(model merging)은 이러한 OSM 워터마크를 강하게 제거한다. 핵심 질문은 이후 병합을 견디는 OSM 워터마크를 어떻게 가능하게 할 것인가이다. 본 연구에서는 모델 병합에 견디는 OSM 워터마크를 설계하는 방법을 최초로 제시한다. 우리는 Merge-Adversarial Training을 제안한다. 이는 이후 모델 병합에 강건하면서 텍스트 워터마크를 모델 가중치로 지식 증류(distillation)하는 적대적 학습(adversarial training) 알고리즘이다. 우리 접근법은 하류(downstream) 성능을 유지하면서 모든 베이스라인을 일관되게 능가한다(예: SLERP에서 TPR@1%FPR 기준 최대 +51 퍼센트 포인트(pp), 평균 +25 pp). 또한 전문가 역량 결합이나 파국적 망각 방지 같은 일반적 사용 사례를 반영한 현실적 병합 시나리오와 3가지 주요 병합 알고리즘에 대해 OSM 워터마크를 최초로 평가한다. 더 넓게 보면, 우리 결과는 적대적 학습이 사후 학습 수정에 대한 OSM 워터마크 내구성을 높이는 신뢰할 수 있는 접근법임을 시사한다.

arXiv:2607.20434v1cs.CL

압축 병목 돌파: 이론에서 실무까지

Break Through the Compression Bottleneck: From Theory to Practice

언어 모델의 매개변수 크기가 계속 증가함에 따라, 계산 및 메모리 부담을 줄이기 위해 효과적인 모델 압축이 필요하다. 기존 압축 방법은 병목 문제에 시달린다: 압축 비율을 높이면 성능이 크게 저하된다. 저랭크 분해(low-rank decomposition)와 양자화는 대규모 언어 모델(LLM)의 계산 및 메모리 요구량을 모델 정확도를 유지하면서 크게 줄일 수 있음이 입증된 두 가지 주요 압축 방법이다. 분명히, 이 두 방법을 결합하면 기존 압축 병목을 돌파할 수 있을 것이다. 그러나 결합 시 이 두 방법이 어떻게 상호작용하는지는 개발자들에게 여전히 중요한 질문으로 남아 있다. 많은 이들이 이들이 직교(orthogonal)하다고 가정하기 때문인데, 이는 각 방법이 독립적으로 도입하는 오차 외에 추가 오류가 발생하지 않을 것이라는 의미이다. 본 논문은 저랭크 분해와 양자화가 비직교(non-orthogonal)임을 최초로 수학적으로 증명한다. 대규모 언어 모델에 대한 일련의 실험을 통해 이러한 발견을 검증한다. 결과는 이 방법들이 비직교이며, 그 결합이 상당한 성능 저하를 초래함을 보여준다. 중요하게도, 우리는 두 방법을 효과적으로 결합하고 성능 손실을 완화할 수 있는 새로운 접근법인 대각 접착 방법(Diagonal Adhesive Method, DAM)을 제안한다. 본 연구는 모델 압축에 대한 깊은 통찰을 제공하며, 향후 관련 연구를 위한 견고한 이론적·실험적 토대를 마련한다.

arXiv:2607.20433v1cs.CL

Moir: 모델이 자신의 이야기를 스스로 이끌게 하는 강건한 교차 도메인 지식 편집

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

언어 모델은 학습 시점의 상태로 동결된 채 유지되는 반면, 세상은 끊임없이 변화한다. 지식 편집은 전체 재학습의 핵심 대안으로 부상했지만, 배포는 핵심 역량의 침식에 병목을 받는다: 수학적·프로그래밍적 추론은 붕괴하는 반면 백과사전적 재현은 온전히 남아 있다. 우리는 이러한 비대칭적 성능 저하를 분포 불일치에 기인한다고 추적한다. 공분산 기반 편집기는 참조 코퍼스가 생성하는 부분공간만 보존하지만, SFT와 DPO 같은 사후 학습이 형성한 실효 분포는 포착하지 못한다. Wikipedia를 포함한 정적 외부 코퍼스, 심지어 원래 사전학습 혼합물조차도 이 이동된 매니폴드를 복원할 수 없다. 우리는 Moir를 제안한다. Moir는 모델의 디코딩 분포에서 직접 샘플링하여 보존 공분산 $C$를 모델 자체로부터 추정한다. 단일 무작위 어휘 토큰으로 생성을 시드하면, 그렇지 않으면 샘플링된 출력을 지배하는 지시 따르기 템플릿을 우회하여, 모델이 내재화한 더 넓은 부분공간을 드러낸다. Moir는 외부 데이터가 필요 없으며, 대부분의 최신 LLM의 사전학습 및 사후 학습 코퍼스에 공개 접근이 불가능하다는 점을 고려할 때 실용적 이점인, 모든 공분산 기반 편집기에 즉시 적용 가능한 구성 요소로 사용할 수 있다. OLMo-2, Llama-3.1, Qwen-3(7-8B) 전반에 걸쳐 MEMIT과 AlphaEdit 모두에서, 배치 및 순차 체제 모두에서 Moir는 가장 취약한 도메인에서 보존을 일관되게 확장한다. 가장 두드러진 사례는 Qwen3-8B에서 20,000회 AlphaEdit 배치 편집 후 Wikipedia 기준선의 10.9%에 비해 GSM8K 정확도 79.9%를 유지한 경우이다. 이러한 결과는 보존 분포를 모델의 실효 분포에 정렬하는 것이 비파괴적 편집의 핵심 요인이며, 배포된 시스템에서 그 분포에 대한 가장 접근 가능한 원천이 모델 자체일 수 있음을 시사한다.

arXiv:2607.20432v1cs.CL

포지션: 자연어는 형식 언어를 완전히 대체해서는 안 된다

Position: Natural Language Should Not Fully Replace Formal Languages

최근 대규모 언어 모델(LLM)의 발전과 광범위한 채택으로, 자연어가 소프트웨어 설계를 위한 프로그래밍 언어와 같은 형식 언어를 완전히 대체할 수 있다는 주장이 제기되고 있다. 본 포지션 논문에서 우리는 이러한 관점이 자연어의 근본적인 언어적 특성, 특히 개방형 맥락에서 과소 명시(underspecification)에 최적화되어 있다는 점을 간과한다고 주장한다. 우리는 작업 특이성(task specificity)을 중심으로 한 형식적 프레임워크를 제안하며, 이를 사용자의 구체적인 요구 사항이 주어졌을 때—가능한 모든 이미지와 같은—출력 공간에서의 불확실성을 정보 이론적으로 줄이는 것으로 정의한다. 우리는 특이성 교차 정리(specificity crossover theorem)를 증명하여, 형식적 요구 사항을 자연어로 표현하는 비용이 직접적인 형식 명세의 비용을 초과하는 임계값의 존재를 보인다. 이미지 생성, 코드 합성, 오디오 제작과 같은 다양한 모달리티에 걸친 사례 연구를 분석함으로써, 자연어는 낮은 특이성 작업에서 뛰어난 반면 형식 언어는 더 엄격한 요구 사항을 갖는 작업에서 유리함을 보여준다. 우리는 자연어와 형식 언어가 상호 보완적인 도구이며, 사용자가 특이성 스펙트럼을 넘나들 수 있게 하는 하이브리드 시스템의 개발을 주장한다.

arXiv:2607.20430v1cs.CL

LLM-INSTRUCT at UZH Shared Task 2026: 단락 수준 논증 마이닝을 위한 제약 인식 검색 및 선택적 토론

LLM-INSTRUCT at UZH Shared Task 2026: Constraint-Aware Retrieval and Selective Debate for Paragraph-Level Argument Mining

우리는 UN 및 UNESCO 결의문에서의 단락 수준 논증 마이닝을 다루는 ArgMining 2026 UZH Shared Task의 우승 시스템인 LLM-INSTRUCT를 제안한다. 이 과제는 최대 8B 파라미터의 오픈 가중치 모델만을 사용하여, 엄격한 JSON 스키마 설정 하에서 단락 유형 분류, 141개 공식 태그 중 일부의 예측, 그리고 방향성 관계 예측을 요구한다. 우리는 이 과제를 제약 기반 구조화 예측으로 프레이밍한다. 시스템은 먼저 메타데이터 인식 밀집 검색(dense retrieval)으로 후보 태그 공간을 축소한 다음, 차원별 상한이 있는 제약 디코딩(constrained decoding)을 적용하고, 불확실한 경우에만 3-에이전트 토론 분기로 에스컬레이션하며, 마지막으로 출력 스키마를 검증한다. 공식 리더보드에서 LLM-INSTRUCT는 전체 1위, F1 1위, LLM-as-a-Judge 5위를 기록했다. 개발 과정에서 구성 탐색을 통해 Task 1b Micro-F1을 35.83%에서 40.08%로 추가로 개선했으며, 내부 Task 2 점수는 4.421을 유지했다. 핵심 교훈은 간단하다: 생성 전에 결정 공간을 축소하면 정확도와 제출 견고성 모두가 향상된다. 코드와 지원 스크립트는 다음에서 공개되어 있다: https://github.com/LLM-Instruct-at-UZH-Shared-Task-2026/Method

arXiv:2607.20429v1cs.CL

더 많을수록 더 나은 것은 아니다: LLM 의견 다양성에 중요한 것은 무엇인가?

More Is Not More: What Matters for Diversity in LLM Opinions?

대규모 언어 모델(LLM)은 합성 설문, 포커스 그룹 모델링, 여론 예측과 같은 개방형(open-ended) 과제에서 다양한 인간 의견을 시뮬레이션하는 데 점점 더 많이 사용되고 있다. 그러나 LLM 출력은 체계적인 의견 동질화를 보인다. 실무자들은 다양성을 높이기 위한 다양한 개입 방법을 탐구해 왔지만, 연구 환경은 여전히 파편화되어 있다: 서로 다른 방법들이 비교 불가능한 지표로 개별적으로 평가되며, 실무에서는 보통 동시에 배포·업그레이드되어 특정 구성 요소에 대한 효과를 분리하기 어렵다. LLM 출력 다양성에 대한 보다 과학적인 이해를 위해, 우리는 두 가지 주요 개입 차원—입력 조건화(페르소나 깊이로 구현)와 상호작용 아키텍처—을 분리하는 요인 실험을 설계한다. 7개 모델에 걸쳐 실제 사용자의 개방형 질문 100개에 대해 모든 조건을 평가하고, 여러 상보적 지표로 다양성을 측정한다. 우리의 결과는 여러 일반적인 가정에 도전한다. 첫째, 페르소나 세부 정보가 많을수록 다양성이 단조적으로 증가하지는 않는다. 페르소나 조건화의 초기 단계만으로도 이득의 대부분을 이미 포착하며, 인구통계학적 세부 정보를 추가로 상세화하는 것은 일관되게 개선하지 않고 일부 모델에서는 다양성을 줄이기도 한다. 둘째, 단 하나의 최적 상호작용 아키텍처를 찾기보다, 서로 다른 아키텍처가 대체로 겹치지 않는 의견 영역을 탐색한다는 것을 발견한다. 여러 아키텍처를 결합하면 어느 하나를 최적화하는 것보다 더 넓은 커버리지를 얻을 수 있다. 셋째, 샘플링 temperature를 높이거나 다양성 지시를 추가하는 것과 같이 흔히 시도되는 저비용 대안은 구조화된 개입에 비해 미미한 효과만 낸다. 전반적으로, 우리의 연구는 다양성이 단일 차원을 따라 스케일링(scaling)한 결과가 아니라, 개입의 구조적 형태와 조합에 매우 민감함을 보여준다.

arXiv:2607.20428v1cs.CL

피부 면역 관련 부작용 식별을 위한 휴먼-인-더-루프 대규모 언어 모델 프레임워크

Human-in-the-Loop Large Language Model Framework for Identification of Cutaneous Immune-Related Adverse Events

본 연구는 임상 기록에서 피부 면역 관련 부작용(cirAEs)을 탐지하기 위한 검색-증강 생성(RAG), 다중 에이전트, 대규모 언어 모델(LLM) 기반, 휴먼-인-더-루프 프레임워크를 평가했다. 보조 없는 수동 검토와 비교했을 때, LLM 보조 워크플로는 정확도(F1 = 0.88 vs 0.77), Cohen's kappa로 측정한 평가자 간 일치도(kappa = 0.82 vs 0.50)를 향상시켰으며, 평균 검토 시간을 약 절반으로 단축했다. 이 프레임워크는 LLM을 여러 장기계에 걸친 면역 관련 독성을 식별하는 데 어떻게 적용할 수 있는지 시범적으로 보여주며, 더 넓게는 정확하고 확장 가능하며 투명한 부작용 데이터 추출을 가능하게 한다.