장문 기사 생성은 긴 컨텍스트, 긴 인스트럭션, 긴 출력을 동시에 요구하기 때문에 대규모 언어 모델(LLM)에게 여전히 어려운 과제다. STORM과 같은 기존 멀티 에이전트 파이프라인은 역할 특화 에이전트를 시뮬레이션하여 정보 커버리지를 높이지만, 그 능력이 프롬프트와 고정된 절차에 얽혀 있어 검사, 재사용, 반복적 개선이 어렵다. 본 논문은 Wikipedia 스타일의 장문 기사 생성을 위한 이름 있는 선언적 스킬의 루프인 GEIS(Generation-Evaluation-Improvement loop of agent Skills)를 제안한다. Tasi Harness에서 구현 및 평가된 GEIS는 기사 작성, 브라우저 기반 근거 및 이미지 수집, 다이어그램 렌더링, PDF 인식 쌍별 평가, 규칙 수준 스킬 개선을 위한 스킬들을 조합한다. 핵심 작성 스킬은 요청(Request), 계획(Plan), 초안 작성(Draft), 감사(Audit), 정제(Refine), 전달(Deliver) 단계를 따르며, 쌍별 평가 스킬은 구조화된 품질 보고서를 생성하고, 개선 스킬은 20개 토픽 실험에서 반복적으로 발견된 사항을 작성 스킬에 대한 영구적 패치로 매핑한다. 우리는 GEIS를 20개의 Wikipedia 추천 기사 토픽으로 평가한다. 동일한 생성 백엔드 하에서 GEIS는 100점 만점의 PDF 품질 루브릭에서 Tasi Harness 기본 작성기 대비 8.0점 향상을 달성하며, 비교 가능한 두 가지 작성 차원인 구조적 품질과 콘텐츠 품질에서 STORM을 능가한다. 20개 토픽 개선 실험에서 패치된 작성 스킬은 평균 점수를 82.90에서 86.95로 높였으며, 20개 토픽 중 17개가 향상되었고 그 향상은 주로 콘텐츠 품질에서 비롯되었다. 이러한 결과는 장문 생성이 고정된 워크플로우에서 검사 가능하고 모듈화된 평가 기반 개선 루프로 재구성될 수 있음을 보여준다.
체스 엔진은 오랫동안 인간을 초월하는 플레이 실력을 달성해 왔다. 그러나 엔진이 제안하는 수의 이면에 있는 전략은 숙련된 플레이어조차 이해하기 어렵다. 이러한 동기에서 본 논문은 체스 전략을 자연어로 기술하는 체스 전략 언어화(chess strategy verbalization) 태스크를 제안한다. 우리는 (i) 전략을 언어화하는 파이프라인과 (ii) 생성된 전략 설명을 객관적으로 평가하기 위한 평가 프레임워크를 설계한다. 실험 결과, 자연어는 인간 플레이어와 대규모 언어 모델(LLM) 플레이어 모두에게 전략적 정보를 전달하는 데 유망하고 해석 가능한 매체임을 보인다. 또한 (a) 메인 라인 이외의 전략을 평가하는 것의 중요성, (b) 순수 개념 기반 설명의 한계, (c) 평가에 있어 인간 대신 LLM에 의존하는 것의 한계 등 흥미로운 추가적 통찰을 도출한다.
대규모 언어 모델(LLM)의 시대에도, 자연어-SQL(NL2SQL) 번역은 다양한 유용한 응용 분야를 갖는 미해결 문제로 남아 있다. 우리는 더 경량화된 모델 개발에 영감을 주기 위해 여러 NL2SQL 파이프라인 확장 기법들 간의 상호작용을 탐구한다. 구체적으로, NatSQL 중간 표현을 통합하고, 합성 데이터 기반의 전처리 단계와 미세조정(fine-tuning) 단계를 포함하며, 최종 빔에서 SQL 선택을 개선하기 위한 새로운 리랭커(reranker) 모델을 개발한다. 우리는 SmBoP와 RASAT 두 가지 백본 아키텍처와 통합된 이러한 다양한 구성 요소들에 대해 Shapley 분석으로 보완된 절제 연구(ablation study)를 수행한다. 단순히 이들 모두를 결합하는 것이 최상의 결과로 이어지지 않으며, 각 구성 요소의 영향은 기준선(baseline) 시스템과의 상호작용뿐만 아니라 서로 간의 상호작용에도 의존함을 발견한다.
의견이 담긴 텍스트—제품 리뷰, 호텔 피드백, 소셜 게시물 등—는 사용자 경험, 선호도, 우려 사항에 관한 풍부한 신호를 담고 있다. 그러나 이러한 코퍼스의 규모, 중복성, 불균형으로 인해 의견을 효과적으로 분석하기 어려우며, 특히 표현된 관점의 다양성에 충실한 요약을 생성하는 것이 목표일 때 더욱 그러하다. 본 논문은 토큰(token) 사용량을 최소화하면서 LLM 기반 의견 요약에서 의미론을 보존하는 프레임워크를 제시한다. 우리는 다차원 분류(예: 감성, 주제)와 계층적 샘플링 전략 패밀리를 결합하여, LLM에 프롬프트를 제공하기 전에 간결하면서도 대표성 있는 의견 부분집합을 선택한다. 이후 맞춤형 프롬프트를 통해 의견에서 표현된 주요 측면(예: 제품·호텔의 강점과 약점)을 드러내는 균형 잡힌 요약을 생성한다. Amazon 제품 리뷰, Tripadvisor 호텔 리뷰, X/Twitter 게시물에 대한 실험에서 우리의 방법은 토큰 사용량과 계산 비용을 크게 절감하면서도 콘텐츠 커버리지, 균형성, 의미 보존 측면에서 전통적인 AI 기반 및 표준 LLM 요약 기준선을 일관되게 능가함을 보여준다.
생성된 요약의 추상성을 정량화하는 것은 ROUGE와 같은 표면적 지표를 넘어 요약 모델을 평가하는 데 필수적이다. 우리는 요약이 원문의 추출적 복사에서 얼마나 벗어나는지를 측정하는 원칙적인 휴리스틱 지표 집합인 Reference Abstraction(RA), Summary Abstraction(SA), Abstraction Ratio(AR)를 제안한다. 이 공식화는 3차 비중복 인수로 조정된 문서 길이의 조화 평균을 사용하여, 추출-추상 경계에 대한 비선형 민감도를 가진 차원적으로 일관되고 유계된 출력을 산출한다. 네 가지 요약 모델(BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small)에 걸쳐 100개의 XSUM 문서에 대한 평가 결과, 해당 지표들이 추출 모델(SA ~ 0.12-0.26)과 추상 모델(SA ~ 0.96-1.77)을 성공적으로 구별하며, Abstraction Ratio가 잠재적 환각(hallucination)으로 인해 수동 평가가 필요한 요약을 식별함을 보인다. 코드와 결과물은 https://github.com/katweNLP/AbstractionStudy에서 확인할 수 있다.
추측적 디코딩(speculative decoding)은 메모리 병목 현상을 완화함으로써 대규모 언어 모델(LLM) 추론을 크게 가속화했습니다. 그러나 전통적인 추측적 디코딩은 일반적으로 보조 드래프트 모듈에 의존하여 상당한 학습 및 통신 오버헤드를 초래합니다. 최근 방법들은 대상 모델 자체 내에서 드래프트를 생성하려 시도하지만, 구조적 조율의 부재로 인해 모델의 잠재적 병렬 용량을 충분히 활용하지 못하는 경우가 많습니다. 본 논문에서는 모델의 병렬 잠재력을 활용하기 위해 구조화된 안내 기반 병렬 드래프팅 전략을 채택하는 **점진적 트리 드래프팅(Progressive Tree Drafting, PTD)**을 제안합니다. PTD는 점진적 트리 구조와 단계별 가지치기 메커니즘을 결합함으로써, LLM이 단일 순전파에서 여러 의미적 경로를 탐색하도록 능동적으로 유도하여 드래프트의 다양성과 일관성을 모두 보장합니다. 실험 결과, PTD는 별도의 학습 없이 모델에 구애받지 않으면서도 다양한 벤치마크에서 최대 2배의 디코딩 속도 향상을 달성함을 보여줍니다. 코드는 https://github.com/MINE-USTC/PTD 에서 확인할 수 있습니다.
우리는 대규모 언어 모델(LLM)을 활용하여 인구통계학적으로 제어 가능한 설문 시뮬레이션을 수행하는 인터랙티브 시스템인 Anamnesis를 제시한다. 오픈소스로 공개되며 비전문 사용자 및 연구자를 위해 설계된 Anamnesis는 실제 인간 피험자 대신 가상 집단을 대상으로 설문 도구의 프로토타이핑 및 스트레스 테스트를 가능하게 한다. 이 플랫폼은 최근 제안된 Anthology 및 Alterity 프레임워크를 통합 웹 인터페이스 내에서 구현하며, 구조화된 서사 배경 이야기를 활용하여 모델 응답을 조건화한다. 자유 형식 생성, 확률적 인구통계 재샘플링, 그리고 멀티모달(이미지 및 오디오) 설문을 지원한다. 시스템 평가는 두 가지 사례 연구를 통해 수행되었다: (1) Pew Research Center의 American Trends Panel(ATP)에서 정치적 유형론 및 생의학 이슈 관련 항목 재현, (2) New Yorker Caption Contest에서의 인간 선호도 에뮬레이션. 두 경우 모두에서 Anamnesis는 표준 페르소나 프롬프트 베이스라인보다 실제 설문 데이터에 더 근접한 의견 분포를 생성하며, 독점 시뮬레이션 서비스에 대한 투명하고 재현 가능한 오픈소스 대안을 제시한다.
특허 청구항 작성은 기술적 전문성, 정밀한 언어적 제어, 형식적 관례의 엄격한 준수, 그리고 청구항 요소들 간의 복잡한 논리적 관계 보존을 요구하는 어려운 법률 문서 작성 과제이다. 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 활용되어 왔으나, 최근 연구에 따르면 고도로 구조화되거나 패턴 민감도가 높은 과제에서는 그 효과가 제한적이거나 오히려 부정적일 수 있다는 증거가 제시되고 있다. 이에 본 논문은 CoT 프롬프팅이 특허 청구항 생성에 유익한지를 조사한다. 우리는 특허 청구항 생성을 위한 과제 특화 CoT 방법을 제안하고, 자동 평가 지표와 인간 전문가 평가를 통해 그 효과를 검증한다. 실험 결과, 추론이 강화된 프롬프팅이 청구항 품질을 향상시킬 수 있음을 확인하였다. 나아가, 우리는 직관에 반하지만 중요한 실증적 발견을 제시한다: 추론을 명시적으로 언어화하지 않고 내부적으로 유지하는 암묵적 CoT가 명시적 CoT보다 일관되게 우수한 성능을 보인다는 것이다. 체계적인 분석을 통해, 명시적 CoT가 청구항 생성에 불필요한 정보 병목을 초래할 수 있음을 보인다. 언어화된 추론은 세 가지 구체적인 메커니즘, 즉 핵심 세부 정보의 추상화, 내재화된 생성 패턴의 교란, 오류의 연쇄 전파를 통해 최종 출력의 품질을 저하시킬 수 있다. 본 연구의 결과는 법률 과제 및 CoT 응용에 관한 새로운 통찰을 제공한다.
대규모 언어 모델(LLM)은 뉴스 요약 태스크에서 유망한 잠재력을 보여주었지만, 장문서 요약에서의 성능은 문서 길이가 입력 한계를 초과하는 경우가 많아 여전히 도전적인 과제로 남아 있다. 에이전트 활용은 LLM의 내재적 능력을 향상시킬 가능성을 제공한다. LLM 기반 장문서 요약의 효과를 높이기 위해, 본 논문은 전문가-편집자 단계적 질문 다중 에이전트 방법을 제안한다. 이 방법에서 전문가와 편집자는 콘텐츠의 다양한 측면에 대한 질문을 제시하고 수정을 위한 맞춤형 단서를 제공함으로써 다른 에이전트가 요약을 개선하도록 유도한다. 본 연구는 두 개의 대표적인 장문서 과학 데이터셋에서 실험을 수행하고, 널리 인정받는 자동 평가 지표를 통해 결과를 평가하였다. 실험 결과는 제안 방법의 효과를 입증하였다.
대규모 언어 모델(LLM)의 급속한 발전에 따라, 텍스트 워터마킹은 기계 생성 콘텐츠를 식별하기 위한 핵심 기술로 부상하였다. 그러나 기존의 로짓(logits) 기반 워터마킹 방법을 코드 생성에 직접 적용하는 것은 여전히 어려운 과제로 남아 있는데, 코드의 낮은 엔트로피(low-entropy) 특성이 코드 품질과 워터마크 탐지 가능성 간의 트레이드오프를 악화시키기 때문이다. 본 논문에서는 LLM을 위한 문법 기반 워터마크(Grammar-Driven Watermark, GDW)라는 새로운 코드 워터마킹 접근법을 제안한다. GDW는 문법 유도 3단계 마스킹 메커니즘을 통해 구문 유효성을 보존하고, 구조적 역할 인식 변조(structural role-aware modulation)를 통해 워터마크 신호를 주입한다. 이 과정에서 의미를 담는 토큰에는 더 강한 바이어스를 부여하고, 구문적으로 중요한 토큰에는 보다 보수적인 바이어스를 적용한다. 생성 과정과의 정합성을 위해, 탐지 가능성을 향상시키는 역할 인식 가중 탐지 통계량도 추가로 설계하였다. 다양한 프로그래밍 언어, 모델, 디코딩 전략에 걸친 실험 결과, GDW는 기존 방법보다 더 강력한 품질-탐지 가능성 트레이드오프 경계를 달성하며, 변수명 변경 공격에 대한 강건성도 유지함을 보인다.
대규모 언어 모델(LLM)은 협력 글쓰기에서 공동 저자로 점점 더 많이 활용되고 있으며, 사용자는 거친 초안으로 시작하여 LLM이 내용을 완성·수정·다듬도록 의존한다. 그러나 이 기능은 심각한 안전성 위협을 수반한다. 악의적인 사용자가 미완성 초안에 위험한 내용을 채워 넣는 방식으로 모델을 탈옥(jailbreak)시켜 유해한 출력을 강제로 생성하게 할 수 있다. 본 논문에서는 현재 LLM이 이러한 초안 기반 공동 저술 탈옥 공격에 취약하다는 점을 규명하고, 이 새로운 위협에 대한 LLM의 견고성을 평가하기 위해 체계적인 벤치마크인 HarDBench를 제안한다. HarDBench는 폭발물, 마약, 무기, 사이버공격 등 다양한 고위험 도메인을 포괄하며, 유해한 완성 결과에 대한 모델 취약성을 평가하기 위해 현실적인 구조와 도메인 특화 단서를 갖춘 프롬프트를 제공한다. 이 위험을 완화하기 위해 선호 최적화(preference optimization)에 기반한 안전성-유용성 균형 정렬(alignment) 방법을 제안하며, 모델이 유해한 완성은 거부하면서도 무해한 초안에는 유용하게 반응하도록 학습시킨다. 실험 결과, 기존 LLM은 공동 저술 맥락에서 매우 취약하며, 제안된 정렬 방법이 공동 저술 역량의 성능 저하 없이 유해한 출력을 크게 줄이는 것으로 나타났다. 본 연구는 인간-LLM 협력 글쓰기 환경에서 LLM을 평가하고 정렬하는 새로운 패러다임을 제시한다. 새로운 벤치마크와 데이터셋은 프로젝트 페이지(https://github.com/untae0122/HarDBench)에서 공개되어 있다.
숙련된 스토리텔러는 이야기를 국소적인 내러티브 전략과 이러한 전략이 상위 수준의 아크를 형성하는 방식으로 분해한다. 이러한 분해는 작가들이 타인의 작품에서 패턴을 인식하고 그 패턴을 새로운 이야기를 전달하는 데 적용하는 데 도움을 준다. 그러나 초보자들은 이러한 전략을 식별하거나 효과적으로 재사용하는 데 어려움을 겪는다. 본 논문에서는 초보 작가들이 예시 이야기에서 내러티브 전략을 인식하고 이를 자신의 글쓰기에 재활용할 수 있도록 돕는 새로운 글쓰기 도구인 Narrix를 제안한다. Narrix는 예시 이야기의 전략을 분석하고, 색상으로 구분된 어휘적 단서와 설명으로 이를 강조하며, 감정적 전환과 전환점을 통한 탐험을 위해 인터랙티브 스토리 아크 위에 배치한다. 그런 다음 작가들은 전략을 다차원 트랙에 드래그하고 블록 범위 편집을 적용하여 지정된 전략에 의해 제어되는 생성을 통해 초안을 수정하거나 이어서 작성한다. 피험자 내 연구(N=12)를 통해 Narrix는 기준선 채팅 기반 글쓰기 인터페이스에 비해 참가자들의 내러티브 전략 기억, 자신감, 창의적 적용을 향상시키는 것으로 나타났다.
자동 흉부 X선 보고서 생성은 최근 강화학습(RL)과 대규모 언어 모델(LLM)로부터 큰 혜택을 받고 있다. 그러나 RL 학습은 고정된 Kullback-Leibler(KL) 정규화와 시간이 지남에 따라 KL 압력이 누적되는 정적 참조 정책으로 인해 불안정성 또는 제한된 탐험 문제를 겪는 경우가 많다. 본 논문에서는 응답 가중 정규화(RER)와 검증 앵커 정책 리셋(VAPR)을 통해 장기 학습을 안정화하는 RL 프레임워크인 REVA-PO(Response-Weighted and Validation-Anchored Policy Optimization)를 제안한다. RER은 이점(advantage)과 참조 정책 엔트로피를 기반으로 응답별 KL 가중치를 동적으로 조정하여, 고품질 응답에 대해서는 제약을 완화하고 저품질 응답에 대해서는 제약을 강화한다. 이를 보완하는 VAPR은 참조 정책과 현재 정책을 최적 검증 체크포인트에 주기적으로 동기화함으로써 누적된 정규화 압력을 초기화하여 실효적인 탐험 공간을 확장한다. 견고한 시작점을 확보하기 위해 워밍업 학습, 분류기 유도 지도 미세조정, RL로 구성된 3단계 파이프라인을 적용한다. MIMIC-CXR 및 IU-Xray에 대한 광범위한 평가에서 REVA-PO는 언어 품질과 임상 정확도 모두에서 새로운 최첨단 벤치마크를 달성하였다. 특히 BLEU-4는 MIMIC-CXR에서 5.1%, IU-Xray에서 3.6% 향상되었으며, CheXpert F1과 RadGraph F1 점수는 기존 최고 방법 대비 각각 4.5%, 12.8% 증가하였다. 코드는 https://github.com/LiGuo12/REVA_PO/ 에서 공개되어 있다.
대규모 자기회귀 언어 모델은 자기수정 맹점(self-correction blind spot)을 보인다: 동일한 오류라도 외부 출처로 귀인될 경우 안정적으로 수정하지만, 자신의 출력에 있는 동일한 오류는 수정하지 못한다. 선행 연구들은 제어된 오류 주입, 오류-깊이 분해, 강화학습(RL) 기반 검증자-수정자 학습, 내재적 자기 검증 등을 통해 이 현상을 경험적으로 기록했지만, 토큰 생성이 해당 오류 탐지 능력을 억제하는 이유에 대한 형식적 모델, 수정 마커에 대한 정량적 활성화 조건, 강화학습 기반 자기수정의 수렴 보장은 제시하지 못했다. 우리는 자기회귀 생성에서의 자기수정에 관한 스펙트럼-대수적 이론인 SPARC로 이러한 공백을 해소한다. 오류 전파 연산자를 잔차 스트림(residual stream) 위 단계별 어텐션 야코비안의 곱으로 정의하고, 맹점은 이 연산자의 스펙트럼 반지름(spectral radius)이 1 이상인 경우에만 발생함을 증명한다. 스펙트럼 반지름의 함수로 주어지는, 수정 마커가 초과해야 하는 엄밀한 활성화 임계값을 도출하여, 단순한 "Wait" 마커로 관측된 맹점 89.3% 감소를 재현한다. 나아가, 검증자-수정자 결합 행렬의 스펙트럼 노름(spectral norm)이 1 미만인 경우에만 RL 기반 검증자-수정자 학습이 샘플 수의 제곱근 대비 결합 강도의 제곱에 비례하는 속도로 수렴함을 증명하고, 이 기준이 잔차 스트림 자기회귀 모달리티 전반에 걸쳐 불변하여 텍스트 대규모 언어 모델(LLM)과 자기회귀 이미지 및 비디오 생성을 통합함을 증명한다. 네 가지 백본과 시각적 자기회귀 프로브에 걸친 실험이 모든 정리를 검증하며, 스펙트럼 예측값은 측정된 맹점 비율과 3.2% RMSE 이내에서 일치한다.
2023년 이후 컴퓨터 과학자들은 모델 붕괴(model collapse)에 대해 경고해 왔다 — AI가 생성한 출력물로 학습 세트가 오염되어 모델 성능이 점진적으로 저하되는 현상이다. 양성 피드백 기반 실패의 전형적인 사례로서, 단어 반복이나 픽셀 노이즈 같은 효과를 낳으며, 궁극적으로는 의미와 일관성의 상실로 이어진다 — 적어도 공학적 관점에서는 그러하다. 그러나 창작적 관점에서 붕괴는 단순한 고장이 아니다. 초기 아날로그 비디오 피드백 실험을 연상시키는 재귀적 거울로도 기능하며, 시스템이 내부로 향해 자기 자신을 바라볼 때 무슨 일이 일어나는가라는 질문을 다시 한번 제기한다. 이러한 경우 이른바 기계 시각(machine vision)은 더 이상 세계를 전달하는 것(텔레비전처럼)이 아니라, 점점 더 내부로부터 세계를 생성해 낸다. 역사적 비디오 합성 기법과 머신러닝의 현대적 예술적 활용 사례 연구를 통해 미디어 고고학을 참조하면서, 이 논문은 재귀적 학습이 AI 생성 데이터의 의존적 본성에 대해 무엇을 드러내는지를 고찰한다. 붕괴의 잠재적 효과가 트랜스휴머니즘적 이상에 도전하는 동시에 미적 관점을 초대한다고 주장하며, 노이즈와 재귀를 예술 창작과 AI 생태계 양쪽을 이해하는 핵심 개념으로 자리매김한다. 에이전시를 다양한 규모와 네트워크에 걸쳐 분산시키는 AI 생태계는 현재 새로운 인간 생성 콘텐츠에 계속 의존하고 있으며, 특히 방대한 데이터셋으로 학습된 파운데이션 모델에서 그러하다.
대규모 언어 모델(LLM)이 직장 내 커뮤니케이션을 빠르게 재편하고 있지만, AI 보조 작성이 수신자의 실제 행동을 변화시키는지, 그리고 어떤 경로를 통해 변화시키는지는 아직 밝혀지지 않았다. 본 연구에서는 무작위 교차 현장 실험을 통해 6개 기업의 직원 121명이 3주에 걸쳐 세 가지 조건 하에 업무 이메일을 발송하였다: 보조 도구 없이 직접 작성, GPT-5를 이용한 유쾌한 톤으로의 재작성, GPT-5를 이용한 전문적인 톤으로의 재작성. 총 16,880건의 이메일을 분석한 결과, 유쾌한 편집은 감정적 긍정성을 증가시켰고(B=+0.068, p<0.001), 전문적인 편집은 이를 감소시켰으나(B=-0.041, p<0.001), 어느 조건도 열람률, 답장률, 응답 시간을 직접적으로 변화시키지 않았다. 대신, 발신자 내 긍정성이 열람(OR=2.05)과 답장(OR=3.32, p<0.001) 모두를 강하게 예측하였으며, 이는 직접적인 효과 없이도 AI 편집이 행동을 형성하는 유의미한 간접 경로임을 나타낸다. 이러한 결과는 AI 보조 커뮤니케이션이 직장 내 참여를 형성하는 것은 AI의 사용 자체가 아니라, AI가 생성하는 언어의 감정적 톤을 통해서임을 시사한다.
LLM 기반 시뮬레이션은 시민 숙의(civic deliberation)에 대한 통제된 연구를 가능하게 할 수 있으나, 현재 시스템은 화자 귀속 데이터와 장문의 제도적 행동을 평가하는 방법이 부족하다. ASR 전사본은 일반적으로 $Speaker\_1$과 같은 익명 레이블을 사용하여, 모델이 여러 회의에 걸쳐 안정적인 참여자 행동을 학습하는 것을 방해한다. 우리는 공개 Zoom 녹화물을 페르소나 프로필, 주제, $[propose\_motion]$과 같은 화용론적 '행동 태그'로 풍부하게 보강된 화자 귀속 전사본으로 변환하는 재현 가능한 파이프라인을 제시한다. 이 파이프라인을 활용하여 정부 숙의에 관한 세 가지 공개 데이터셋(항소법원 청문회, 교육위원회 회의, 시의회 세션)을 공개하고, 행동 인식 데이터로 LLM 페르소나를 미세조정한다. 우리는 시뮬레이션을 네 가지 차원인 페르소나 충실도, 페르소나 일관성, 제도적 충실도, 행동적 일관성에서 평가한다. 행동 인식 미세조정은 퍼플렉서티(perplexity)를 67% 감소시키고, 분류기 기반 페르소나 충실도를 두 배로 높이며, 투표 시도를 최대 $3.6\times$ 증가시키고, 숙의적 반응성을 최대 70% 향상시킨다. 인간 평가 결과, 시뮬레이션된 발췌문은 실제 숙의와 구별하기 어려운 경우가 많아, 데이터 기반 시민 시뮬레이션 연구를 위한 실용적인 기반이 마련되었음을 보여준다.
세계관 구축(Worldbuilding), 즉 일관된 허구 세계를 창조하는 작업은 게임 디자인과 문학 창작의 기반이 되는 과제입니다. 대규모 언어 모델(LLM)은 자동화된 콘텐츠 생성에 새로운 가능성을 제시하지만, 세계관 구축에의 적용은 세 가지 난제에 직면합니다: 구축 과정에 따라 선형적으로 증가하는 컨텍스트 폭발, 창의적 다양성과 콘텐츠 일관성 간의 긴장, 그리고 자동화된 품질 보증의 부재입니다. 본 논문은 이러한 과제들을 다섯 가지 통합 구성 요소를 통해 해결하는 멀티 에이전트 협업 시스템 AutoWorldBuilder를 제안합니다: 충돌 감지 기능을 갖춘 구조화된 개념 네트워크; 의미적 지역성에 따라 작업을 그룹화하는 방향성 비순환 그래프(DAG) 기반 하이브리드 배치 스케줄러; 약 90%의 토큰 감소를 달성하는 4층 컨텍스트 압축 메커니즘; 제안 승인률을 42%에서 85% 이상으로 향상시키는 전문화된 감사(Auditor) 에이전트 기반 반복적 검토 시스템; 그리고 차별화된 온도 설정을 지원하며 코드 없는 확장이 가능한 기술 기반 에이전트 아키텍처. LLM 백엔드로 GPT-OSS 120B와 DeepSeek v3.2를 사용하여 20개의 다양한 세계관 구축 과제에 걸쳐 수행된 두 가지 실험에서 95.0%의 성공률을 달성했습니다. 시스템은 18~31분 이내에 세계당 56~103개의 자기 일관적 개념을 충돌 없이 생성했습니다. 층별 예산 압축(layer-as-budget compression), 의미적 지역성 스케줄링(semantic-locality scheduling), 생성과 검토의 분리를 포함하여 본 연구에서 검증된 아키텍처 패턴들은 지식 집약적인 멀티 에이전트 LLM 응용 프로그램의 더 넓은 범주에 적용될 수 있습니다.
광고 헤드라인 생성 시 CTR 최적화와 길이 제어를 동시에 달성하기 어려운 문제를 해결하기 위해, BART 파인튜닝에 prefix 제어 토큰을 결합한 COBART를 제안한다. 실험 결과 기존 베이스라인 대비 Rouge-L 25.82%, 추정 CTR 5.82% 향상을 달성하며 다양한 광고 형식에 유연하게 적용 가능함을 보였다.
추측적 디코딩(speculative decoding)의 엄격한 분포 보존 요건을 완화하는 학습 불필요(training-free) 기법들을 통합 프레임워크로 정리하고 AIME 2024, GPQA Diamond, LiveCodeBench 등 현대적 벤치마크에서 실험적으로 평가했다. 주요 발견으로, 완화된 방식은 무손실 추측적 디코딩과 달리 성능 평가 비용이 크게 증가하며, 드래프터(drafter)가 충분히 강력한 언어 모델이어야 효과적이므로 경량 다중 토큰 예측(multi-token-prediction) 드래프터에는 적합하지 않음을 보였다.