옴니-모달 모델은 하나의 시스템에서 텍스트, 이미지, 오디오를 처리할 수 있지만, 이 모든 능력을 함께 향상시키는 것은 여전히 어렵다. 풀링된 멀티모달 데이터로 단일 모델을 학습하는 것은 종종 개별 모달리티에 특화된 모델에 미치지 못한다. 온-정책 증류(on-policy distillation, OPD)는 이러한 전문가들을 결합하는 방법을 제공한다. 학생(student)이 응답을 생성하고 교사(teacher)가 그 동일한 응답을 평가하므로, 학생은 실제로 생성하는 행동으로부터 직접 학습한다. 그러나 여러 교사를 사용하면 상충하는 지도가 도입될 수 있고, 한 모달리티를 다른 모달리티의 희생을 치르고 향상시킬 수 있다. 우리는 각 학생 응답을 해당하는 텍스트, 이미지 또는 오디오 교사로 라우팅하는 온-정책 옴니 증류(On-Policy Omni Distillation, OPOD)를 제안한다. OPOD는 교사가 학생보다 더 높은 확률을 부여하는 토큰에만 교사 지도를 유지하고, 학습 중 각 모달리티 교사의 영향력을 독립적으로 조정하며, 라우팅된 교사에게 최종 답과 추론이 정답을 뒷받침하는지 여부를 모두 평가하도록 한다. 12개 벤치마크와 3가지 백본 크기에 걸쳐 OPOD는 모든 규모에서 최고 평균 점수를 달성하며 70.8, 51.7, 46.2에 도달하고, 가장 강력한 비교 대상을 2.1, 1.8, 1.7점 초과한다. 30B 모델에서는 12개 벤치마크 모두에서 기본 모델과 풀링된 멀티모달 데이터에 공동 사후학습된 대응 모델을 모두 능가하며, 개별 전문가가 포함된 경우에도 11개에서 1위 또는 2위를 차지한다. 전문가들은 학습 후 폐기되어 하나의 배포 가능한 옴니-모달 모델만 남는다. 이 결과는 모달리티별 교사를 조율하는 것이 교차-모달 균형을 유지하면서 공유 모델을 개선하는 효과적인 방법임을 보여준다.
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.
방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.
반도체 제조가 2nm 미만 노드로 진전함에 따라, 지역 배치 및 배선(P&R) 설계 규칙 위반(DRV) 수정은 복잡한 규칙 상호작용, 밀집된 다층 라우팅 기하학, 파운드리 특화 제약에 의해 점점 더 제한받고 있다. 대규모 언어 모델(LLM)은 최근 EDA 스크립팅 및 문서화에서 강력한 역량을 보여주었지만, 시각적 레이아웃 이해에의 적용은 여전히 거의 탐구되지 않았다. 레이아웃 이미지로부터 DRC 위반을 진단하는 것은 정밀한 기하학적 추론과 범용 VLM 학습에 없는 파운드리 특화 규칙 지식을 요구한다. 우리는 첨단 노드에서 지역 DRV 수정을 위한 자기지도 레이아웃 생성 단계를 갖춘 프레임워크인 SCALE을 제안한다. 다층 레이아웃 기하학은 구조화된 텍스트로 직렬화되며, 파인튜닝된 언어 모델은 위반 레이블 없이 주변 BEOL 컨텍스트만으로 무작위로 마스킹된 폴리곤을 재구성하는 방법을 학습한다. 추론 시, 자연어 규칙 제약과 고온도 샘플링이 생성을 다양하고 위반에 취약한 레이아웃 변형을 향하게 유도하며, 이는 산업용 사인오프 DRC 검사기로 검증되어 DRC 주석이 달린 레이아웃-위반 쌍을 생성하고, 이를 사용해 도메인 적응 DRC-VLM을 파인튜닝한다. 이 VLM은 지역 DRV 수리를 위한 규칙 인식 기하학적 안내를 제공하여, enclosure, spacing, width, color-spacing 위반을 포함하는 100건의 실제 2nm 미만 사례에서 최신 에이전트의 해결률을 +12–25%(최대 97%)까지 향상시킨다.
대규모 언어 모델(LLM)은 의료 교육에 유망성을 보이지만, 대부분의 기존 시스템은 전체 임상 사례를 의사결정 중심의 학습 궤적으로 구성하기보다는 질의응답이나 단일 턴 피드백과 같은 국소적 상호작용에 초점을 맞춘다. 우리는 정적 임상 사례를 구조화되고 실행 가능한 스토리텔링 게임으로 변환하는 프레임워크인 MedGame을 제안한다. MedGame은 이중 엔진 설계를 사용한다: Medical Narrative Designer는 상태와 의사결정 노드를 갖춘 사례 기반 임상 스토리라인을 합성하고, Story Director는 이를 우리가 공개한 대화형 플랫폼에서 렌더링되는 의존성 인식 다중모달 오케스트레이션 계획으로 변환한다. 우리는 의료 내러티브 생성(Medical Narrative Generation)과 스토리 연출(Story Direction)을 위한 5,000건 사례 벤치마크 및 평가 프로토콜인 MedGame Bench를 구축한다. 실험 결과, 과제 특화 미세조정이 MedGame Bench에서 오픈소스 LLM의 성능을 크게 향상시키고 상용 모델과의 격차를 줄이는 것으로 나타난다. 파일럿 학생 연구에서는 학습자들이 MedGame을 텍스트 전용 대안보다 더 몰입감 있고 유용하다고 인식하는 것으로 추가로 나타났다.
DeepSeek-R1-Distill-Qwen-7B와 같은 사고의 연쇄(Chain-of-Thought) 추론 모델은 이분형 수렴 패턴을 보인다: 생성은 토큰 예산 내에서 종료되거나(수렴), 결론에 도달하지 못한 채 예산을 소진한다(비수렴). 우리는 이 현상을 실증적으로 특성화하며, 수렴한 생성은 AIME 1983-2024에서 90.3% 정확도를 달성하는 반면 비수렴된 생성은 6.6%에 그치며, 전체 수렴률은 62.0%임을 보인다. 그다음 우리는 내부 모델 표현을 사용하여 사고 사슬 초기에 이 결과가 탐지 가능한지 묻는다. 토큰 위치 50-300에서 은닉 상태 활성화에 선형 프로브를 학습(training)한 결과, 토큰 150에서의 20층(layer) 활성화가 AUC 0.608(±0.080, 5-fold CV)을 달성하며, 토큰 50에서조차도 우연보다 확실히 높다. 활성화 프로브는 토큰 엔트로피 및 반복 통계에서 파생된 행동 기준선을 일관되게 능가한다. 스윕 수준 순열 검정은 p=0.063(100,000회 순열)을 산출하며, 이는 표본 크기로는 통상적 임계값에서 확인할 수 없는 완만한 신호와 일치한다. 이러한 발견은 수렴(convergence) 운명이 생성이 끝나기 훨씬 전부터 중간 표현에 부분적으로 인코딩되어 있음을 시사하며, 조기 종료 추론(inference) 및 적응형 연산 할당으로의 길을 연다.
검색-증강 생성(RAG) 시스템은 점점 더 많은 LLM 에이전트를 사용하고 있다. 그러나 기존 연구의 대부분은 파이프라인 전반에 걸친 개선을 조율하기보다는 구성 요소를 개별적으로 최적화한다. 우리는 RAG 파이프라인을 계산 그래프로 모델링하고 구조화된 평가 피드백을 전파하여 상류 에이전트를 업데이트하는 교차 컴포넌트 프롬프트 적응 프레임워크인 GRADRAG를 제안한다. 평가자(Evaluator)는 하류 답변과 뒷받침 근거를 비평하여 실행 가능한 피드백을 생성하고, 프롬프트 옵티마이저가 이를 사용하여 검색기, 그래프 구성기, 답변 생성기와 같은 적응형 에이전트를 반복적으로 업데이트한다. 평가자는 출력이 만족스러운 것으로 판단되면 조기 종료를 트리거한다. 우리는 두 가지 검색 패러다임 하에서 SQUALITY 및 QMSUM 벤치마크에서 GRADRAG를 평가한다: IRCoT 스타일 쿼리 정제(Trivedi et al., 2023)를 사용하는 평탄 청크 기반 검색, 그리고 문서로부터 개체-관계 그래프를 구성하고 반복적으로 풍부하게 만드는 그래프 기반 검색. 두 설정 모두에서 GRADRAG는 최종 생성기만 업데이트하는 단일 단계 정제 베이스라인을 일관되게 능가하며, LLM이 판단한 쌍대 비교에서 12-15 퍼센트포인트의 순 선호 마진을 달성하고, 대부분의 이득은 두 번의 정제 반복 이내에 실현된다.
뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.
토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.
넓은 사용자층에 도달하는 거의 모든 대규모 언어 모델(LLM)은 양자화된다: 전체 정밀도로 학습한 뒤 효율성을 위해 압축된다. 이 단계는 무해하다고 가정되며, 안전성(safety)은 거의 재검증되지 않는다. 우리는 그 주요 부작용이 표준 안전성 평가가 놓치는 바이어스 증가임을 발견한다. 모델, 그 학습, 프롬프트(prompt)를 고정한 상태에서, 양자화된 모델은 여전히 유해한 요청을 거부하고, 무해한 프롬프트에 과도하게 거부하지 않으며, 편향 없는 객관식 답을 여전히 선택한다. 그러나 개방형(open-ended) 질문을 받으면, 동일한 모델은 우리가 조사한 8개 언어 모두에서 고정관념(stereotype)을 자발적으로 드러내며, 독립적 심사(judge) 하에서 개방형 답변 중 대략 4분의 1(압축 단계 전반에서 ~24%에서 ~27%)에서 그렇다: 모든 표준 검사를 통과하면서도 사용자에게 측정 가능하게 더 편향된 상태로 도달한다. 이 선택적 격차(selective gap)는 견고한 발견이다; 개방형 바이어스가 압축과 함께 더 증가하는지는 덜 확실하며, 이를 채점하는 심사에 민감하다. 우리는 생성적·다국어 고정관념 탐침과 개방형 생성을 분리하는 거부 및 객관식 통제, 추론(inference) 유무에 따른 각 빌드 대비, 생성 내용의 심각도 평가를 결합한 벤치마크 QuantiBias로 두 가지를 모두 다룬다. Qwen과 Gemma 두 백본 모델, 5개 계열 스크리닝, 8개 벤치마크에 걸쳐, 양자화기(quantizer)는 바이어스 방지 신호가 없는 역량(capability) 데이터에 따라 추가 정밀도를 배분하며, 답변 전 추론은 일부 계열에서는 효과를 대략 절반으로 줄이지만 다른 계열에서는 아무 효과가 없다. 양자화된 빌드는 이미 통과하는 단문형 안전장치뿐 아니라 개방형 바이어스에 대해서도 재평가되어야 한다.
신경망 소스 코드 요약(NSCS, Neural Source Code Summarisation)은 소스 코드에 대한 자연어 요약을 생성하여 개발자와 유지보수 담당자의 코드 이해도를 높이는 것을 목표로 한다. 소스 코드 요약은 보안 소프트웨어 개발 수명 주기(SSDLC, Secure Software Development Lifecycle)의 유지보수 단계에서 유지보수 담당자의 코드 이해를 개선하고 소프트웨어 시스템의 버그 및 취약점 수를 줄이는 데 도움이 되므로 매우 중요하다. 그러나 많은 소프트웨어 시스템에서 요약이 누락되거나 불완전하거나 오래된 경우가 많다. 이 문제에 대한 해결책은 소규모의 태스크 특화 트랜스포머 모델이나 코드 인식 대규모 언어 모델(LLM)을 사용한다. 태스크 특화 트랜스포머가 생성한 요약은 종종 많은 자연어 생성(NLG) 지표에서 높은 점수를 받지만, 이러한 지표는 요약 품질보다는 어휘적 중첩을 보상한다. 반면 LLM이 의미를 포착하고 고품질 요약을 생성하는 능력은 이 문제에 대한 유망한 해결책을 제시한다. 최근 LLM의 가용성 증가와 워크스테이션 하드웨어의 개선으로 일부 LLM을 개발자 워크스테이션에서 실행할 수 있게 되었으므로, 이는 특히 시의적절한 문제이다. 그러나 추상적(abstractive) 특성 때문에 LLM이 생성한 코드 요약은 개발자가 작성한 요약과 사용하는 단어 및 구문에서 크게 달라 NLG 지표에서 낮은 점수를 받는 경우가 많다. 프롬프트 엔지니어링에서 트랜스포머가 생성한 요약을 활용하여 두 방법을 결합하면 LLM이 더 나은 소스 코드 요약을 생성하고 소프트웨어 실무자가 보안 시스템을 유지보수하는 데 도움이 될 수 있음을 보여준다. 네 가지 서로 다른 프롬프트로 네 개의 LLM에 프롬프트를 제공하며, 태스크 특화 트랜스포머를 프롬프트 내에서 LLM을 보조하는 데 사용한다. "트랜스포머 보조 LLM 기반 소스 코드 요약(Transformer-Assisted LLM-Based Source Code Summarisation)" 방법을 제안하며, 이를 통해 BLEU-4에서 7.8%, 5%의 개선을 관찰한다.
장문 법률 연구 보고서는 점점 더 대규모 언어 모델(LLM)과 에이전트형(agentic) 연구 시스템에 의존하고 있지만, 그 신뢰성은 과제에 답하는 것뿐 아니라 인용된 법적 근거가 신뢰할 수 있는지에도 달려 있다. 인용은 실제 출처를 가리키더라도 위험할 수 있다. 보고서가 제한 조건을 생략하거나, 해당 근거를 잘못 기술하거나, 출처가 허용하는 범위를 넘어서는 더 강한 주장을 뒷받침하는 데 사용할 수 있기 때문이다. 우리는 중국어 장문 법률 연구 보고서에서 인용 신뢰성을 평가하기 위한 벤치마크 LegalCiteTrust를 제안한다. 이 벤치마크는 72개의 밀집 주석이 달린 보고서 수준 과제를 포함하며, 보고서를 포괄성(Coverage), 지지(Support), 인용 신뢰성(Citation Trustworthiness)의 세 차원으로 평가한다. 인용 신뢰성은 인용 수준의 존재(Existence), 충실성(Fidelity), 적용 가능성(Applicability)(E/F/A)를 통해 구체화된다. 범용 LLM, 딥 리서치(deep-research) 시스템, 법률 특화 시스템에 대한 실험 결과, 과제 완료, 증거 풍부성, 인용 밀도, 인용 신뢰성은 서로 다른 시스템 행동을 드러낸다. 검색(retrieval) 도구는 Trust 점수를 안정적으로 개선하지 않으면서도 증거 지지를 개선할 수 있으며, E/F/A 기반 수정은 존재만 필터링하는 방식보다 Trust와 Final 점수를 더 뚜렷이 개선한다. 이러한 결과는 신뢰할 수 있는 법률 연구 생성에는 검색 이후 인용 인식(citation-aware) 증거 거버넌스(evidence governance)가 필요함을 시사한다. 시스템은 법적 근거를 검색하는 것뿐 아니라, 이를 신뢰성 있게 선택하고, 기술하고, 적용해야 한다.
본 논문은 상호작용형 서사 환경에서 드러난 인간 참여(engagement) 선호를 연구하기 위한 데이터셋 및 벤치마크인 Rushes를 소개한다. Rushes는 사용자가 AI 생성 분기형 서사와 상호작용하고 각 결정 지점에서 소규모의 명시적 후보 집합 중 하나를 선택하는 게임 인터페이스를 통해 수집되었다. 각 상호작용은 전체 후보 집합, 사용자의 선택, 그리고 진행 중인 서사 맥락을 기록하여, 지속적인 사용자 수준 식별자를 갖는 시간 순서 궤적을 생성한다. Rushes는 6개 게임에 걸쳐 8,167명의 고유 사용자로부터 44,226건의 결정 이벤트를 포함하며, 정적 판단이 아닌 순차적·개인화된 참여 행동을 포착한다. 사용자 선택이 구조화된 비무작위 패턴을 보임을 보이며, 이는 균일 기준선 대비 낮은 선택 엔트로피로 정량화된다. Rushes를 다원적 정렬을 위한 진단 벤치마크로 제시하고, 견고한 Engagement Gap(참여 격차)을 입증한다. GPT-5를 포함한 최신 대규모 언어 모델(LLM)은 단순 기준선을 능가하지 못한다. 고전적 행렬 분해(SVD)는 측정 가능한 개인화 신호(37.7%)를 포착하는 반면, 최신 LLM(34.23%)은 이벤트 수준 선택 예측에서 Popularity Baseline(인기도 기준선, 36.4%)조차 맞추기 어렵다. 이 격차는 현대 인간 피드백 강화학습(RLHF)에서 사용되는 것과 같은 단일·집단 수준 목적함수가 이질적·맥락 의존적 참여 신호를 포착하기에 불충분함을 시사한다. 결과적으로, 고도로 유능한 모델조차 개별 궤적에 적응하기보다 다수 선호에 기본값으로 수렴한다. 생성 시스템에서의 다원적 정렬 및 순차적 의사결정 연구를 지원하기 위해 Rushes를 공개한다. 플랫폼 및 데이터셋의 전체 코드는 다음에서 제공된다: https://github.com/microsoft/rushes
페르소나 시뮬레이션은 특정 특성 정보를 바탕으로 대규모 언어 모델(LLM)을 활용하여 인간의 선택이나 상호작용을 예측하는 것을 포함한다. 현재의 한계와 향후 방향을 더 잘 이해하기 위해, 우리는 GPT-4.1(2024년 6월까지의 지식 기준)을 사용하여 의견 예측에서 페르소나 시뮬레이션을 테스트했다. 컬럼비아 대학교의 Personas 데이터셋에서 제공된 미국 9개 주의 페르소나를 사용하여, GPT-4.1은 9개 주 중 8개 주에서 2024년 선거 결과를 정확히 예측했으며, 스윙 주(swing state) 중 하나에서만 실패했다. 그다음 우리는 의학 및 헬스케어와 관련된 의견에 초점을 맞췄다. Pew Research Center의 American Trends Panel Wave 123 데이터셋을 사용하여, GPT-4.1은 아동 백신에 대한 신념을 최대 0.94의 정확도로 예측할 수 있었다. 또한 우리는 GPT-4.1을 적용하여 페르소나 간 대화를 생성했으며, 시뮬레이션된 대화와 의견이 페르소나의 성격과 배경을 잘 따랐지만, 자연스러운 인간적인 흐름은 부족함을 관찰했다. 페르소나 시뮬레이션은 편향이 해결되는 한 인공지능의 유망한 응용임이 입증된다. 가까운 미래에, 공중 보건에서 입법, 경제에 이르는 다양한 분야에서 의견 분석 및 반응 예측에 이를 적용하는 것이 유익할 것이다.
모든 프론티어 대규모 언어 모델(LLM)은 응답 드리프트(response drift)—전문가가 검증한 참조에서 벗어난 출력을 생성하는 현상—를 보이지만, 이 드리프트의 크기와 구조는 체계적인 인간 평가를 통해 아직 규명되지 않았다. 본 연구에서는 47명의 지리적으로 다양한 참가자가 블라인드 조건에서 10개의 프론티어 LLM에 걸친 62개의 다영역 질문을 각각 평가한 완전 교차 평가를 보고하며, 이를 통해 29,140건의 독립적 평가를 도출했다. 모든 모델은 드리프트하지만 드리프트 크기는 상당히 다르다. 여덟 모델은 통계적으로 구별할 수 없는 상한(78–81% 편차)에 수렴하는 반면, 두 모델은 더 낮은 편차(47–49%)를 달성한다. 드리프트 프로파일은 6개 영역과 62개 질문에 걸쳐 다르며, 상한에 해당하는 모델들 간의 쌍별 상관은 r = 0.85를 초과한다. 자동화된 유사도 지표는 인간 판단 분산의 2% 미만만을 설명한다. 이러한 결과는 응답 드리프트가 프론티어 LLM 전반에 보편적이며, 구조적으로 영역 및 질문에 따라 달라지고, 인간 중심 평가를 통해서만 접근 가능함을 보여준다.
LLM은 주로 인간이 작성한 텍스트로 학습되지만, 해당 텍스트에 내재된 구조적·서사적 관습이 체계적 행동 영향의 원천이거나 배포된 시스템에서의 거버넌스 위험으로 거의 검토되지 않는다. 본 논문은 주인공, 적대자, 약자와 같은 원형적 역할과 긴장-해결 서사 호를 포함하여 출판된 인간 글쓰기에 내재된 스토리텔링 패턴이 학습 과정에서 흡수되어 이후 LLM 출력에 표면화되는지, 그리고 그로 인해 장기 상호작용에서 응답이 예상치 못한, 적대적이거나 수사적으로 유혹적인 행동으로 표류하는지를 검토한다. LLM 정렬, 페르소나 역학, 창발적 미정렬, 사용자 상호작용 패턴에 관한 최근 실증 연구에 대한 체계적 문헌 검토와 교차 논문 분석을 통해, 우리는 이 가설을 뒷받침하는 증거를 관찰한다. 연구 결과는 세 가지 핵심 패턴을 드러낸다. 첫째, LLM은 독립적으로 추론하기보다 학습 데이터의 통계적 패턴을 재현한다. 둘째, 아첨(sycophancy)과 기만성(deceptiveness)을 포함한 측정 가능한 잠재 특성이 관련 없는 프롬프트 전반에 걸쳐 안정적으로 창발한다. 셋째, 좁은 서사 과제에 대한 미세조정은 해당 과제를 훨씬 넘어서는 의도하지 않은 행동 변화를 야기할 수 있다. 또한 증거는 설득적이고 서사적 스타일의 출력이 실제 사용에서 가장 흔한 LLM 산출물 중 하나이며, 이러한 위험을 증폭시킨다고 시사한다. 서사 표류(narrative drift)는 배포된 AI 시스템에서 모니터링되지 않는 확대 경로를 구성하며, 개별 사건 탐지 메커니즘을 회피하고 전용 모니터링 도구를 필요로 한다.
학생들이 자연어 응답과 프로그램 코드를 생성하는 데 대규모 언어 모델(LLM)을 점점 더 많이 사용하면서, LLM 자체가 AI 생성 작업과 인간이 작성한 제출물을 구별하는 데 사용될 수 있는지에 대한 관심이 커지고 있다. 본 논문에서는 프로그래밍 연습, 성찰적 글쓰기, 단답형 질문 등 여러 교육 과제 유형에 걸쳐 LLM이 자신이 생성한 콘텐츠를 어느 정도 탐지할 수 있는지 조사한다. 실제 학생 응답과 여러 변형의 LLM 생성 답변을 사용하여, 서로 다른 프롬프트 전략과 출력 형식 하에서 탐지 성능을 평가한다. 본 연구는 세 가지 연구 질문을 다룬다: (1) LLM이 과제 영역 전반에 걸쳐 자신의 출력을 얼마나 정확하게 식별할 수 있는가, (2) 프롬프트 설계, 응답 길이, 과제 유형과 같은 요인이 탐지 효과에 어떻게 영향을 미치는가, (3) LLM 생성 응답의 어떤 특성이 탐지 성공 또는 실패에 기여하는가. 연구 결과, LLM 기반 탐지는 과제에 매우 크게 의존한다: 프로그래밍 과제와 더 긴 성찰적 응답에서는 탐지가 훨씬 더 신뢰할 수 있지만, 단답형 질문에서는 성능이 낮으며 LLM이 자신의 출력을 실제 학생 응답보다 더 인간적이라고 판단하는 경우가 빈번하다. 또한 성찰적 글쓰기 과제에서 프롬프트 프레이밍과 응답 장황함(verbosity)이 탐지 가능성에 뚜렷한 영향을 미치며, 상대적으로 사소한 프롬프트 변화만으로도 탐지 정확도가 크게 감소하는 반면, 프로그래밍 관련 탐지는 프롬프트 변화에 더 강건하다. 이러한 결과는 교육 환경에서 LLM 자기 탐지(self-detection)의 잠재력과 한계를 모두 부각하며, AI 생성 학생 작업을 식별하기 위한 독립 도구로 LLM에 의존할 때는 신중함을 권고한다.
우리는 GLAN-QnA-KR을 공개합니다. 이는 303,581행 규모의 공개적으로 재배포 가능한 한국어 인스트럭션-QA 코퍼스로, Microsoft의 Phi-3.5-MoE-instruct를 생성 모델로 사용하는 시드 없는 분류체계 기반 GLAN 합성 파이프라인을 통해 생성되었습니다(생성: 2024-12; 공개: 2024-12; 라이선스: OpenRAIL). 이 코퍼스는 1,084개의 영어 라벨 분야로 구성된 평면 분류체계, 한국어 질문/답변 텍스트, 100–900 난이도 척도, 그리고 레코드당 질문 313자·답변 1,098자의 중앙값을 포함합니다. 이 규모의 합성 인스트럭션 데이터에서 비정상적인 두 가지 특성이 있습니다: (i) 303,581행 중 정확히 중복된 질문은 단 1개뿐이며, Jaccard >= 0.9인 문자 trigram 근접 중복 클러스터는 5,000개 표본 탐색에서 0개이고, (ii) KMMLU, KoBEST(5개 하위 과제), HAE-RAE-Bench에 대한 2층 오염 감사는 20,000개의 GLAN 질문 표본과 7개 평가 세트 전체에서, 테스트 대 코퍼스 질문 수준의 문자 trigram Jaccard 최대값이 0.163이며 Jaccard >= 0.7인 테스트 항목은 0개이고, multilingual-E5 코사인 유사도 최대값은 0.901이며 코사인 >= 0.90인 테스트 항목은 1개, >= 0.95인 항목은 0개임을 보여줍니다. 공개 시점 기준, 우리가 알기로 Hugging Face Hub에서 검증 가능한 단일 파이프라인 합성 한국어 인스트럭션 코퍼스 중 최대 규모이며, 시드 없는 분류체계 기반 프로토콜 하에 구축된 유일한 10만 행 이상 한국어 코퍼스입니다. 본 노트는 후속 인용에 적합한 형태로 생성 프로토콜, 코퍼스 통계, 오염 감사, 라이선스 경계를 기술합니다.
우리는 Naver-News-KO를 공개한다. 이는 2022년 7월 10일간 Naver News에서 수집한 27,400개의 (문서, 요약) 쌍으로 구성된 한국어 뉴스 요약 데이터셋이다. 두 카테고리(경제 및 IT/과학; 77/23 비율)에 걸쳐 수집되었으며, 학습/검증/테스트 분할은 22,194 / 2,466 / 2,740이고, 레코드당 문서-요약 문자 압축률 평균은 6.03배이다. 이 데이터셋은 2023년 1월부터 Hugging Face Hub에 공개 호스팅되어 왔으며, 2026년 5월 기준 월 약 33,000회 다운로드를 기록한다. 이 데이터셋으로 미세조정된 커뮤니티 유지 한국어 요약 모델에는 Gemma-2B-ko 및 Gemma2-9B 변형이 포함된다. 본 기술 보고서는 (i) 수집 프로토콜, 컬럼 스키마, 분할 구성을 문서화하고, (ii) 코퍼스 수준 통계(길이 분포, 압축률, 사용자가 인지해야 할 테스트와 학습 간 측정된 16.8%의 근사 중복 title-Jaccard 중첩)를 보고하며, (iii) 이 리소스를 다른 공개 한국어 요약 코퍼스와 비교·위치시키고, (iv) Lead-3 추출형 기준점(ROUGE-1 55.1, ROUGE-L 50.6)과 두 가지 재현 가능한 미세조정 베이스라인—KoBART(R-1 56.6, BERTScore-F1 81.5) 및 LoRA를 적용한 Gemma-2B-ko(R-1 55.3, BERTScore-F1 78.3)—을 공개 시점 학습 스크립트와 함께 제공하며, (v) 이 리소스의 라이선스 및 의도된 사용 범위를 명확히 한다. 목표는 새로운 벤치마크를 제안하는 것이 아니라, 이미 이 데이터셋을 사용하는 하위 작업을 위한 인용 가능한 참고 자료를 제공하는 것이다.