AI 보조 이미지 편집은 금융, 법률, 신원 기록에 대한 신뢰를 위협한다. ACM MM 2026 GenText-Forensics Challenge는 다국어 텍스트 중심 위조 이미지에 대해 탐지, 픽셀 수준 위치 특정, 자연어 설명을 통합한 구조화된 포렌식 보고서를 요구함으로써 이 문제를 다룬다. 본 논문은 세 가지 구성 요소로 이루어진 모듈형 시스템 SEED를 제안한다. 첫째, 유사도 유도(similarity-guided) 파이프라인이 다양한 합성 위조로 학습을 증강한다. 둘째, LoRA 적응을 적용한 DINOv3 기반의 단일 ViT가 최소한의 학습 가능 파라미터로 사전학습 prior를 보존하면서 탐지와 픽셀 수준 위치 특정을 공동으로 수행한다. 셋째, evolving harness는 탐지기의 예측을 입력으로 받아 다중모달 LLM(MLLM)을 통해 완전한 포렌식 보고서를 생성하며, 보고서 품질을 최적화하는 제안자-평가자(proposer-evaluator) 루프를 통해 반복적으로 개선된다. SEED는 GenText-Forensics Challenge에서 3위를 기록했다. 코드와 데이터는 https://github.com/KahimWong/GenText-Forensics-3rd-Place 에서 제공된다.
지도 학습 데이터의 부족으로 인해, 대규모 언어 모델(LLM)은 일반적으로 방대한 양의 비정형 텍스트 데이터에 대해 자기지도 방식의 "다음 단어 예측" 목적 함수로 사전학습된다. 결과 모델을 사용자에게 유용하게 만들기 위해, 인스트럭션과 응답으로 구성된 지도 학습 예시 형태의 훨씬 적은 양의 "인스트럭션 튜닝" 데이터로 추가 학습이 이루어진다. 지도 데이터의 부족 문제를 극복하기 위해, 본 논문에서는 인터넷 규모의 사전학습 문서에 담긴 지식을 수십억 개의 합성 인스트럭션-답변 학습 쌍으로 변환할 수 있는 절차를 제안한다. FineInstructions라 명명된 결과 데이터셋은 실제 사용자가 작성한 쿼리와 프롬프트로부터 생성된 약 1,800만 개의 인스트럭션 템플릿을 활용한다. 이 인스트럭션 템플릿은 비정형 사전학습 코퍼스의 인간 작성 원본 문서와 매칭되어 인스턴스화된다. 이 규모에서 생성된 "지도" 합성 학습 데이터를 통해, LLM은 인스트럭션 튜닝 목적 함수만으로 처음부터 사전학습될 수 있으며, 이는 사용자 프롬프트에 응답하는 LLM의 예상 다운스트림 활용 방식과 훨씬 더 분포가 일치한다. 우리는 토큰 대 토큰 통제 학습 실험을 수행하였으며, FineInstructions로 사전학습하는 것이 자유형식 응답 품질을 측정하는 표준 벤치마크에서 표준 사전학습 및 기타 제안된 합성 사전학습 기법보다 우수한 성능을 보임을 확인하였다. 관련 리소스는 https://huggingface.co/fineinstructions 에서 확인할 수 있다.
이상 탐지(anomaly detection) 분야가 상당한 발전을 이루었지만, 산업 도메인 지식을 통합한 상세한 분석을 생성하는 것은 여전히 과제로 남아 있습니다. 이러한 격차를 해소하기 위해 세밀한 분석을 목적으로 이상 탐지와 이해를 통합하는 새로운 프레임워크인 OmniAD를 소개합니다. OmniAD는 시각적 및 텍스트 추론 과정을 결합한 멀티모달 추론기입니다. 시각적 추론 단계에서는 수동으로 설정한 임계값 없이 텍스트 생성을 통해 이상 탐지를 수행하기 위해 Text-as-Mask Encoding을 활용하여 정밀한 검사를 제공합니다. 이에 이어 시각 유도 텍스트 추론(Visual Guided Textual Reasoning)이 시각적 인식을 통합하여 포괄적인 분석을 수행합니다. 퓨샷(few-shot) 일반화 능력을 향상하기 위해, 세 가지 정교한 보상(reward) 함수를 통합하여 지도 미세조정(SFT)과 강화학습(GRPO)을 결합한 통합 학습(training) 전략을 적용합니다. 실험 결과, OmniAD는 MMAD 벤치마크에서 79.1의 성능을 달성하여 Qwen2.5-VL-7B 및 GPT-4o와 같은 모델을 능가하는 것으로 나타났습니다. 또한 다수의 이상 탐지 벤치마크 전반에서 우수한 결과를 보여줍니다. 이러한 결과는 이상 이해에서 효과적인 추론을 위해 시각적 인식을 강화하는 것의 중요성을 강조합니다. 모든 코드와 모델은 공개될 예정입니다.
장문 질의응답은 대규모 언어 모델(LLM) 출력을 검증 가능하게 만들기 위해 검색된 근거에 점점 더 의존하고 있으며, 인라인 인용이 주장을 원본 문서에 연결한다. 그러나 기존 시스템은 주제적으로는 관련 있지만 주장을 뒷받침하기에 불충분한 인용을 붙이는 경우가 많다. 우리는 귀속 모호성(attribution ambiguity)을 구조적 과제로 식별한다. 종단 간(end-to-end) 생성은 조합론적 주장-문서 할당을 암묵적으로 해결해야 하며, 이는 증거적 경계를 모호하게 하고 주장이 인용된 근거를 초과하는 증거-경계 초과(evidence-boundary overrun) 위험을 높인다. 이 과제를 해결하기 위해, 우리는 CAGE(Cognitive Attribution Graphs for Citation Generation)를 제안한다. 이는 답변 생성 전에 명시적인 인지적 귀속 맵을 도입하는 2단계 프레임워크이다. CAGE는 먼저 플러그 앤 플레이(plug-and-play) 인지 맵 유도 모델(Cognitive Map Induction Model)을 학습하여 답변 중심 지원 서브그래프를 구성하고, 명시적 관계를 통해 각 의미적 답변 단위를 지원 문서와 정렬한다. 그다음 구조화된 인용 추론 모델(Structured Citation Reasoning Model)이 이러한 단위를 맵에 정렬된 인용과 함께 문장 수준 주장으로 구현한다. ASQA, ELI5, ExpertQA에서의 실험은 CAGE가 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 귀속 공간 수축(attribution-space contraction)과 맵 기반 인용 생성(map-guided citation generation)의 효과를 입증한다.
2천 년 전 키케로와 퀀틸리아누스가 분류한 수사학적 기법이 대규모 언어 모델(LLM)의 텍스트에서 체계적으로 다시 나타난다: 에파노르토시스(epanorthosis), 즉 «This is not a course. It is a journey of transformation»와 같은 자기 수정이다. 본 에세이는 이러한 과다 사용이 학습된 성향이며, 주로 홍보적 산문이 풍부한 학습 분포와 확신에 찬 강조적 표현을 보상하는 선호 튜닝(RLHF)에 의해 주도된다고 주장한다. 생성의 좌→우 특성은 근본 원인이라기보다 증폭 요인이다. 모델이 인간의 수사학적 스타일과 벗어난다는 증거와, Fontanier의 에파노르토시스를 사고의 figure(figure of thought)로 분류한 것을 바탕으로, 장르별 인간 기준선 대비 이 기법을 Epanorthosis Index(인간 비율 대비 밀도)로 점수화하는 프로그램을 제시한다. 하나의 인스트럭션 튜닝 모델 패밀리의 세 가지 크기에 대한 첫 측정은, 문체(register) 양방향에서의 오보정(miscalibration)을 보여준다: 모델은 연설체(oratory)에서 과다(약 2배, 이탈리아어에서는 거의 3배, 더 큰 tier에 집중)하고, 비공식 Q&A 글쓰기에서는 과소하며, 논증, 저널리즘, 백과사전적 산문에서는 인간과 일치한다. 세 가지 건설적 기여가 이어진다: 경량 LoRA 어댑터를 중심으로 한 완화 기법 개관; 이탈리아어에서 한 줄 instruction이 이 기법을 절반에서 거의 3/4까지 줄이고, 지도 미세조정(supervised fine-tuning) 어댑터가 거의 완전히 제거하며, scaling coefficient가 감소를 다시 인간 비율로 맞춘다는 시연; 그리고 목표는 제거가 아니라 각 장르별 인간 비율에 대한 calibration이라는 주장. 마지막으로 그 함의를 짚는다: 진짜 위험은 우리가 기계처럼 쓰기 시작하는 것이다.
대규모 언어 모델(LLM)은 유창한 텍스트를 생성할 수 있지만, 그 내용이 거짓이거나 이용 가능한 증거에 의해 뒷받침되지 않거나, 모델 내부에 표상된 것으로 보이는 정보와 불일치할 수 있다. 우리는 은닉 활성화의 기하학으로부터 환각 탐지를 연구하고, 단일 순전파에서 계산되는 간단한 스펙트럴 통계량인 D-Score를 제안한다. 고정된 모델, 층, 및 허용 오차 매개변수에 대해, D-Score는 은닉 활성화 행렬의 특이 방향 중 선행 특이값에 가깝게 유지되는 특이값을 가진 방향의 개수를 센다. 우리는 이 양을 환각 점수로 사용하여, D-Score가 사전 정의된 양보다 클 때 입력 텍스트를 환각으로 분류한다. 동기는 다음과 같다: 모델이 자체 내부 상태에서 이용 가능한 정보와 충돌하는 텍스트를 처리할 때, 은닉 표현이 주장된 내용과 어떤 형태의 반증, 불확실성, 수정, 또는 근거 부족을 함께 인코딩할 수 있으며, 이는 은닉 궤적이 추가적인 특이 방향으로 퍼지게 만들 수 있다. 우리는 이 직관을 경량 스펙트럴 논증으로 형식화하고, FAVA-Annotation과 RAGTruth에서 결과 탐지기를 평가한다. 실험은 D-Score가 외부 검증기, 검색 단계, 다중 생성 없이도 환각 탐지를 위한 강력한 은닉 상태 신호임을 보여준다.
우리는 ELMOD(Efficient Language Model for On-Device Deployment, 온디바이스 배포를 위한 효율적 언어 모델)를 제안한다. 이는 자원이 제한된 하드웨어에서 효율적인 추론을 위해 설계된 소형(2.7B) 독일어 언어 모델이다. ELMOD는 공개적으로 이용 가능한 데이터만을 사용하여 제한된 연산 예산(55k H100 GPU 시간)으로 학습되었다. 우리는 형태론적 변이, 합성어, 철자 규칙 처리 방식에서 영어 중심 방식과 다른 독일어 특화 데이터 전처리 절차를 개발했다. 또한 품질 필터링 및 재구성(rephrasing) 단계를 도입하여 데이터의 교육적 품질을 높였고, 어닐링(annealing) 단계의 성능을 개선하며 전체 연산 요구량을 줄였다. 사전 필터링을 포함한 아키텍처 모델 및 데이터 선택, 교육적 품질을 높이기 위한 교육적 품질 필터링 및 재구성 덕분에 ELMOD는 동일 크기(<3B) 클래스에서 가장 강력한 성능을 보이며, 독일어에서 7B 매개변수 모델의 성능과 맞먹는다.
의료 상호운용성을 위해서는 AI 시스템이 진단 코딩을 위한 ICD-10, 시술 청구를 위한 CPT, 데이터 교환을 위한 HL7 FHIR 등 표준화된 스키마에 부합하는 구조화된 출력을 생성해야 한다. 대규모 언어 모델(LLM)은 임상 추론(clinical reasoning) 능력을 보여주지만, 전자 건강 기록(EHR) 시스템에 통합할 때 스키마 비준수라는 중요한 장벽에 직면한다. Qwen2.5 7B, Llama 3.1 8B, Gemma2 9B의 세 가지 오픈소스 모델을 10개 의료 전문 분야에 걸친 320개의 임상 시나리오에서 로컬 배포를 통해 평가하였으며, 기준선 및 검증-수리 조건 하에서 평가된 960개의 모델-시나리오 쌍을 도출하였다. 첫째, 스키마 비준수는 세 모델 계열에서 일관되게 나타났으며, 아키텍처와 학습 데이터가 달라도 기준선 준수율은 85.9%에서 91.6% 범위였다. 이는 모델별 한계라기보다 의료 학습 말뭉치의 공통된 공백을 시사한다. 둘째, 검증기가 탐지한 실패의 96%는 대체 의료 약어 및 코드 접두사와 같은 표현 수준의 형식 위반이었으며, 이는 모델이 임상 작성 관습은 따르지만 의료 IT 표준에 대한 인식이 부족함을 나타낸다. 셋째, 검증-수리 프레임워크는 전체 준수율 99.0%를 달성했으며, 모델별로 98.4%에서 99.4% 범위였고, 대부분의 오류는 한두 번의 반복 내에 해결되었다. 0.001 미만의 정확한 McNemar p-value와 모델 크기에 걸친 7.8~12.5%p의 절대 개선은 통계적 유의성을 확인한다. 이러한 결과는 폐루프 검증-수리가 의료 상호운용성을 위한 효과적인 시스템 수준의 안전장치이며, 하류 임상 시스템 통합을 위한 스키마 수준의 준비도를 향상시킨다는 점을 뒷받침한다.
확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.
압축 단문 생성기는 두 가지 서로 다른 지점에서 실패할 수 있다. 생성이 시작되기 전에 코덱이 정보를 버릴 수 있고, 잠재 생성기(latent generator)가 약한 코드를 만들 수 있다. 이러한 실패 모드를 분리하지 않으면, 연구자들은 잘못된 구성 요소를 개선하는 데 연산 자원을 쓸 수 있다. 우리는 계층적 VQ-VAE-2 코덱과 마스크된 이산 확산 생성기(MDLM)로 구성된 제어된 64-to-16 TinyStories 사례 연구에서 이 문제를 연구한다. 공유 외부 GPT-2 채점기(scorer) 아래에서 코덱 재구성 충실도, 잠재 생성 품질, 보조 잠재 진단을 분리하는 단계적 검증 프로토콜을 사용하고, 기하학 연구를 위해 보완적 의미론적 지표를 보고한다. 테스트된 구성에서, 코덱 재구성만으로도 중앙값 외부 perplexity가 15.17에서 27.36(+80.4%)으로, p95가 25.10에서 98.91(+294.1%)로 증가하여, 지배적인 품질 손실이 잠재 생성이 시작되기 전에 나타남을 보여준다. 동일한 채점기 하에서, 코드 공간 MDLM은 토큰 공간 확산보다 실질적으로 더 강함을 유지하며, 평균, 중앙값, p95를 각각 32.9%, 30.9%, 36.6% 줄인다. 기하학 인식 정규화(geometry-aware regularization)는 지역적 잠재 프록시를 개선하지만, 사용 가능한 실행에서는 디코딩된 텍스트 지표를 개선하지 않는다. 기여는 알고리즘적이기보다 방법론적이다. 본 논문은 하나의 구체적인 파이프라인에 대한 재사용 가능한 단계적 진단을 제시하고, 이 설정에서 잠재 디노이징(latent denoising)보다 코덱 충실도가 실질적 품질 상한을 설정함을 보여준다.
자기회귀 디코더는 평면적인 토큰 시퀀스를 출력하며 출력 세그먼트 간 계층적 제약을 강제할 수 없는데, 이 한계는 특허 청구항 생성에서 더욱 두드러진다. 여기서 청구항 집합은 깊이에 따라 범위가 단조적으로 좁혀져야 하는 종속성 포리스트(dependency forest)를 형성한다. 위상과 내용은 상호 의존적이다. 종속 청구항의 문구는 부모의 범위를 반영해야 하지만, 그 문구가 존재하기 전에 부모가 선택되어야 하므로, 사후 파싱(post-hoc parsing)이나 문법 제약 디코딩(grammar-constrained decoding)만으로는 충분하지 않다. 우리는 자기회귀 패스 내에서 위상을 예측하는 SPG(Structure-aware Patent Generation)를 제안한다. 포인터 헤드(pointer head)가 각 종속 청구항의 부모를 선택하며, 그 기울기는 깊이 적응형 범위 정규화(depth-adaptive scope regularizer)와 함께 학습 중 공유 디코더의 표현을 재형성한다. 두 번째 단계에서는 자체 생성된 결함 후보들에 대해 위반 가중 선호 목표(violation-weighted preference objective)를 적용하여, 등록 특허 말뭉치가 갖추지 못한 부정적 신호를 제공한다. HUPD-DCG에서 Llama-3-8B-Instruct 기반 SPG는 학습 보상이 전혀 지도하지 않는 정답 부모 링크의 79.0%를 복원하며, 동일 규모의 지도 기준선 대비 선행어 일관성을 0.292에서 0.478로 높였고, 전문가 평가가 이러한 개선을 뒷받침한다.
대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.
대규모 언어 모델(LLM)을 활용한 심리 상담 지원은 자연어 처리(NLP) 분야의 중요한 과제이다. 고품질 심리 지원 대화 코퍼스 구축은 상담 지향 대화 모델 학습을 위한 핵심 기반이 된다. 그러나 기존 데이터 생성 접근법은 일반적으로 감정적으로 안정적인 내담자, 감정 역학의 제한적 다양성, 상담사 지도에 대한 높은 순응성 등 여러 한계를 갖는다. 이러한 문제로 인해 LLM은 감정적으로 불안정한 상황에 효과적으로 대응할 수 있는 능력이 부족해진다. 또한 상담사 응답은 일반적으로 문제 해결 목표에 의해 주도되어, 심리 상담에 필수적인 감정 중심 상호작용의 역할을 간과한다. 이러한 공백을 해소하기 위해, 우리는 내담자의 감정 궤적 모델링을 중심으로 한 다중 턴 대화 코퍼스 생성 프레임워크인 EmoTrace를 제안한다. 내담자의 인지 프로필을 구성하고, 감정 스키마와 관련 활성화 메커니즘을 갖춘 내담자 모듈, 상담사 모듈, 감정 궤적 제어 모듈을 도입하여 내담자의 감정 표현 계층화와 상담사의 표적 공감 표현을 강화한다. 실험 결과, 제안 방법이 감정적 풍부함과 공감 품질 측면에서 기존 접근법을 능가함을 보여준다.
대규모 언어 모델(LLM)의 최근 발전에도 불구하고, 저자원 언어에서 공감적인 정신건강 상담 응답을 생성하는 능력은 여전히 거의 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 세 가지 상호 보완적 출처에서 625건의 실제 정신건강 사례를 큐레이션한다: (1) 정신건강 관련 우려를 다룬 공개 Facebook 게시물, (2) 방글라데시 텔레비전 프로그램 "Ami Akhon Ki Korbo"의 대본, (3) 다양한 정서적·심리적 어려움을 다룬 익명화된 학생 설문 응답. 이 사례들을 바탕으로, 면허를 가진 임상 심리학자가 작성한 조언과 GPT-4o Mini, Claude 4.5 Haiku, Gemini 2.5 Pro 세 가지 최신 독점 LLM이 생성한 응답으로 구성된 평가 코퍼스를 구축한다. 또한 우리는 Role-Playing Reflective Chain-of-Thought Advisory Framework(RP-RCAF)를 제안한다. 이는 전문가가 작성한 퓨샷(few-shot) 예시와 구조화된 자기 성찰을 결합하여, 공감적인 상담자 페르소나를 통해 지지적이고 문화적으로 인식하며 윤리적으로 정렬(alignment)된 상담을 생성하는 태스크 특화 프롬프팅(prompting) 전략이다. 또한 Grok 4-Based Response Evaluation and Scoring Framework(G-REFS)를 도입한다. 이는 정서적 민감성, 문화적 적절성, 언어적 명확성, 윤리적 건전성에 걸쳐 자동화된 평가와 전문 심리학자 검증을 통합한다. 실험 결과, RP-RCAF는 평가된 모든 모델에서 기존 프롬프팅을 일관되게 능가하며, 전문 심리 상담과 더 밀접하게 정렬된 응답을 생성함을 보여준다.
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
극한에서의 언어 생성(language generation in the limit)은 Kleinberg와 Mullainathan [KM24]이 예시 문자열만을 바탕으로 학습하는 알고리즘에 의한 언어 생성을 형식적으로 연구하기 위해 도입한 우아한 모델이다. 이 모델에서 알고리즘이 어떤 언어로부터 올바르게 생성한다고 하려면, 유한한 시간 이후에는 결코 오류를 범하지 않아야 한다. 반면, 실제로는 정교한 언어 모델조차도 정기적으로 환각(hallucination)하는 것으로 알려져 있다. 본 논문에서는 (무한) 환각을 수반하는 극한에서의 언어 생성 연구를 개시한다. 즉, 알고리즘이 부정확한 문자열을 무한히 자주 생성할 수 있지만, 오류는 제한된 비율(0-측도(0-measure)에서도 가능)로 발생한다. 먼저, 비율 0에서조차 환각은 극한에서의 생성을 엄밀히 더 강력하게 만든다는 것을 보인다. 유한 오류로는 생성할 수 없지만 무한 오류로는 생성할 수 있는 언어 집합들이 존재하며, 이는 오류가 0-측도의 시간 단계 집합에서 발생하는 경우에도 마찬가지이다. 또한, 모든 가산(countable) 집합은 유한 오류로 생성 가능한 반면, 환각률(hallucination rate)로 특징지어지는 (비가산(uncountable)) 언어 집합들의 엄격한 계층을 보인다. 이 계층은 목표 언어의 생성 비율인 폭(breadth)까지 확장된다. 모든 가산 집합은 최적 폭 1/2 [KW26b]를 달성할 수 있는 반면, 모든 폭과 환각률에서 엄격한 분리를 보인다. 마지막으로, 알고리즘이 문자열을 반복할 수 없는 반복 없는(no repetition) 극한에서의 생성을 연구한다. 이를 통해 올바른 시간 단계와 부정확한 시간 단계의 비율이 아니라, 생성된 올바른 문자열 집합과 부정확한 문자열 집합을 비교할 수 있다. 다시, 모든 환각률과 폭에서 엄격한 계층을 입증한다. 종합하면, 이러한 결과들은 환각을 수반하여 극한에서 생성 가능한 언어 집합들의 풍부한 구조를 드러내고, 환각률을 언어 생성의 이론적 연구에서 중요한 매개변수(parameter)로 확립한다.
대규모 언어 모델(LLM)은 대화형 AI를 변화시켰지만, 고품질 다국어 코드믹스(code-mixed) 대화 자원은 여전히 부족하며, 특히 인디아 언어에서는 화자들이 원어 문자와 로마자(Romanized) 표기 양 형태 모두에서 영어와 모국어를 자연스럽게 번갈아 사용하는 경우가 그렇다. 본 논문은 IndicTalk를 제시하는데, 이는 9개 인디아 언어를 포괄하는 18개 언어 변종에 걸쳐 13,28,604개 이상의 이벤트 그라운딩(event-grounded) 다회차 대화로 구성된 가장 큰 다국어 인디아 코드믹스 대화 코퍼스 중 하나이다. 이 코퍼스는 실세계 뉴스 그라운딩, 다국어 LLM을 이용한 페르소나 조건(persona-conditioned) 대화 생성, 자동 품질 검증을 결합한 완전 자동화 파이프라인을 통해 생성된다. 광범위한 언어학적·자동·인간 평가는 IndicTalk가 두 문자 변종(script variants) 모두에서 유창하고 일관되며 자연스럽게 코드믹스된 대화를 생성함을 보여준다. IndicTalk를 공개하여 대표성이 낮은(underrepresented) 인디아 언어를 위한 다국어 대화형 AI의 개발과 평가를 지원할 것이다. 데이터셋은 https://huggingface.co/datasets/LingoIITGN/IndicTalk 에서 이용할 수 있다.
대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.
독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.
MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.