arXiv:1603.01232

Multi-domain Neural Network Language Generation for Spoken Dialogue Systems

Tsung-Hsien Wen, Milica Gasic, Nikola Mrksic, Lina M. Rojas-Barahona, Pei-Hao Su, David Vandyke, Steve Young

제출 2016-03-03

원문 초록

Moving from limited-domain natural language generation (NLG) to open domain is difficult because the number of semantic input combinations grows exponentially with the number of domains. Therefore, it is important to leverage existing resources and exploit similarities between domains to facilitate domain adaptation. In this paper, we propose a procedure to train multi-domain, Recurrent Neural Network-based (RNN) language generators via multiple adaptation steps. In this procedure, a model is first trained on counterfeited data synthesised from an out-of-domain dataset, and then fine tuned on a small set of in-domain utterances with a discriminative objective function. Corpus-based evaluation results show that the proposed procedure can achieve competitive performance in terms of BLEU score and slot error rate while significantly reducing the data needed to train generators in new, unseen domains. In subjective testing, human judges confirm that the procedure greatly improves generator performance when only a small amount of data is available in the domain.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10650v1cs.CL공통 태그 Domain Adaptation, Text Generation

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2609.23071v1cs.AI공통 태그 Domain Adaptation, Text Generation

대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기

Tutoring Large Language Models to be Domain-adaptive, Precise and Safe

본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.

arXiv:2607.21850v1cs.CV공통 태그 Domain Adaptation, Text Generation

SCALE: 첨단 노드에서 지역 P&R DRV 수정을 위한 자기지도 제약 인식 레이아웃 생성

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

반도체 제조가 2nm 미만 노드로 진전함에 따라, 지역 배치 및 배선(P&R) 설계 규칙 위반(DRV) 수정은 복잡한 규칙 상호작용, 밀집된 다층 라우팅 기하학, 파운드리 특화 제약에 의해 점점 더 제한받고 있다. 대규모 언어 모델(LLM)은 최근 EDA 스크립팅 및 문서화에서 강력한 역량을 보여주었지만, 시각적 레이아웃 이해에의 적용은 여전히 거의 탐구되지 않았다. 레이아웃 이미지로부터 DRC 위반을 진단하는 것은 정밀한 기하학적 추론과 범용 VLM 학습에 없는 파운드리 특화 규칙 지식을 요구한다. 우리는 첨단 노드에서 지역 DRV 수정을 위한 자기지도 레이아웃 생성 단계를 갖춘 프레임워크인 SCALE을 제안한다. 다층 레이아웃 기하학은 구조화된 텍스트로 직렬화되며, 파인튜닝된 언어 모델은 위반 레이블 없이 주변 BEOL 컨텍스트만으로 무작위로 마스킹된 폴리곤을 재구성하는 방법을 학습한다. 추론 시, 자연어 규칙 제약과 고온도 샘플링이 생성을 다양하고 위반에 취약한 레이아웃 변형을 향하게 유도하며, 이는 산업용 사인오프 DRC 검사기로 검증되어 DRC 주석이 달린 레이아웃-위반 쌍을 생성하고, 이를 사용해 도메인 적응 DRC-VLM을 파인튜닝한다. 이 VLM은 지역 DRV 수리를 위한 규칙 인식 기하학적 안내를 제공하여, enclosure, spacing, width, color-spacing 위반을 포함하는 100건의 실제 2nm 미만 사례에서 최신 에이전트의 해결률을 +12–25%(최대 97%)까지 향상시킨다.

arXiv:2607.20433v1cs.CL공통 태그 Domain Adaptation, Text Generation

Moir: 모델이 자신의 이야기를 스스로 이끌게 하는 강건한 교차 도메인 지식 편집

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

언어 모델은 학습 시점의 상태로 동결된 채 유지되는 반면, 세상은 끊임없이 변화한다. 지식 편집은 전체 재학습의 핵심 대안으로 부상했지만, 배포는 핵심 역량의 침식에 병목을 받는다: 수학적·프로그래밍적 추론은 붕괴하는 반면 백과사전적 재현은 온전히 남아 있다. 우리는 이러한 비대칭적 성능 저하를 분포 불일치에 기인한다고 추적한다. 공분산 기반 편집기는 참조 코퍼스가 생성하는 부분공간만 보존하지만, SFT와 DPO 같은 사후 학습이 형성한 실효 분포는 포착하지 못한다. Wikipedia를 포함한 정적 외부 코퍼스, 심지어 원래 사전학습 혼합물조차도 이 이동된 매니폴드를 복원할 수 없다. 우리는 Moir를 제안한다. Moir는 모델의 디코딩 분포에서 직접 샘플링하여 보존 공분산 $C$를 모델 자체로부터 추정한다. 단일 무작위 어휘 토큰으로 생성을 시드하면, 그렇지 않으면 샘플링된 출력을 지배하는 지시 따르기 템플릿을 우회하여, 모델이 내재화한 더 넓은 부분공간을 드러낸다. Moir는 외부 데이터가 필요 없으며, 대부분의 최신 LLM의 사전학습 및 사후 학습 코퍼스에 공개 접근이 불가능하다는 점을 고려할 때 실용적 이점인, 모든 공분산 기반 편집기에 즉시 적용 가능한 구성 요소로 사용할 수 있다. OLMo-2, Llama-3.1, Qwen-3(7-8B) 전반에 걸쳐 MEMIT과 AlphaEdit 모두에서, 배치 및 순차 체제 모두에서 Moir는 가장 취약한 도메인에서 보존을 일관되게 확장한다. 가장 두드러진 사례는 Qwen3-8B에서 20,000회 AlphaEdit 배치 편집 후 Wikipedia 기준선의 10.9%에 비해 GSM8K 정확도 79.9%를 유지한 경우이다. 이러한 결과는 보존 분포를 모델의 실효 분포에 정렬하는 것이 비파괴적 편집의 핵심 요인이며, 배포된 시스템에서 그 분포에 대한 가장 접근 가능한 원천이 모델 자체일 수 있음을 시사한다.

arXiv:2607.21067v2cs.CL공통 태그 Text Generation

PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습

PrefReward: Learning User Preference Matrix for Personalized Text Generation

대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.

arXiv:2607.24743v4cs.CV공통 태그 Text Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.