arXiv:2606.19948v1 cs.AI

자동 구현형 대화 증강을 통한 DialNav 고도화

Advancing DialNav through Automatic Embodied Dialog Augmentation

Leekyeung Han, Sangwon Jung, Hyunji Min, Jinseong Jeong, Minyoung Kim, Paul Hongsuck Seo

제출 2026-06-18

한국어 초록

물리적 상호작용이 가능한 구현형 에이전트(embodied agent)의 경우, 안전성과 효과성을 보장하기 위해 대화를 생성하고 이해하는 능력이 필수적입니다. DialNav은 사실적인 실내 내비게이션 환경에서 대화-실행 루프(dialog-execution loop)를 전체적으로 평가할 수 있는 프레임워크를 제공하지만, 학습 데이터(2K 에피소드)의 심각한 부족으로 인해 성능이 제한적입니다. 이를 해결하기 위해 우리는 자동 생성 파이프라인을 제안하고 DialNav을 위한 238K 에피소드를 포함하는 대규모 학습 데이터셋인 **RAINbow** 데이터셋을 구축했습니다. 우리의 파이프라인은 기존 VLN(Vision-and-Language Navigation) 데이터셋을 멀티턴 대화(multi-turn dialog)로 변환하여 비용 효율적이고 고품질의 데이터셋을 생성합니다. 그 후, 데이터의 잠재력을 극대화하기 위해 두 가지 상호 보완적인 발전을 소개합니다: (1) 동적 대화-내비게이션 루프와 내비게이션 학습을 정렬하는 내비게이션 학습 방식인 이중 전략 학습(Dual-Strategy Training), (2) VLN 지식을 활용하는 위치 추정 모델(localization model). 이러한 상호 보완적인 솔루션들을 결합하여, 우리의 모델은 **Val Seen** (58.24, **+89%**) 및 **Val Unseen** (29.05, **+100%**) 분할에서 모두 기준선(baseline)보다 월등히 높은 성공률을 기록하며 새로운 최신 성능(state of the art)을 확립했습니다.

원문 초록

For embodied agents capable of physical interaction, the capability to create and understand dialog is crucial to ensure both safety and effectiveness. While DialNav~\cite{han2025dialnav} provides a framework for holistic evaluation of the dialog--execution loop in photorealistic indoor navigation, its performance remains limited by a critical scarcity of training data (2K episodes). To address this, we propose an automatic generation pipeline, and construct the \textbf{RAINbow} dataset, a large-scale training dataset with 238K episodes for DialNav. Our pipeline converts existing VLN datasets into multi-turn dialog and creates cost-efficient and high-quality dataset. Then, we introduce two additional complementary advances to unlock the data's full potential: (1) Dual-Strategy Training, a navigation training scheme to align the navigation training with the dynamic dialog-navigation loop, and (2) a localization model that leverages VLN knowledge. By combining these complementary solutions, our model substantially outperforms the baseline in success rate on both \textbf{Val Seen} (58.24, \textbf{+89\%}) and \textbf{Val Unseen} (29.05, \textbf{+100\%}) splits, establishing a new state of the art.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19948v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10787v1cs.RO공통 태그 embodied ai, vision-and-language navigation

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2607.22376v2cs.CL공통 태그 Data Augmentation, Text Generation

문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.

arXiv:2607.22101v1cs.CV공통 태그 Data Augmentation, Text Generation

InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델

InnoText: A Unified Model for Visual Text Generation and Editing

확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.

arXiv:2607.20443v1cs.CL공통 태그 Data Augmentation, Text Generation

GLAN-QnA-KR: 시드 없는 분류체계 기반 한국어 인스트럭션 코퍼스

GLAN-QnA-KR: A Seedless Taxonomy-Driven Korean Instruction Corpus

우리는 GLAN-QnA-KR을 공개합니다. 이는 303,581행 규모의 공개적으로 재배포 가능한 한국어 인스트럭션-QA 코퍼스로, Microsoft의 Phi-3.5-MoE-instruct를 생성 모델로 사용하는 시드 없는 분류체계 기반 GLAN 합성 파이프라인을 통해 생성되었습니다(생성: 2024-12; 공개: 2024-12; 라이선스: OpenRAIL). 이 코퍼스는 1,084개의 영어 라벨 분야로 구성된 평면 분류체계, 한국어 질문/답변 텍스트, 100–900 난이도 척도, 그리고 레코드당 질문 313자·답변 1,098자의 중앙값을 포함합니다. 이 규모의 합성 인스트럭션 데이터에서 비정상적인 두 가지 특성이 있습니다: (i) 303,581행 중 정확히 중복된 질문은 단 1개뿐이며, Jaccard >= 0.9인 문자 trigram 근접 중복 클러스터는 5,000개 표본 탐색에서 0개이고, (ii) KMMLU, KoBEST(5개 하위 과제), HAE-RAE-Bench에 대한 2층 오염 감사는 20,000개의 GLAN 질문 표본과 7개 평가 세트 전체에서, 테스트 대 코퍼스 질문 수준의 문자 trigram Jaccard 최대값이 0.163이며 Jaccard >= 0.7인 테스트 항목은 0개이고, multilingual-E5 코사인 유사도 최대값은 0.901이며 코사인 >= 0.90인 테스트 항목은 1개, >= 0.95인 항목은 0개임을 보여줍니다. 공개 시점 기준, 우리가 알기로 Hugging Face Hub에서 검증 가능한 단일 파이프라인 합성 한국어 인스트럭션 코퍼스 중 최대 규모이며, 시드 없는 분류체계 기반 프로토콜 하에 구축된 유일한 10만 행 이상 한국어 코퍼스입니다. 본 노트는 후속 인용에 적합한 형태로 생성 프로토콜, 코퍼스 통계, 오염 감사, 라이선스 경계를 기술합니다.

arXiv:2607.20452v1cs.AI공통 태그 Data Augmentation, Text Generation

AINTMA: 생성형 지능, 보안 클라우드 통신 및 적응형 품질 분석을 갖춘 자율 테스트 관리를 위한 에이전틱 AI 아키텍처

AINTMA: Agentic AI Architecture for Autonomous Test Management with Generative Intelligence, Secure Cloud Communication and Adaptive Quality Analytics

현대 소프트웨어 품질 보증은 분산 클라우드 환경 전반에서 적응적 의사결정이 가능한 지능형 자율 시스템을 요구한다. 본 논문은 전통적인 테스트 관리를 자율적 품질 지능 생태계로 전환하는 다중 에이전트 에이전틱 AI 시스템인 AINTMA(Agentic Intelligent Test Management Architecture)를 제안한다. AINTMA는 클라우드 네이티브 마이크로서비스 인프라 위의 보안 다중 에이전트 통신 프레임워크를 통해 조율되는 여섯 개의 전문 AI 에이전트(테스트 탐색, 위험 평가, 강화학습 우선순위화, 실행 오케스트레이션, 생성형 품질 지능, 클라우드 보안 모니터)를 배치한다. 생성형 품질 지능 에이전트는 대규모 언어 모델(LLM)을 활용해 평이한 언어의 품질 서술, 결함 위험 요약, 데이터 증강 기반 테스트 권고를 생성한다. 강화학습 우선순위화 에이전트는 테스트 선택을 마르코프 결정 과정으로 모델링하고, 대규모 과거 테스트 실행 데이터(47개 특징, 36개월 롤링 윈도우)로부터 문맥적 정책을 학습한다. 보안 클라우드 통신은 OAuth2/JWT 인증, 암호화된 에이전트 간 메시징, 다중 테넌트 격리를 갖춘 제로 트러스트 API 게이트웨이를 통해 강제된다. 18개월에 걸친 12개의 이질적 소프트웨어 프로젝트에 대한 평가 결과는 다음을 보여준다: 88.4% 테스트 우선순위화 정확도(APFD, 무작위 51.2%, 최고 상용 기준선 82.1% 대비); 테스트 사이클 시간 43% 단축; 결함 누출률 8.3%에서 2.1%로 감소; 9개월 투자 회수 기간에 340% ROI. 에이전틱 아키텍처는 50,000개 이상의 테스트 케이스에 확장되며 400ms 미만의 응답 시간을 달성하고, 생성형 지능 모듈은 개발자 유용성 평가 4.3/5.0을 기록했다. AINTMA는 자율적 다중 에이전트 조율, 생성형 지능, 보안 스마트 연결을 결합한 에이전틱 AI가 클라우드 규모의 엔터프라이즈 환경에서 소프트웨어 품질 관리를 근본적으로 발전시킬 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.