Unsupervised Context Rewriting for Open Domain Conversation
원문 초록
Context modeling has a pivotal role in open domain conversation. Existing works either use heuristic methods or jointly learn context modeling and response generation with an encoder-decoder framework. This paper proposes an explicit context rewriting method, which rewrites the last utterance by considering context history. We leverage pseudo-parallel data and elaborate a context rewriting network, which is built upon the CopyNet with the reinforcement learning method. The rewritten utterance is beneficial to candidate retrieval, explainable context modeling, as well as enabling to employ a single-turn framework to the multi-turn scenario. The empirical results show that our model outperforms baselines in terms of the rewriting quality, the multi-turn response generation, and the end-to-end retrieval-based chatbots.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습
DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks
오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.
구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링
Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Task Independent Capsule-Based Agents for Deep Q-Learning
Accelerating lifelong reinforcement learning via reshaping rewards
토론
이 논문과 연결된 포럼 글이 아직 없습니다.