arXiv:2405.06059

A Mixture-of-Experts Approach to Few-Shot Task Transfer in Open-Ended Text Worlds

Christopher Z. Cui, Xiangyu Peng, Mark O. Riedl

제출 2024-05-09

원문 초록

Open-ended worlds are those in which there are no pre-specified goals or environmental reward signal. As a consequence, an agent must know how to perform a multitude of tasks. However, when a new task is presented to an agent, we expect it to be able to reuse some of what it knows from previous tasks to rapidly learn that new task. We introduce a novel technique whereby policies for different a priori known tasks are combined into a Mixture-of-Experts model with an attention mechanism across a mix of frozen and unfrozen experts. The model learns when to attend to frozen task-specific experts when appropriate and learns new experts to handle novel situations. We work in an open-ended text-based environment in which the agent is tasked with behaving like different types of character roles and must rapidly learn behaviors associated with new character role types. We show that our agent both obtains more rewards in the zero-shot setting, and discovers these rewards with greater sample efficiency in the few-shot learning settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39964v2cs.AI공통 태그 Mixture-of-Experts, Few-Shot Learning

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2607.19826v1cs.CV공통 태그 Mixture-of-Experts, Few-Shot Learning

MoAKE: 동작 지식 전문가 혼합을 통한 통합 올인원 동작 품질 평가

MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts

동작 품질 평가(AQA)는 동작 영상으로부터 수행 품질을 객관적으로 평가하는 것을 목표로 한다. 기존 대부분의 방법은 각 동작 유형마다 별도의 모델을 학습하는 '하나씩(one-by-one)' 패러다임을 따른다. 이 설정은 해당 모델을 선택하기 위해 사전에 동작 유형 지식이 필요하고, 다양한 동작에 걸친 일반화 성능이 낮아 실세계 배포를 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 통합 모델 내에서 이질적인 동작을 평가하는 것을 목표로 하는 도전적인 올인원 AQA 과제를 연구한다. 우리는 동작 간 큰 의미적 차이로 인한 부정적 지식 전이를 완화하도록 설계된 새로운 동작 지식 전문가 혼합(MoAKE) 프레임워크를 제안한다. MoAKE는 공유 의미 공간 내에서 다양한 동작 패턴을 포착하는 상보적 전문가들을 학습하고, 그들의 지식을 동적으로 집계하여 입력 동작에 맞게 평가를 적응시킨다. 각 전문가는 가변적인 시간 길이를 처리하기 위해 세그먼트 인식 프로토타입으로 맞춤화되며, 다중 세분성 시간 역학을 모델링하기 위한 적응형 세그먼트 내·세그먼트 간 관계 모델링(AIISRM) 모듈과 함께 구성된다. 더 나아가, 우리는 올인원 및 제로샷/퓨샷 AQA를 위한 포괄적인 벤치마크를 구축한다. 세 개의 장기 데이터셋에 대한 광범위한 실험은 MoAKE가 올인원 설정에서 기존 방법들을 크게 능가함을 보여주며, 제로샷/퓨샷 평가 하에서 세 개의 단기 데이터셋에서도 일관된 일반화 성능을 달성한다. 코드는 https://github.com/XuHuangbiao/MoAKE 에서 제공된다.

arXiv:2607.14510v1cs.AI공통 태그 Mixture-of-Experts, Few-Shot Learning

VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.

arXiv:2607.08639v2cs.RO공통 태그 Mixture-of-Experts, Few-Shot Learning

일반화 가능한 로봇 제어를 위한 네이티브 비디오-액션 사전학습

Native Video-Action Pretraining for Generalizable Robot Control

비디오-액션 모델의 등장은 로봇 제어에 유망한 경로를 제시한다. 그러나 우리는 디지털 콘텐츠 제작을 위해 설계된 비디오 생성 모델을 물리적 환경에 재활용하는 것은 본질적으로 부적합하다고 주장한다. 이 격차를 해소하기 위해, 우리는 구현체(embodiment)를 위해 처음부터 구축된 비디오-액션 파운데이션 모델인 LingBot-VA 2.0을 제시한다. 네 가지 핵심 설계 원칙이 LingBot-VA로부터의 발전을 보여준다. (1) 전통적인 재구성 중심의 VAE에서 벗어나, 우리는 시각적 표현을 의미론과 행동 모두에 정렬하는 시맨틱 시각-액션 토크나이저를 도입하여 후속 정책 학습에서 인스트럭션 팔로잉과 행동 정밀도를 향상시킨다. (2) 시간적 역학의 엄격한 인과적 특성을 감안하여, 인과적 사전학습 패러다임을 채택하고 처음부터 학습함으로써 양방향 아키텍처를 적응시킬 때 빈번히 발생하는 파국적 망각(catastrophic forgetting)을 방지한다. (3) 고주파 추론의 요구를 충족하기 위해, 우리 모델은 희소 전문가 혼합(MoE) 백본을 활용하여 효율성을 손상시키지 않으면서 모델 용량을 확장한다. (4) 실시간 폐루프 제어는 향상된 비동기 추론 방식을 통해 실현되며, 이는 액션 실행과 병렬로 미래 잠재 표현을 예측하는 동시에 학습된 순방향 역학을 통해 최신 관측에 기반하여 각 롤아웃을 재그라운딩한다. 실제 환경 배포를 통해 LingBot-VA 2.0이 복잡한 조작 작업 전반에서 퓨샷 일반화를 달성함으로써 강건한 파운데이션 모델임이 입증된다.

arXiv:2607.14041v1cs.CV공통 태그 Mixture-of-Experts, Few-Shot Learning

다중 도메인 저자원 OCR를 위한 다중 전문가 라우팅: 만주어 사례 연구

Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study

역사적 만주어 OCR은 라벨 데이터가 제한적임에도 불구하고, 정체, 행서, 궁중 상소문에 사용된 반필 관자체 등 시각적으로 뚜렷이 다른 여러 필기체를 수용해야 한다. 우리는 반복적 미세조정 과정에서 얻은 체크포인트를 도메인 전문가로 재사용하고, 경량 페이지 수준 이미지 분류기를 통해 시각적 스타일별로 페이지를 라우팅하는 다중 전문가 시스템을 연구한다. 체크포인트 풀에 적합한 전문가가 없을 경우 해당 도메인을 위해 추가 전문가를 학습한다. 세 개의 고정(frozen) 테스트 세트에서, 라우팅 시스템은 각 스타일에 대해 선택된 전문가와 소수점 둘째 자리까지 일치한다: 정체에서 CER 0.30%, 상소문에서 1.57%, 행서에서 4.83%. 라우터는 99.3%의 페이지 수준 도메인 정확도를 달성하며, 동일한 소수 자릿수에서 도메인 라벨 oracle과 일치한다. 세 전문가 중 두 명은 최종 도메인을 위해 특별히 학습되지 않았으며, 행서 전문가만이 해당 도메인을 목표로 학습되었다. 비교를 재현 가능하게 하기 위해 평가 프로토콜, 라우터 설계, 페이지별 예측을 보고한다.

arXiv:2607.03585v1cs.LG공통 태그 Mixture-of-Experts, Few-Shot Learning

디지털 트윈의 시계열 인식을 위한 모듈형 파운데이션 모델

Modular Foundation Models for Time-Series Perception in Digital Twins

엔지니어링 디지털 트윈과 예지보전 및 건강 관리(PHM) 시스템은 이질적이고 비정상적인 시계열 데이터에서 실행 가능한 정보를 추출하기 위해 강건한 인식 모듈에 의존한다. 그러나 기존 접근법들은 대부분 특정 태스크에 종속적이고, 대량의 데이터를 요구하며, 확장 가능한 모니터링 및 의사결정 파이프라인에 통합하기 어렵다. 더욱이 순수 데이터 기반 모델은 다양한 운용 조건에서 강건성과 전이 가능성이 부족한 경우가 많다. 이러한 문제를 해결하기 위해, 본 논문은 사전학습된 표현 인코더 집합을 기반으로 한 시계열 인식용 모듈형 파운데이션 모델을 제안한다. 이 프레임워크는 이질적인 데이터셋에 대한 자기지도 학습(self-supervised learning)을 활용하여 전이 가능하고 태스크 비종속적인 표현을 학습하며, 이를 다수의 PHM 태스크에 재사용할 수 있다. 주어진 목표 데이터셋에 적합한 인코더를 동적으로 선택하는 게이팅 메커니즘을 도입하여 조건부 연산과 적응적 모델 구성을 가능하게 한다. 선택된 표현들은 공유 잠재 공간에 투영되고, 인코더 간 상호작용을 명시적으로 모델링하는 트랜스포머 기반 셀프-어텐션 모듈을 통해 집계된다. 결과적인 아키텍처는 경량 태스크별 헤드를 통해 결측값 보간(imputation), 장기 예측(long-term forecasting), 퓨샷 학습을 포함한 다수의 다운스트림 태스크를 지원하며, 적응 과정에서 사전학습된 인코더는 동결 상태를 유지한다. 광범위한 ablation 연구를 통해 자기지도 사전학습, 인코더 선택, 표현 정렬, 적응적 집계의 상호 보완적 역할을 입증한다. ETT 벤치마크에서의 실험 결과는 여러 태스크에 걸쳐 경쟁력 있는 성능을 보이며, 수력 발전기 로터 온도의 가상 센싱에 관한 실제 산업 사례 연구는 이 접근법의 실용적 타당성을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.