Learning Translations: Emergent Communication Pretraining for Cooperative Language Acquisition
원문 초록
In Emergent Communication (EC) agents learn to communicate with one another, but the protocols that they develop are specialised to their training community. This observation led to research into Zero-Shot Coordination (ZSC) for learning communication strategies that are robust to agents not encountered during training. However, ZSC typically assumes that no prior data is available about the agents that will be encountered in the zero-shot setting. In many cases, this presents an unnecessarily hard problem and rules out communication via preestablished conventions. We propose a novel AI challenge called a Cooperative Language Acquisition Problem (CLAP) in which the ZSC assumptions are relaxed by allowing a 'joiner' agent to learn from a dataset of interactions between agents in a target community. We propose and compare two methods for solving CLAPs: Imitation Learning (IL), and Emergent Communication pretraining and Translation Learning (ECTL), in which an agent is trained in self-play with EC and then learns from the data to translate between the emergent protocol and the target community's protocol.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성
HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space
기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
인간 시연으로부터의 접촉 렌치 안내를 이용한 능숙한 조작 학습
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
능숙한 로봇 조작은 풍부한 인간 시연으로부터 이점을 얻을 수 있으나, 이러한 시연을 로봇 정책으로 전이하는 것은 여전히 어렵다. 본 논문은 강화학습을 이용한 강체 및 관절 물체의 장기 조작을 위한 프레임워크인 인간 시연 기반 로봇 능숙 조작의 접촉 렌치 안내(Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation, CHORD)를 제시한다. 핵심 아이디어는 객체 중심 접촉 렌치 공간 안내이다. 인간과 로봇의 동작을 물체에 가할 수 있는 힘과 토크로 표현하여, 유발되는 순간 운동으로 유사도를 측정할 수 있게 한다. 이 안내는 접촉이 많은 능숙한 조작에서 강화학습을 더 확장 가능하게 만든다. 또한 모션 캡처 데이터셋과 자체 촬영 영상을 복원하여 구성한, 4,739개의 양손 능숙 조작 과제로 이루어진 대규모 시뮬레이션 벤치마크를 소개한다. 1,831개의 벤치마크 과제에서 평가한 결과 CHORD는 평균 성공률 82.12%를 달성하여 강한 확장성을 보였다. CHORD는 또한 손만 있는 시연과 3인칭 시연으로부터 전신 조작으로 일반화하여 90.77%의 성공률을 달성하며, 학습된 정책은 개루프 및 폐루프 설정 모두에서 실제 세계로 전이된다.
연속적이고 일관된 로봇 행동 생성을 위한 주파수 인식 플로우 매칭
Frequency-Aware Flow Matching for Continuous and Consistent Robotic Action Generation
플로 매칭은 복잡한 다중 모달 행동 분포를 모델링하는 강력한 표현력 덕분에 확산 정책과 같은 유사한 접근법과 함께 로봇 조작의 표준 패러다임으로 부상하였다. 그러나 기존 방법은 이산화된 행동 청크에 의존하므로, 이질적인 제어 주파수로 수집된 시연에 취약하고 제어 안정성을 저하시키는 시간적으로 일관되지 않은 행동이 발생하기 쉽다. 본 논문에서는 연속적이고 시간적으로 일관된 행동을 출력하는 주파수 인지 플로 매칭(Frequency-Aware Flow Matching, FAFM)을 제안한다. 이질적인 주파수 입력을 처리하기 위해 이산 행동 시퀀스를 이산 코사인 변환(DCT)으로 주파수 영역으로 변환하고, 그 결과 계수에 대해 플로 매칭을 수행하며, 코사인 기저 전개를 통해 연속 행동을 복원한다. 시간적으로 일관된 행동을 생성하기 위해 1차 시간 도함수를 정규화하여 부드러운 행동을 촉진한다. 이는 고주파 오차를 억제하고 급작스러운 행동 변화를 억제하는 소볼레프 유형의 제약에 해당한다. FAFM은 단순하고 추가적인 네트워크 파라미터를 도입하지 않으며, 독립형 플로 매칭 정책과 비전-언어-행동 모델 모두에 적용된다. 합성 토이 벤치마크, 장애물 회피, LapGym, LIBERO 전반에서 FAFM은 성공률, 다중 모달 표현력, 동작 부드러움, 수렴 속도, 기계적 편향 및 혼합 주파수 입력에 대한 강건성을 향상시킨다. 이러한 이득은 실제 Franka 로봇에 배포했을 때도 일관되게 나타난다. 코드는 https://github.com/gakakulicc/FAFM 에서 확인할 수 있다.
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
다수의 유연한 그리드 엣지 기기를 조정하면 시간과 자본이 많이 드는 전력망 증설의 필요성을 줄일 수 있다. 다중 에이전트 강화학습이나 모방학습과 같은 인공지능(AI) 기반 제어 방법은 실시간 의사결정 확장성 덕분에 이러한 조정에 유망하다. 그러나 시스템 운영자에게는 주어진 AI 시스템이 배포에 충분히 안전한지 판단할 독립적이고 엄밀한 방법이 여전히 필요하다. 본 논문은 AI 기반 그리드 엣지 조정을 위한 \emph{유한 표본} 확률적 안전성 인증 프레임워크를 개발한다. 핵심 아이디어는 입력–AI–의사결정–평가의 전체 워크플로를 운영자가 정의한 안전 사양 하의 이진 비안전 결과로 축약한 다음, 정확한 이항 추론을 사용하여 해당 비안전 운영 확률을 인증하는 것이다. 보류된 보정 시나리오 집합이 주어지면, 이 프레임워크는 가장 엄밀한 단측 상한 인증서와 거짓 안전 인증의 확률을 제어하는 수락/거부 배포 기준을 반환한다. 인증은 향후 운영과 \emph{다를} 수 있는 보정 분포에 대한 것이므로, 우리는 명목 인증서를 AI 모델의 취약성을 조사하는 데 널리 쓰이는 개념인, 물리적으로 해석 가능한 표본 공간 적대적 공격과 추가로 결합한다. 1,000개 에이전트 AI 모델(독립 파라미터)을 사용한 그리드 엣지 유연성 조정 사례 연구를 통해, 안전성 보장과 함께 롤링 윈도우 방식의 학습–인증–배포 흐름에 적대적 공격을 통합하는 것의 가치를 검증한다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.