I2D2: Inductive Knowledge Distillation with NeuroLogic and Self-Imitation
원문 초록
Commonsense capabilities of pre-trained language models dramatically improve with scale, leading many to believe that scale is the only winning recipe. But is it? Here, we investigate an alternative that a priori seems impossible: can smaller language models (e.g., GPT-2) win over models that are orders of magnitude larger and better (e.g., GPT-3), if powered with novel commonsense distillation algorithms? The key intellectual challenge is to design a learning algorithm that achieve a competitive level of commonsense acquisition, without relying on the benefits of scale. In particular, we study generative models of commonsense knowledge, focusing on the task of generating generics, statements of commonsense facts about everyday concepts, e.g., birds can fly. We introduce I2D2, a novel commonsense distillation framework that loosely follows the Symbolic Knowledge Distillation of West et al. but breaks the dependence on the extreme-scale teacher model with two innovations: (1) the novel adaptation of NeuroLogic Decoding to enhance the generation quality of the weak, off-the-shelf language models, and (2) self-imitation learning to iteratively learn from the model's own enhanced commonsense acquisition capabilities. Empirical results suggest that scale is not the only way, as novel algorithms can be a promising alternative. Moreover, our study leads to a new corpus of generics, Gen-A-tomic, that is the largest and highest quality available to date.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도
WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation
월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.
조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류
Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching
최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.
자신의 상호작용으로 행동을 학습하기: GUI 에이전트를 위한 온-정책 자기 증류
Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents
그래픽 사용자 인터페이스(GUI) 에이전트는 소프트웨어 환경과의 다중 턴 상호작용을 통해 복잡한 사용자 지시를 수행할 수 있으며, 행동을 안내하기 위한 단계별 추론과 작업 관련 정보를 유지하기 위한 장기 기억(long-horizon memory)을 각각 필요로 한다. 최근 온-정책 자기 증류(on-policy self-distillation, OPSD) 방법은 특권(privilege) 조건 자기 교사(self-teacher)로부터의 밀집 토큰 수준 감독 덕분에 GUI 그라운딩이라는 GUI 에이전트의 기초 하위 과제에서 강한 성능을 달성했다. 그러나 기존 OPSD 방법을 다중 턴 GUI 에이전트로 확장하는 것은 자기 교사의 제한된 특권 준수(privilege-following) 능력과 불충분한 특권(privileged) 안내로 인해 어렵다. 본 논문에서는 GUI 그라운딩에서 다중 턴 GUI 상호작용으로 OPSD를 확장하고 2단계 학습 프레임워크를 통해 핵심 한계를 해결하는 GUI-SD의 차기 버전인 GUI-SD-v2를 제안한다. 구체적으로 GUI-SD-v2는 동일한 GUI 상태에서 특권 안내가 있는 롤아웃과 없는 롤아웃을 공동 최적화하여 특권 준수를 먼저 강화한다. 또한 특권 조건 자기 교사를 통해 단계별 추론과 기억 안내를 선택적으로 증류하여 행동 결정과 이후 상호작용을 위한 작업 관련 정보 유지를 지원한다. AndroidWorld와 MobileWorld라는 두 대표적인 GUI 에이전트 벤치마크에 대한 광범위한 실험에서 GUI-SD-v2는 기존 OPSD 기준선과 비교해 우수한 성능을 보이며, 평가한 최신(state-of-the-art) 방법들을 Pass@1 및 Pass@3 성공률 모두에서 일관되게 능가한다. 코드와 학습 데이터는 공개될 예정이다.
Touch2Robot: 인간 시연 루프 내의 로봇 촉각 피드백
Touch2Robot: Robot Touch in the Human Demonstration Loop
인간의 시연(demonstration)은 조작(manipulation) 데이터를 수집하는 확장 가능한 방법을 제공하지만, 이를 로봇 손으로 전이할 때 접촉(contact)이 불안정하거나 실행 불가능할 수 있습니다. 타깃 로봇에서 직접 시연을 수집하면 이러한 불일치를 피할 수 있지만, 데이터 수집 비용이 크게 증가합니다. 이러한 트레이드오프를 해결하기 위해, 본 논문에서는 인간이 타깃 로봇 손이 물체와 어떻게 접촉할지 확인하면서 시연을 수집할 수 있도록 지원하는 프레임워크인 Touch2Robot을 제안합니다. 연구진은 인간 조작 과정에서 인간의 손 움직임, 촉각 장갑(tactile-glove) 측정값, 물체 움직임을 캡처합니다. 이러한 기록은 기록된 인간의 터치와 일치하는 접촉을 선호하면서 시연된 물체 움직임을 재현하도록 물체별 강화학습(RL) 정책을 유도합니다. 이후 학습된 행동들을 유입되는 인간 관측치와 물체 기하학적 구조를 로봇 손 형상으로 매핑하는 통합 실시간 리타게터(retargeter)로 증류(distillation)합니다. 수집 중에는 예측된 로봇 형상이 시뮬레이션에서 추적된 물체 포즈와 동기화되어 로봇-물체 접촉을 재구성하며, 이를 시각화하여 시연자가 타깃 손에 맞춰 후속 상호작용을 조정할 수 있도록 돕습니다. 4개의 실제 환경 태스크 전반에서 Touch2Robot은 시각 전용 피드백 대비 실제 로봇 리플레이 완료율을 평균 37.9%에서 72.1%로 향상시키는 동시에, 리플레이 성공 시연당 수집 시간을 58.6초에서 18.2초로 단축했습니다. 재구성된 타깃 손 접촉은 실제 로봇 촉각 측정값 대비 44.2%의 F1 점수를 달성했으며, Touch2Robot 시연으로 학습된 정책은 시각 전용 피드백 대비 다운스트림 Diffusion Policy 성능을 29.1%포인트 향상시켰습니다. 이러한 결과는 로봇 촉각을 인간 시연 루프에 도입함으로써 확장 가능한 정교한 조작(dexterous manipulation) 데이터 수집의 품질과 효율성을 모두 향상시킴을 보여줍니다. 프로젝트 웹페이지: https://Touch2Robot.github.io/.
DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다
DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models
생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.
월드 모델처럼 생각하고 VLA처럼 행동하기: 월드 모델 표현을 소형 로봇 정책으로 증류하기
Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies
비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.