Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals
원문 초록
We study how to learn a policy with compositional generalizability. We propose a two-stage framework, which refactorizes a high-reward teacher policy into a generalizable student policy with strong inductive bias. Particularly, we implement an object-centric GNN-based student policy, whose input objects are learned from images through self-supervised learning. Empirically, we evaluate our approach on four difficult tasks that require compositional generalizability, and achieve superior performance compared to baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기
MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space
Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.
코딩 에이전트 기반 모델의 중간 학습을 위한 함수 인식 중간 채우기(FIM)
Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models
코딩 에이전트는 진행 중인 추론에 외부 도구의 반환값을 통합해야 하며, 이 능력은 코드에 대한 표준 좌→우 사전학습(pre-training)에서 전방 방향으로만 드러납니다. 우리는 코딩 에이전트의 행동-관측-지속(action-observation-continuation) 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)이라는 점을 관찰합니다. 호출자(caller)가 인자를 바인딩하고, 피호출자(callee)가 다른 곳에서 계산된 값을 반환하며, 하위 코드가 그 값을 소비합니다. 이러한 조건화(conditioning) 구조는 일반 코드에서 인터넷 규모로 존재합니다. 우리는 함수 인식 중간 채우기(FIM) 중간 학습을 통해 이를 활용합니다. 이는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성(complexity-inferability) 이중 기준을 통해 선택된 함수를 마스킹하는 자기지도(self-supervised) 목적 함수입니다. Qwen2.5-Coder-Instruct(7B/14B)와 Qwen3-8B를 968개 GitHub 저장소에서 수집한 26억 토큰 규모의 오염 제거(decontaminated) 코퍼스로 중간 학습한 뒤, 기존 에이전트형 사후 학습 파이프라인을 적용합니다. 중간 학습은 7B/14B에서 SWE-Bench-Verified를 +2.8/+3.0, Qwen3-8B에서 +3.2 향상시킵니다. SWE-Bench-Lite에서는 동일 모델에서 +3.7/+4.0/+5.4의 향상을 얻습니다. 이 향상은 두 가지 사후 학습 파이프라인(R2E-Gym, SWE-Smith)과 비 Qwen2.5 기반(Qwen3-8B with SWE-Lego)에서도 유지됩니다. 도메인 내 이득을 넘어, 중간 학습은 에이전트형 사후 학습이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 침식을 완화합니다. 중간 학습 코퍼스는 Python 코드만 포함하지만, 함수 호출 귀납적 바이어스(inductive bias)는 사후 학습 후에도 유지되어 일관된 향상을 가져옵니다.
표현 사전이 효과를 내게 하는 요소는 무엇인가? Grokking에서의 특징 군, 라벨 없는 불변성, 임계 구간
What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking
동반 연구는 grokking 지연이 인과적으로 과제 구조화된 표현이 형성되는 데 걸리는 시간이며, 대조적 사전을 통해 주입할 수 있음을 보였다. 여기서 우리는 188회의 새로운 실행을 통해 네 가지 축에 걸쳐 그러한 사전이 작동하게 만드는 요소를 규명한다. 내용: 잘못된 특징 군(크기 밴드)으로 구축된 일관되고 학습 가능한 사전은 무작위 분할과 마찬가지로 일반화를 차단한다(1/15 vs 0/20 grok; 둘 사이 $p=0.43$), 이는 사전이 회로의 특징 수준에서 작용한다는 동반 연구의 예측을 확인한다. 지도: 완전히 라벨 없는 불변성 사전 — 양성은 교환된 쌍 $(a,b)\sim(b,a)$뿐 — 은 중앙값 $2.7\times$ 속도 향상으로 15/15 실행에서 일반화하며, 라벨 지도 사전 자체보다 더 안정적이다($p=0.038$). 가중치 노름 클램프와 결합하면 우리가 시험한 가장 강력한 방법을 낳는다(중앙값 $17\times$, 5/5) — '가장 강력한'은 안정적으로 빠름을 의미한다: 클램프만 있는 단순 교차 엔트로피는 정확한 임계 노름에서만 이 속도에 도달하는 반면, 사전은 전체 클램프 범위에서 빠름을 유지한다. 시점: 사전은 초기에만 필요하다 — 처음 2000 epoch(예산의 4%) 동안에만 적용하면 $2.7\times$로 10/10 일반화하여, 연속 적용(8/10, $1.25\times$)과 동일 기간의 후기 구간($2.1\times$)보다 우수하다. 설정: 이 분리 현상은 모듈러 곱셈에서 및 다양한 깊이와 정규화 변형에 걸쳐 재현되며, 클램프 스윕은 동반 연구의 핵심 주장을 정량화한다: 구조 주입은 가중치 노름 지연 법칙 지수를 약 17배 평탄화한다(단순 교차 엔트로피는 +10 노름 단위당 $31\times$ 느려지며, 더 높은 셀은 검열되어 하한인 반면, 사전 사용 시 $1.22\times$). 솔직한 한계: 암기 전에 일반화하는 과제에는 통제할 지연이 없다. 특징 군 정렬은 사전이 일반화를 허용하는지를 결정하며, 불변성 내용만으로도 라벨 없이 가속에 충분하다; 짧은 초기 구간이 거의 모든 이점을 포착한다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.