arXiv:2305.07421

Selective imitation on the basis of reward function similarity

Max Taylor-Davies, Stephanie Droop, Christopher G. Lucas

제출 2023-05-12

원문 초록

Imitation is a key component of human social behavior, and is widely used by both children and adults as a way to navigate uncertain or unfamiliar situations. But in an environment populated by multiple heterogeneous agents pursuing different goals or objectives, indiscriminate imitation is unlikely to be an effective strategy -- the imitator must instead determine who is most useful to copy. There are likely many factors that play into these judgements, depending on context and availability of information. Here we investigate the hypothesis that these decisions involve inferences about other agents' reward functions. We suggest that people preferentially imitate the behavior of others they deem to have similar reward functions to their own. We further argue that these inferences can be made on the basis of very sparse or indirect data, by leveraging an inductive bias toward positing the existence of different \textit{groups} or \textit{types} of people with similar reward functions, allowing learners to select imitation targets without direct evidence of alignment.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20627v4cs.AI공통 태그 Navigate

모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측

Latent Goal Prediction from Language for Model-Based Planning

결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2606.20467v2cs.LG공통 태그 Inductive Bias

에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.

arXiv:2606.18634v2cs.RO공통 태그 Navigate

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.

arXiv:2606.11319v3cs.LG공통 태그 Inductive Bias

심하게 손상된 입력으로 학습하면 신경망은 중심점 분류기가 된다

Neural networks become centroid classifiers when trained on heavily corrupted inputs

불완전한 데이터로부터의 학습은 기계학습의 핵심 주제로, 강인성(robustness)에 관한 실용적 질문을 학습 가능성(learnability)에 관한 근본적 질문과 연결합니다. 여기서 우리는 속성 노이즈(attribute noise)를 조사합니다: 레이블은 그대로 유지하면서 손상된 입력으로부터 학습하는 것으로, 레이블 노이즈(label-noise) 대응 경우보다 분석적 관심이 상당히 덜 받아온 설정입니다. 우리는 두 가지 유형의 손상 모델을 고려합니다: 가산 노이즈(additive noise)와 대체 노이즈(replacement noise). 손상된 분류(classification) 데이터셋에서 다층 퍼셉트론(MLP)을 통한 실험을 통해, 우리는 신경망이 여전히 강인함을 유지하며, 입력이 90% 이상 손상되었을 때에도 우연 수준보다 훨씬 높은 정확도를 유지함을 발견했습니다. 이는 인간 인식 능력을 훨씬 뛰어넘는 것입니다. 이러한 강인성을 이해하기 위해, 우리는 평균장(mean-field) 영감을 받은 접근법을 사용하여 심한 손상(heavy-corruption) 영역에서 무한 너비 신경망을 분석하고 분류 결과에 대한 주요 결정 규칙을 도출했습니다: 신경망은 프로토타입 규칙인 최근접 클래스 평균(nearest-class-mean)을 구현하여, 각 테스트 포인트를 학습 세트 평균과 가장 유사한 클래스에 할당합니다. 이 주요 결정 규칙은 광범위한 MLP 아키텍처에 걸쳐 보편적이며, 모든 깊이와 넓은 범위의 활성화 함수 및 노이즈 분포에 대해 성립합니다. 동일한 중심점(centroid) 메커니즘은 우리의 실험에서 유한 너비 신경망의 동작과 밀접하게 일치하며, 개별 학습(training) 예제가 거의 신호를 전달하지 않을 때에도 학습이 성공할 수 있는 이유에 대해 해석 가능하고 분석적으로 다루기 쉬운 설명을 제공합니다.

arXiv:2607.10681v2cs.LG공통 태그 Inductive Bias

루프 트랜스포머의 스펙트럼 마진과 메모리 라우팅

Spectral Margins and Memory Routing in Looped Transformers

루프 트랜스포머는 하나의 가중치 블록을 반복해서 적용한다. 각 반복은 이전 은닉 상태의 일부인 캐리(carry)를 유지하고 블록의 출력을 더하므로, 정보는 두 경로 중 어느 쪽으로든 반복 사이를 전달될 수 있다. 우리는 Parcae 아키텍처의 소규모 LayerNorm 기반 변형을 연구하며 두 가지 질문을 던진다. 반복되는 상태가 안정화되는가, 그리고 반복에 걸쳐 기억하는 학습에 캐리가 필요한가? 안정성에 관해서, pre-LayerNorm은 캐리가 커질수록 고정점에서 블록의 민감도를 낮추지만 수축을 보장하기에는 충분하지 않다. 스칼라 캐리의 경우 국소적으로 안정한 고정점에서도 섭동이 한 번의 반복에서 커질 수 있다. 이러한 고정점이 안정한 이유는 루프의 야코비안의 스펙트럼 반경이 $1$ 미만으로 유지되기 때문이다. $1$로부터의 거리인 스펙트럼 마진은 캐리가 $1$에 가까워질수록, 그리고 캐리가 높을 때는 너비가 커질수록 좁아지며, 일부 초기화는 반복 예산 내에 안정화되지 않는다. 메모리에 관해서, 고정된 루프 깊이로 학습한 다중 홉 복사 과제는 캐리를 $0.5$, $0.02$, $0$으로 고정했을 때에도 학습된 캐리를 사용했을 때만큼 잘 학습되며, 학습된 캐리는 훈련 중 거의 변하지 않는다. 훈련 중에 깊이를 샘플링하면 캐리가 $0.5$일 때는 여전히 학습되지만 $0.02$와 $0$일 때는 학습되지 않는다. 모든 실험은 소규모이다(학습 시 $d \le 32$).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.