arXiv:2204.09047

Learning Theory of Mind via Dynamic Traits Attribution

Dung Nguyen, Phuoc Nguyen, Hung Le, Kien Do, Svetha Venkatesh, Truyen Tran

제출 2022-04-17

원문 초록

Machine learning of Theory of Mind (ToM) is essential to build social agents that co-live with humans and other agents. This capacity, once acquired, will help machines infer the mental states of others from observed contextual action trajectories, enabling future prediction of goals, intention, actions and successor representations. The underlying mechanism for such a prediction remains unclear, however. Inspired by the observation that humans often infer the character traits of others, then use it to explain behaviour, we propose a new neural ToM architecture that learns to generate a latent trait vector of an actor from the past trajectories. This trait vector then multiplicatively modulates the prediction mechanism via a `fast weights' scheme in the prediction neural network, which reads the current context and predicts the behaviour. We empirically show that the fast weights provide a good inductive bias to model the character traits of agents and hence improves mindreading ability. On the indirect assessment of false-belief understanding, the new ToM model enables more efficient helping behaviours.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23881v1cs.CV공통 태그 Prediction, Inductive Bias

MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기

MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space

Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.

arXiv:2607.09741v1cs.RO공통 태그 Prediction, Inductive Bias

SWIFT: 자율주행 흐름 인식 궤적 예측을 위한 소세계 상호작용 프레임워크

SWIFT: A Small-World Interaction Framework for Flow-Aware Trajectory Prediction in Autonomous Driving

자율주행에서 정확한 궤적 예측은 교통 에이전트 간의 동적이고 맥락 의존적인 상호작용을 모델링하는 데 달려 있다. 그러나 기존 접근법의 대부분은 순수하게 데이터 기반이며 구조적 사전 지식이 부재하여, 분포 변화 상황에서의 일반화 능력이 제한된다. 본 연구에서는 교통 네트워크의 구조와 역학을 통해 상호작용 모델링을 재검토하고, 소세계 네트워크와 교통 흐름 이론을 통합하는 통합 프레임워크인 SWIFT(Small-World Interaction Framework for Trajectory prediction)를 제안한다. SWIFT는 지역적 및 전역적 의존성을 모두 포착하는 소세계 상호작용 네트워크와, 장면 수준의 교통 상태에 따라 상호작용 구조를 적응시키는 흐름 체계 인코더(Flow Regime Encoder)를 통해 구조적 귀납 편향을 도입한다. 상호작용 추론은 직접적 및 고차 에이전트 관계를 명시적으로 인코딩하는 다중 관계 그래프 모듈을 통해 더욱 강화된다. nuScenes, MoCAD, NGSIM 세 가지 실세계 데이터셋에 대한 광범위한 실험 결과, SWIFT는 다양한 교통 체계에 걸쳐 예측 정확도 면에서 강력한 기준 모델들을 일관되게 능가함을 보여준다. 정확도를 넘어, SWIFT는 미관측 위치 및 체계에 대한 향상된 일반화 능력, 잡음이 포함된 관측 하에서의 강건성, 그리고 제한된 학습 데이터에서도 우수한 성능을 나타내며, 구조 인식 설계의 효과성을 뒷받침한다.

arXiv:2607.09537v1cs.LG공통 태그 Prediction, Inductive Bias

GatedLinear: 시계열 예측을 위한 상보적 선형 기저의 적응적 라우팅

GatedLinear: Adaptive Routing of Complementary Linear Bases for Time Series Forecasting

시계열 예측은 모델이 부드러운 추세 연속부터 비정상 드리프트, 엄격한 위상 정렬 주기성에 이르기까지 다양하고 상호 배타적인 시간적 동역학을 포착할 것을 요구한다. 최근 심층 학습 모델들이 정확도를 개선했지만, 이들은 일반적으로 고정된 알고리즘적 귀납적 편향(예: 셀프-어텐션 또는 스펙트럴 필터링)에 의해 제어되는 단일 연산 백본을 통해 이러한 다양한 패턴을 처리하도록 강제한다. 이 단일 메커니즘 접근법은 서로 다른 변수와 예측 지평선이 근본적으로 상이한 예측 처리를 필요로 하는 실세계 시계열의 극심한 이질성에 종종 어려움을 겪는다. 이를 해결하기 위해, 우리는 예측을 상보적 선형 기저의 적응적 라우팅으로 프레이밍하는 경량 프레임워크인 GatedLinear를 제안한다. GatedLinear는 세 가지 특화된 메커니즘의 풀을 활용한다: 부드러운 투영을 위한 전역 추세-계절성 기저, 비정상 드리프트를 위한 차분 기반 증분 기저, 명시적 주기적 재사용을 위한 위상 정렬 반복 기저. 이러한 상이한 동작들을 동적으로 조율하기 위해, 우리는 라우팅 결정을 채널별 선호도, 지평선 인식 오프셋, 그리고 알려진 미래 시간 마크에서 도출된 위상 인덱스 편향으로 분리하는 삼중 인수분해 융합 게이트(Tri-Factorized Fusion Gate)를 도입한다. 이 설계는 모델이 계산 비용이 큰 신경 모듈을 중첩하지 않고도 서로 다른 예측 레짐에 걸쳐 세밀한 포인트별 소프트 라우팅을 수행할 수 있게 한다. 표준 벤치마크에서의 실험 결과, 우리의 방법은 최근의 복잡한 기반 모델들에 대해 최첨단 또는 매우 경쟁력 있는 정확도를 달성하면서도, 명시적으로 해석 가능한 라우팅 패턴을 제공하고 상당히 적은 매개변수로 운용됨을 보인다.

arXiv:2607.06382v1stat.ML공통 태그 Inductive Bias, Learning Theory

합성적 학습을 위한 함수 공간 이분법: 신경 탄젠트 커널의 지수적 준최적성

A Function-Space Dichotomy for Compositional Learning: Exponential Sub-Optimality of the Neural Tangent Kernel

훈련된 신경망이 합성적 구조를 가진 과제에서 신경 탄젠트 커널(NTK) 한계를 능가한다는 것은 지속적으로 관찰되어 온 경험적 사실이지만, **언제** 그리고 **얼마나** 그러한지에 대한 정량적 설명은 부재했다. 단위 원 위에서, 우리는 타깃의 두 가지 복잡도 측도 사이의 이분법을 통해 이러한 설명을 제공한다: NTK 커널 회귀를 제어하는 **푸리에 복잡도**와, 가중치의 변동 노름이 $R$로 제한된 깊이-$L$, 너비-$w$ 렐루 네트워크에서의 학습을 제어하는 **구조적 복잡도**. 우리는 먼저 구조 클래스 $\mathcal{C}_{L,w,R}$의 미니맥스 속도를 $L$의 단일 인수까지의 오차 내에서 규명한다: $\Omega(Lw^2R^2/n)$와 $\tilde{O}(L^2w^2R^2/n)$ 사이. 이어서 두 복잡도가 분리될 때마다 NTK 추정량이 이 하한보다 **지수적으로** 높은 위치에 있음을 보인다: 깊이-$L$ 반복 톱니파의 경우, NTK 회귀는 $\Omega(4^L)$개의 샘플이 필요한 반면 미니맥스 하한은 $L$에 대해 다항식이다. 수치 실험은 이론적 주장을 확인한다: 대역 제한된 매끄러운 타깃에서는 NTK가 경쟁력이 있거나 더 우수하지만, 하이퍼큐브 희소 패리티 모델에서는 표준 2층 네트워크가 테스트 오차에서 NTK를 4~6 자릿수 차이로 능가한다. 따라서 이 격차는 일반적인 커널 대 네트워크 현상이 아니라, 커널의 매끄러움 바이어스와 타깃의 합성적 구조 사이의 불일치라는 함수 공간적 속성이다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2607.10681v2cs.LG공통 태그 Inductive Bias

루프 트랜스포머의 스펙트럼 마진과 메모리 라우팅

Spectral Margins and Memory Routing in Looped Transformers

루프 트랜스포머는 하나의 가중치 블록을 반복해서 적용한다. 각 반복은 이전 은닉 상태의 일부인 캐리(carry)를 유지하고 블록의 출력을 더하므로, 정보는 두 경로 중 어느 쪽으로든 반복 사이를 전달될 수 있다. 우리는 Parcae 아키텍처의 소규모 LayerNorm 기반 변형을 연구하며 두 가지 질문을 던진다. 반복되는 상태가 안정화되는가, 그리고 반복에 걸쳐 기억하는 학습에 캐리가 필요한가? 안정성에 관해서, pre-LayerNorm은 캐리가 커질수록 고정점에서 블록의 민감도를 낮추지만 수축을 보장하기에는 충분하지 않다. 스칼라 캐리의 경우 국소적으로 안정한 고정점에서도 섭동이 한 번의 반복에서 커질 수 있다. 이러한 고정점이 안정한 이유는 루프의 야코비안의 스펙트럼 반경이 $1$ 미만으로 유지되기 때문이다. $1$로부터의 거리인 스펙트럼 마진은 캐리가 $1$에 가까워질수록, 그리고 캐리가 높을 때는 너비가 커질수록 좁아지며, 일부 초기화는 반복 예산 내에 안정화되지 않는다. 메모리에 관해서, 고정된 루프 깊이로 학습한 다중 홉 복사 과제는 캐리를 $0.5$, $0.02$, $0$으로 고정했을 때에도 학습된 캐리를 사용했을 때만큼 잘 학습되며, 학습된 캐리는 훈련 중 거의 변하지 않는다. 훈련 중에 깊이를 샘플링하면 캐리가 $0.5$일 때는 여전히 학습되지만 $0.02$와 $0$일 때는 학습되지 않는다. 모든 실험은 소규모이다(학습 시 $d \le 32$).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.