PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04926v2cs.LG

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

How does the way information reaches a transformer -- as symbolic tokens, a clean per-factor "oracle" code, or an entangled perceptual vector -- shape whether it binds that information compositionally? We study ~6-10K-parameter transformers on finite factored worlds enumerated exhaustively, so every measurement covers the whole input space and the informative routes are information-matched (exact Bayes ceiling 1.0). Four findings. (1) Endpoint invariance: on held-out binding queries no informative route reaches converged zero-shot composition -- each ends at or below chance, so the failure reflects inductive bias under a lookup-sufficient objective, not missing information. It also holds with the state in its own sequence position rather than added to every token. (2) Readability governs few-shot binding: when a small fraction of the held-out type is leaked into training, sample efficiency tracks code readability. The least readable entangled code is worst (-0.147 pooled, under both schemes); a dimension-matched control and a graded readability sweep isolate readability from input dimension. (3) The injection site, not the pathway: v1 read the remaining ordering among readable routes as pathway parameter sharing; that is withdrawn. The compared pathways are block-decomposable, hence one function class, so sharing was never manipulated; the ordering comes from the initialization scale of the broadcast-added state and vanishes when it gets its own position (+0.057 -> -0.006, 20 paired seeds/cell). (4) Failure anatomy: symbolic routes lose the answer at the readout; index routes mis-bind -- the answer stays decodable, yet an input intervention shows the output tracks the wrong slot. The central positive claim is readability; the others bound what a pathway comparison can establish. Code, manifests, and per-seed logs are released.

arXiv:2610.15843v1cs.CL

신경망 모델과 인간 뇌에서의 음소 정체성과 위치의 결합

Binding Phoneme Identity to Position in Neural Models and the Human Brain

인지과학과 신경 계산 분야의 근본적인 난제 중 하나는 결합 문제(binding problem)이다. 조합적 일반화(compositional generalization)는 표상을 역할(role, 예: 순서 위치나 구문적 기능과 같은 표상의 구조적 슬롯)과 필러(filler, 예: 음소나 단어와 같이 슬롯을 차지하는 내용물)로 인수분해하여 달성할 수 있으며, 이 둘을 자유롭게 재조합함으로써 새로운 조합을 표현할 수 있다. 그러나 신경계가 역할-필러 결합을 어떻게 구현하는지는 여전히 알려져 있지 않다. 가장 단순한 사례 중 하나는 음소 시퀀싱으로, /gum/과 /mug/가 서로 다르게 표현되도록 음소 정체성(필러)이 위치(역할)에 결합되어야 한다. 자연어 처리(NLP) 분야에서 제안된 '양파 가설(onion hypothesis)'(Csordas et al., 2024)은 신경 집단 상태의 방향이 토큰 정체성을 부호화하고 그 크기가 위치를 부호화한다고 주장한다. 이 가설은 무작위 토큰 시퀀스를 대상으로 정립되었으며, 본 연구에서는 이를 자연어로 확장하여 신경망 모델과 인간의 뇌에서 검증한다. 먼저 표상 기하학 분석과 인과적 개입을 활용하여 영어 단어를 반복하도록 학습된 인코더-디코더 모델에서 이를 평가했다. 그 결과 크기만으로는 불완전함이 입증되었다. 위치는 크기와 함께 상태 방향의 체계적인 회전에 의해 부호화되며, 본 연구는 이러한 기제를 '나선 가설(spiral hypothesis)'로 공식화한다. 이어 짧은 문장을 듣는 20명의 참가자의 청각 피질에서 기록된 두개내 뇌파(intracranial recordings)를 분석했다. 상측두회(superior temporal gyrus) 전극 전반에서 연속된 음소 간의 집단 반응 변화는 위치가 진행됨에 따라 크기가 감소했으며, 그 방향은 자음군 내부 및 모음군 내부에서 정렬되었으나 두 부류 간에는 거의 직교하여 두 가설이 공유하는 크기 코딩을 뒷받침했다. 이러한 결과는 신경계가 음소 정체성을 위치에 결합하는 방식에 대한 기하학적 설명을 제공하며, 신경망 모델 가설이 인간 신경 계산에 대한 검증 가능한 예측을 어떻게 도출할 수 있는지를 보여준다.

arXiv:2610.00064v1cs.CV

도달 가능성이 곧 일반화는 아니다: 조립 행동 인식에서 동사-명사 분해의 이해

Reachability Is Not Generalization: Understanding Verb--Noun Decomposition in Assembly Action Recognition

조립 행동은 조작(manipulation)과 부품 또는 도구를 결합한다는 점에서 구성적(compositional)입니다. 실제 배포 환경에서 시스템은 익숙한 구성 요소들의 새로운 조합을 일상적으로 마주치지만, 원자적(atomic) 행동 분류기는 구조상 보지 못한 모든 조합에 정확히 0의 확률을 할당합니다. 이에 대한 주된 해결책은 구성 요소를 개별적으로 예측한 뒤 재결합하여 보지 못한 행동에 도달하는 동사-명사 분해(verb-noun decomposition)입니다. 널리 채택되고 있음에도 불구하고, 이러한 분해가 구성적 변화(compositional shift) 상황에서 어떻게 일반화되는지는 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 세 가지 조립 데이터셋(MECCANO, HAViD, IMPACT)에 걸쳐 동사-명사 분해를 체계적으로 분석합니다. 분해 방식이 원자적 한계는 벗어나지만, 그 일반화는 한계를 넘어 부분적으로만 확장됩니다. 보지 못한 조합에 대한 성능은 학습(training) 데이터의 동시 발생 구조와 여전히 강하게 결합되어 있어, 관찰된 이득의 상당 부분이 제약 없는 재결합보다는 구성 공간의 조밀하게 뒷받침된 영역 내에서의 보간(interpolation)에서 발생함을 보여줍니다. 데이터셋 전반에 걸쳐 실패는 어휘(vocabulary)가 더 큰 구성 요소에 일관되게 집중되며, 동사 비중이 높은 IMPACT의 어휘는 병목 현상을 명사에서 동사로 역전시킵니다. 나아가 공유 인코더 학습이 구성 요소 간 얽힘(entanglement)을 유발하여, 보지 못한 조합으로 잘 전이되지 않는 동시 발생 패턴에 대한 의존도를 높이고 조화 평균에서 독립적 재결합보다 최대 $6.0\times$ 뒤처지게 됨을 보입니다. 종합하면, 이러한 발견들은 분해 방식이 실제로 왜 부분적인 구성적 일반화만을 달성하는지 설명합니다. 본 연구는 원시 지지(primitive support), 어휘 비대칭성, 구성 요소 얽힘을 서로 연결된 오류 원인으로 규명함으로써, 단순 집계 정확도를 넘어 구성적 인식을 연구하기 위한 이식 가능한 진단 프레임워크를 제공합니다. 코드: https://github.com/hisalaheiyo/assembly.

arXiv:2510.03075v4cs.CV

시각적 생성 모델에서 구성적 일반화를 이끄는 요인은 무엇인가? 연속적 학습 목표의 중요성

What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives

알려진 개념들의 새로운 조합을 생성하는 능력인 구성적 일반화(compositional generalization)는 시각적 생성 모델의 핵심 요소입니다. 그러나 이를 가능하게 하거나 저해하는 메커니즘은 아직 완전히 이해되지 않았습니다. 본 연구에서는 이미지 및 비디오 생성에서 구성적 일반화를 결정적으로 좌우하는 설계 선택에 대해 체계적인 연구를 수행합니다. 독립적인 설계 축들을 분리하여 분석함으로써, 구성적 성공과 밀접하게 연관된 두 가지 핵심 요인을 식별했습니다: (i) 학습(training) 목표가 이산형 분포 또는 연속형 분포에서 동작하는지 여부, 그리고 (ii) 학습 중 구성 요소들에 대한 조건부(conditioning) 정보의 완전성입니다. 또한 보조적인 연속형 잠재 목표(auxiliary continuous latent objective)를 통해 이산 손실(loss)을 완화하면 MaskGIT과 같은 이산 모델에서 구성적 성능을 부분적으로 회복할 수 있음을 보여줍니다. 다양한 구성적 작업과 월드 모델(world model) 및 대규모 언어 모델(LLM)에서의 예비적 증거를 통해 뒷받침되는 본 연구의 결과는, 구성적 일반화를 위해 연속적 목표로 전환해야 할 필요성을 제시합니다.

arXiv:2609.17637v2cs.AI

보이지 않는 것도 여전히 배우는 것: 증거 마스킹이 조합적 일반화를 이끈다는 사전등록 60-사회 확인

What You Can't See Is Still What You Learn: A Preregistered Sixty-Society Confirmation That Evidence Masking Drives Compositional Generalization

모듈이 읽을 수 있는 것을 제한하면 시스템이 계산하도록 학습하는 내용이 개선될 수 있다. 우리는 동결된 언어 모델 백본을 공유하고 학습된 연속 패킷으로 통신하는 60개의 4-셀 시스템을 사용한 사전등록 확인 연구에서 이를 검증한다. 다섯 가지 조건은 하나의 새로운 태스크 세계에서 여섯 개의 초기화 클러스터(각각 두 가지 데이터 순서)에 걸쳐 증거 마스킹, 소유권 마커, 외부 증거를 동일 토큰 길이의 중립적 필러(태스크와 무관한 텍스트)로 대체하는 방식을 변화시킨다. 두 체제 모두에서 마커를 사용할 수 있을 때, 마스킹은 보류된 2연산 및 3연산 조합에 대한 정확도를 중앙값 쌍별 차이 0.846 및 0.859만큼 개선했고, 12쌍 모두 필요한 여유를 넘겼으며, 전체 사전등록 행동 기준을 통과했다. 마커 없는 복제 실험도 통과했다. 마커가 있는 전역 가시성(G+) 시스템은 어느 것도 마커 추종 검사를 통과하지 못했으므로, 사용 가능한 역할 정보의 효과는 여전히 미결정이다. 필러 조건은 7명의 완전 일반화자를 산출했으나 분해 기준은 결론을 내리기에 불충분했다. 감사 대상 18개 마스킹 시스템 전체에서 패킷 개입은 적격 사례에서 예측된 중간값 변화를 따랐으나, 이러한 유한하고 성공 조건부 감사는 매개를 입증하지는 않는다. 결과는 검증된 마스킹 체제의 큰 이점을 확인하면서, 더 세밀한 귀속과 일반성은 열린 상태로 남긴다. 프로토콜, 결과, 체크포인트는 공개되어 있다.

arXiv:2606.00045v2cs.AI

범용 양자 트랜스포머

Universal Quantum Transformer

고전적인 연속 공간 신경망은 모듈러 산술(modular arithmetic)과 비아벨 군 대수(non-Abelian group algebra) 같은 수학적 규칙이든, 체계적 조합 일반화(systematic compositional generalization) 같은 언어적 규칙이든, 정확한 형식 규칙에 고정하는 데 근본적으로 어려움을 겪는다. 이러한 이산적 논리 규칙을 근사하려면 종종 대규모 매개변수 스케일링에 의존하며, 이는 grokking으로 알려진 지연된 일반화 현상 이후에도 확률적 불안정성을 초래한다. 여기서 우리는 Universal Quantum Transformer(UQT)를 소개한다. 이는 다중 큐빗 시스템의 물리적 특성을 정확한 대수적 및 조합적 추론을 위한 범용 귀납적 바이어스(universal inductive bias)로 사용하는 새로운 양자 네이티브 컴퓨팅 아키텍처이다. 고전적 신경 메커니즘을 번역하는 대신, 우리 프레임워크는 매개변수화된 기하학적 위상 임베딩(parameterized geometric phase embedding)과 $SU(2)$ 파동 간섭(wave-interference)에 전적으로 의존한다. 우리는 551~1,650개의 학습 가능한 매개변수만을 갖춘 매우 컴팩트한 5 또는 6 큐빗 기질(substrate)에서 동작하는 동일한 양자 어텐션 회로가, 순환 모듈러 산술($\mathbb{Z}_{11}$), 비아벨 대수($S_4$ 치환군), 체계적 언어적 조합성(SCAN 언어)이라는 세 가지 매우 상이한 형식 클래스를 정확히 학습함을 보여준다. 다층 퍼셉트론(MLP)과 트랜스포머를 포함한 표준 고전 모델이 수렴 시 확률적 불안정성을 보이는 반면, UQT는 수학적으로 정확하고 결정론적인 일반화를 달성한다. 우리는 이 더 엄격한 체제를 결정화(crystallization)라 정의한다. 이는 잘 알려진 grokking 현상을 넘어선 단계이다. 마지막으로, 우리는 UQT를 노이즈가 있는 중간 규모 양자(noisy intermediate-scale quantum, NISQ) 하드웨어에 배포하여 IBM Quantum 컴퓨터에서 97.5%의 정확도를 달성했다. 이 결과는 UQT가 표준 고전적 연속 공간 아키텍처가 본질적으로 제공하지 못하는 정확한 형식 추론을 위한 구조적으로 적합한 귀납적 바이어스를 제공함을 보여준다.

arXiv:2607.21582v1cs.RO

전략적 확장: 바이어스 인식 평가 및 데이터 수집을 통한 로봇 조작의 조합적 일반화 학습

Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation

조합적 일반화(compositional generalization)는 로봇이 다양한 지시를 따르는 데 필수적이다. 그러나 사전학습된 정책(pretrained policy)은 언어 그라운딩(grounding)보다 눈에 띄는 단서(salient cue)에 의존하는 지름길(shortcut)을 택하는 것으로 알려져 있다. 우리는 이러한 실패를 개별 지시 요인(instruction factor), 예를 들어 색상, 동사, 객체, 크기, 공간 속성과 같은 재사용 가능한 의미 구성요소에 국한시키는 진단 프레임워크를 제안한다. 우리 프레임워크는 파인튜닝된 정책이 지배적인 요인을 지름길로 과도하게 의존하는 경향인 지시 요인 바이어스(instruction factor bias)를 형식화하고, 두 가지 지표를 통해 이를 정량화한다: 요인 간 쌍별 바이어스를 포착하는 Factor Dominance Rate(FDR)와 이를 전역 순위로 집계하는 Factor Dominance Hierarchy(FDH). 6개의 파운데이션 정책(foundation policy)에 대한 평가는 대체로 일관된 순서, 즉 color ≥ object ≥ spatial ≥ verb ≥ size를 보여주며, color가 지배적이고 verb와 size의 그라운딩이 가장 부족하다. 더 나아가 이 진단이 실행 가능함을 보인다: 그라운딩이 부족한 요인에 고정 예산을 재배분하는 바이어스 인식 데이터 수집 전략은 시뮬레이션과 실제 로봇에서 시연(demonstration) 수를 절반으로 줄인 상태에서도 기준선(baseline)을 능가하며, 이를 통해 더 샘플 효율적이고 일반화 가능한 정책 학습을 가능하게 한다.

arXiv:2607.08127v1cs.CV

시간적 비율을 통한 비디오-액션 일반화 격차의 이해 및 완화

Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

비디오-액션 모델(VAM)이 로봇 액션 데이터 파인튜닝 후 생성형 비디오 기반 모델의 구성적 사전 지식(compositional prior)을 잃는 '비디오-액션 일반화 격차(video-action generalization gap)' 문제를 분석하고, 액션 헤드가 미래 잠재 롤아웃에 의존하는 정도를 어텐션 기반으로 측정하는 시간적 비율(Temporal Ratio, TR)을 도입하여 이를 구성적 일반화 능력의 예측 지표로 활용한다. TR을 런타임 신호로 삼아 정책이 계획 단계에 진입할 때 동적으로 비디오 컨디셔닝 신호를 증폭하는 추론 시간 적응형 가이던스 방법을 제안하며, LIBERO 벤치마크와 실제 양팔 로봇 태스크에서 OOD 구성적 일반화 격차를 완화함을 검증한다.

arXiv:2607.05185v1cs.AI

ClassicLogic: 조합적 일반화 평가를 위한 고전 퍼즐 게임의 지식 기반 벤치마크

ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization

조합적 일반화(compositional generalization)는 알려진 구성 요소의 새로운 조합을 이해하고 생성하는 능력으로, 현대 인공지능에 있어 근본적인 도전 과제로 남아 있다. 기존 벤치마크는 소수에 불과하며, 대부분 언어적 과제에 초점을 맞추고 있어 복잡하고 명시적인 조합 구조가 부족하다. 우리는 에이전트의 문제 해결 전략 학습 및 조합 능력을 평가하기 위해 설계된 새로운 벤치마크 스위트인 ClassicLogic을 소개한다. 이 벤치마크는 스도쿠(Sudoku), 켄켄(KenKen), 카쿠로(Kakuro), 후토시키(Futoshiki)의 네 가지 고전 논리 퍼즐로 구성된다. 핵심 혁신은 각 게임에 대한 계층적이고 명시적인 지식 베이스로, 복잡한 풀이 전략이 더 단순하고 기초적인 전략들의 조합으로 형식적으로 정의된다. 이 구조는 기본 규칙 학습부터 수학적으로 검증된 난이도가 점진적으로 증가하는 퍼즐을 풀기 위한 다단계 조합 전략 적용에 이르기까지, 에이전트의 추론 능력에 대한 세밀한 평가를 가능하게 한다. 오픈소스로 제공되는 이 벤치마크는 신경-기호(neuro-symbolic) 및 기타 고급 AI 추론 시스템의 발전을 위한 도전적인 새 테스트베드를 제공한다.

arXiv:2607.02307v1cs.CL

On the Role of Directionality in Structural Generalization

Several SLOG test categories explicitly involve directional distinctions (modifier position shifts, argument extraction positions), yet AM-Parser, the previous SOTA, uses an AM algebra whose operations do not encode direction. We redesign the symbolic backend around CCG directed types (deterministic CKY + single linear decoder, 30K learnable parameters). Under the same BERT-base encoder, the system achieves 75.9$\pm$6.4% LF exact match, surpassing AM-Parser (70.8$\pm$4.3%). Per SLOG's own category groupings, gains are highly directional: the CCG system outperforms AM-Parser on all 5 position-shift categories (+29.9pp), while AM-Parser outperforms on all 6 recursive-depth categories. Replacing the encoder with DeBERTa-v3-large yields 90.7$\pm$4.9%, with the largest encoder gains in recursive-depth categories, complementary to directionality's gains. Directional representations shift the bottleneck from the symbolic layer (AM-Parser's 0% category ceiling) to the neural layer, which improves with encoder upgrades.

arXiv:2606.27721v1cs.LG

커리큘럼으로 추론 학습 II: 조합적 일반화

Learning to Reason with Curriculum II: Compositional Generalization

조합적 일반화, 즉 더 단순한 하위 문제에 대한 해를 조합하여 복잡한 문제를 푸는 능력은 자연 지능과 인공 지능 모두의 근본적인 능력이며, 사고의 연쇄(chain-of-thought) 추론의 핵심 메커니즘이기도 하다. 그러나 조합적 일반화의 이론적 기반은 여전히 잘 이해되지 않았다: 문제를 부분으로 분해하는 것이 직접 풀는 것보다 언제, 왜 더 효율적인 학습을 가능하게 하는가? 우리는 반자동기(semiautomata)를 시뮬레이션하는 학습(순차 계산의 $T$ 단계 결과를 예측하는)이라는 표준 문제를 통해 이 질문을 연구한다. 이 모델은 상태 추적, 정규 언어 인식, 모듈러 산술을 포괄한다. 우리는 이 시리즈의 I편을 기반으로 하는 자동 커리큘럼(autocurriculum) 접근법, 즉 더 긴 시퀀스를 더 짧은 하위 문제로 재귀적으로 분해하고 이를 학습하여 해를 구한 뒤 해를 조합하는 방식이 직접적인 방법보다 훨씬 더 나은 통계적 복잡도를 달성함을 보인다. (i) 계산의 중간 상태에 대한 대화형 피드백을 받는 지도 미세조정(SFT)에서 영감을 받은 설정에서는, 커리큘럼이 단 $2^{\mathcal{O}(\sqrt{\log T})}$개의 감독 토큰만으로 학습을 가능하게 한다. 즉 시퀀스 길이 $T$에 대해 아다(subpolynomial)적이며, 직접 시뮬레이션에 필요한 $Ω(T)$ 토큰 장벽을 극복한다. (ii) 결과 검증기(outcome verifier)를 사용하여 사전학습된 참조 모델을 개선하는 검증 가능 보상 강화학습(RLVR)에서 영감을 받은 설정에서는, 커리큘럼이 참조 모델에 대한 요구사항을 전체 시퀀스 길이 $T$에서의 커버리지에서 훨씬 짧은 블록 길이 $B \ll T$에서의 커버리지로 줄인다는 것을 보인다. 이는 지수적으로 더 약한 조건이다.

arXiv:2606.18089v1cs.LG

추론 Trace에서 재사용 가능한 모듈로: 언어 모델 추론의 조합 일반화 이해

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

지도 미세조정(SFT)과 강화학습(RL)을 결합하는 사후 학습 파이프라인은 대규모 언어 모델(LLM)을 견고한 추론 모델로 변환하는 핵심 방법으로 등장했다. 우리는 이러한 결합된 성공이 조합 일반화(compositional generalization)에 의해 주도된다고 주장하며, 이를 계층적 잠재 선택 모델을 통해 형식화한다. 이 프레임워크에서 추론 trace는 재사용 가능한 원자 모듈에 대응하는 이산 잠재 선택 변수들의 연쇄에 의해 생성되며, 여기에는 기술(skill, 국소 연산)과 라우팅 메커니즘(중간 정보가 어떻게 선택·재사용·조합되는지)이 모두 포함된다. 이 모델 내에서 우리는 SFT와 RL이 비대칭적이고 상보적인 역할을 한다는 것을 이론적으로 보인다: SFT는 조합 trace에서 원시 모듈 재료를 제공하고, RL은 해당 trace를 분해하여 잠재 원자 모듈을 식별하고 조합 일반화를 가능하게 한다. 이 이론을 검증하기 위해 통제 실험을 설계한다. 결과는 RL이 SFT가 제공한 복합 trace에서 원자 모듈을 추출하고 이를 재조합하여 새로운 구성을 해결할 수 있음을 보여준다. 더 나아가, 고립된 원자 모듈에 대한 학습보다 복합 trace에 대한 학습이 더 강한 일반화를 산출함을 발견한다. 마지막으로 SFT와 RL 데이터의 관계를 조사하고, SFT가 조합 trace를 통해 모든 원자 모듈의 커버리지를 보장하는 한편 RL은 SFT 지원 범위 밖의 새로운 조합에 초점을 맞춰 탐험을 유도하는 효과적인 프로토콜을 식별한다.