PyTorchKR Papers

최신 논문

총 9,642편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27361v1cs.LG

자기회귀 볼츠만 생성기

Autoregressive Boltzmann Generators

열역학적 평형 상태에서 분자 시스템의 효율적인 샘플링은 통계 물리학의 대표적인 난제입니다. 이 난제는 볼츠만 생성기(BG)의 개발을 이끌었으며, BG는 생성 모델과 정확한 우도(likelihood) 및 중요도 샘플링(importance sampling) 보정을 결합하여 비상관 평형 샘플을 빠르게 생성할 수 있게 합니다. 그러나 현대 BG는 주로 정규화 플로우(NF)에 의존하며, 이는 엄격한 가역성 제약으로 인한 제한적인 표현력(이산 시간) 또는 계산 비용이 높은 우도(연속 시간)라는 문제를 겪습니다. 본 논문에서는 플로우 기반 BG 패러다임에서 벗어나 이러한 한계를 극복하는 새로운 자기회귀 모델링 프레임워크인 자기회귀 볼츠만 생성기(ArBG)를 제안합니다. ArBG는 플로우의 위상적 제약을 우회하고 순차적인 추론 시간 개입을 가능하게 하며, 대규모 언어 모델(LLM)에서 효과적인 아키텍처를 활용하여 향상된 확장성을 제공합니다. 우리는 ArBG가 모든 벤치마크에서 플로우 기반 모델 대비 상당한 성능 향상을 가져오며, 특히 10개 잔기로 구성된 Chignolin과 같은 더 큰 펩타이드 시스템에서 두드러진다는 것을 실증적으로 보여줍니다. 또한, ArBG 프레임워크로 학습된 1억 3,200만 매개변수의 전이 가능한 모델인 Robin을 소개하며, 이는 이전 최고 성능 대비 향상되어 8개 잔기 시스템에서 제로샷 에너지 오류인 E-W$_2$를 60% 이상 감소시킵니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/danyalrehman/autobg.

arXiv:2606.27119v1quant-ph

내결함성 양자 컴퓨팅을 위한 효율적인 파운데이션 디코더

Efficient foundation decoders for fault-tolerant quantum computing

큰 코드 거리에서 파운데이션 디코더 구축 비용이 급증하는 스케일링 병목을 줄이기 위해, 확장 가능한 코드 계열이 공유하는 대수적 구조로 거리 간 디코딩 과제를 정렬하는 신경 전이 통합(NTU) 프레임워크를 제안한다. NTU-Transformer는 평면 표면 코드에서 [[361,1,19]]의 상관관계 인식 매칭을 능가하고 전이 적응으로 [[625,1,25]]까지 확장되며, [[72,12,6]] 이변수 자전거 코드의 낮은 물리 오류 영역에서 Relay-BP를 앞선다.

arXiv:2606.26472v1cs.LG

어텐션 행렬 없는 에피파니 인식 KV 캐시 제거

Epiphany-Aware KV Cache Eviction Without the Attention Matrix

긴 사고의 연쇄로 KV 캐시가 배포 병목이 되는 문제에서, EpiKV는 어텐션 행렬 없이 순전파의 내부 표현 변화를 에피파니 점수로 삼아 토큰을 제거하며 학습·분류기·커스텀 커널 없이 FlashAttention 추론 스택에 그대로 적용 가능하다. 4096 토큰 캐시에서 MATH-500 72%로 어텐션 기반 최강 기준선과 동등하고, 8192 토큰에서 AIME-2024 37%로 기존 최고(33%)를 넘기며 최대 2.8배 빠른 속도를 달성한다.

arXiv:2606.26312v1quant-ph

양자 머신러닝을 위한 맞춤형 임베딩

Tailor Made Embeddings for Quantum Machine Learning

오토인코더는 차원의 저주를 해결하고 원칙적인 가중치 초기화와 압축적이고 구조화된 표현 학습을 가능하게 함으로써 고전 머신러닝을 변화시켰다. 본 연구에서는 고전 데이터의 태스크 특화 양자 임베딩을 학습하는 변분 오토인코더 프레임워크를 도입하여, 이 패러다임을 양자 머신러닝으로 확장한다. ImageNet을 포함한 고차원 데이터셋이 학습된 디코더를 통해 복원 가능한 상태를 유지하면서 13-큐비트 양자 표현으로 압축될 수 있음을 보인다. MNIST(3 vs 5)에서 회로 중심 양자 분류기를 사용한 본 접근법은 98.5%의 검증 정확도를 달성하며, 이는 고전 신경망 기준선(99.7%) 대비 1.2퍼센트포인트 이내이고, 단순 진폭 임베딩 접근법보다 30퍼센트포인트 이상 높다. 복원을 위해 전체 양자 상태 토모그래피가 필요한 진폭 임베딩이나, 제한적 가정 하에서 회로 역변환에 일반적으로 의존하는 각 임베딩과 달리, 제안된 프레임워크는 다항식 개수의 측정만으로 원본 데이터를 복원한다. 이 프레임워크는 IBM 양자 하드웨어에서 추가로 검증되었으며, 학습된 임베딩이 실제 장치 노이즈 하에서도 안정적이고 복원 가능함을 확인했다.

arXiv:2505.12343v2cs.LG

대규모 비전-언어 모델에서 층간 일관성 집계를 통한 환각 완화

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

대규모 비전-언어 모델(LVLM)의 환각을 완화하기 위해 재학습·파인튜닝·외부 지식 없이 이전 층 표현을 집계해 동적 의미 참조를 만들고, 의미적으로 벗어난 층을 보정해 층간 일관성을 강제하는 DCLA 디코딩을 제안한다. 7개 LVLM과 다수 벤치마크에서 LLaVA1.5-7B MME 28.58점, Qwen2.5-VL 42.6점, POPE 정확도 2.74퍼센트포인트 향상 등 표준 디코딩을 능가했다.

arXiv:2606.26686v1cs.AI

안전 가드레일은 추론이 필요한가? LeanGuard: 견고한 모더레이션을 위한 빠르고 가벼운 접근법

Do Safety Guardrails Need to Reason? LeanGuard: A Fast and Light Approach for Robust Moderation

동일 코퍼스에서 추론만 제거한 통제 실험 결과, 395M 규모 LeanGuard 레이블 전용 양방향 인코더는 공개 벤치마크 평균 F1 82.90으로 더 큰 사고의 연쇄(CoT) 추론 가드레일과 맞먹는 모더레이션 정확도를 단일 순전파로 달성하며 추론 연산량을 약 100배 줄인다. 학습 레이블 노이즈와 엄격한 거짓양성 비율에서도 재현율이 더 높아, 안전 가드레일에 단계별 추론이 꼭 필요하다는 전제는 아직 입증되지 않았음을 보인다.

arXiv:2606.26661v1cs.RO

LAMP: 실행 가능한 궤적 예측을 위한 차선 정렬 움직임 프리미티브

LAMP: Lane-Aligned Motion Primitives for Feasible Trajectory Prediction

자율주행 움직임 예측에서 다중모드 궤적이 차선 토폴로지를 위반하는 문제를 해결하기 위해, LAMP는 VQ-VAE로 학습한 차선 정렬 움직임 프리미티브와 실행 가능성 인식 의도 선택기로 토폴로지에 맞는 다양한 예측을 생성한다. Argoverse 2에서 최신 기준선과 비슷한 변위 정확도를 유지하면서 실행 가능성과 다양성 지표에서 더 우수한 성능을 보였다.

arXiv:2606.26913v1cs.GR

하이퍼네트워크를 이용한 신경 텍스처 압축

Neural Texture Compression using Hypernetworks

최근 신경 텍스처 압축 연구는 물리 기반 셰이딩 모델의 입력을 재현하기 위해 셰이딩 과정에서 실시간으로 디코딩할 수 있는 소규모 재질별 텍스처 표현—잠재 텍스처와 소규모 다층 퍼셉트론(MLP) 디코더로 구성—을 학습할 수 있음을 보였다. 그러나 기존 방법은 주어진 MLP와 잠재 구성에 대해 재질마다 그래디언트 하강 최적화를 수행해야 한다. 본 연구에서는 잠재 특징과 MLP의 가중치 및 편향을 모두 출력하는 단일 하이퍼네트워크를 학습한다. 해 공간은 고차원이지만, 이 접근법은 현재 기준 신경 텍스처 압축기와 품질 면에서 유사한 결과를 낸다. 또한 이 접근법을 확장하여 여러 디코더를 한 번에 추론하거나 초해상화(super-resolution)를 학습하는 디코더를 생성할 수 있게 한다.

arXiv:2606.26050v1cs.LG

자연적 언그로킹: 사전학습에서 살아남는 규칙의 비대칭적 제어

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

사전학습 중 소규모 언어 모델이 대명사-성별 같은 규칙을 학습했다가 같은 실행 안에서 다시 잃는 현상을 자연적 언그로킹(natural ungrokking)으로 정의하고, 규칙의 생존 여부는 학습 코퍼스에서 해당 규칙이 우세하게 나타나는 지지 빈도로 예측되며 손실 곡선에는 흔적이 남지 않는다고 보고한다. 망각은 경쟁하는 표면 패턴에 규칙이 밀려나는 치환(displacement) 과정이며, 지지를 반증으로 뒤집으면 규칙을 단조적으로 제거할 수 있지만 다시 주입해도 회복되지 않는 등 제어가 비대칭적이라는 점을 Pythia 체크포인트에서도 확인했다.

arXiv:2606.25362v1math.OC

Learning Optimization Proxies for Sequential Contextual Stochastic Programs: An Order Fulfillment Application

순차적 맥락 확률적 최적화에서 초 단위 응답이 필요한 온채널 주문 이행을 위해, 솔버 라벨로 오프라인 학습한 시나리오 임베딩 신경망 프록시와 실행 가능성 보장 디코더로 매 시점 최적화 풀이를 단일 순전파로 대체하는 방법을 제안한다. JD.com 거래 기록으로 보정한 시뮬레이터에서 온라인 C-SAA 대비 의사결정 지연을 약 2800배 줄이고 이행 비용을 3.3% 개선했으며, 기존 이행 정책 대비 총 비용을 10.7% 이상 절감하고 지연 배송율을 대략 절반으로 낮춘다.

arXiv:2606.25247v1cs.HC

FUTO Swipe: Layout-Agnostic Neural Swipe Decoding

모바일 스와이프 입력에서 신경망 디코더가 특정 키보드 레이아웃에 종속되는 문제를, 추론 시 키보드 좌표를 입력으로 받아 스와이프 궤적과 레이아웃을 함께 기하학적으로 증강하는 레이아웃 무관(layout-agnostic) 인코더로 해결한다. 100만 건 이상의 MIT 라이선스 스와이프 코퍼스 swipe.futo.org를 공개했으며, 학습에 없던 레이아웃에서도 때로는 학습 레이아웃보다 높은 정확도로 일반화되어 알고리즘 디코더의 유연성과 신경망 모델의 정확도를 결합한다.

arXiv:2606.25147v1cs.IR

TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

대규모 추천에서 고정 차원 임베딩의 표현 한계와 텍스트 기반 사용자 토큰의 한계를 보완하기 위해, TokenMinds는 PLUM을 확장해 사전학습 LLM 기반 인코더-디코더로 Semantic ID(SID) 기반 이산 사용자 토큰과 밀집 사용자 임베딩을 동시에 생성한다. YouTube 전면 트래픽에서 오프라인·온라인 실험으로 검증했으며, 랭킹 등 다운스트림에서 토큰과 임베딩이 상호 보완적이고 장·단편 영상 교차 시나리오를 단일 모델로 통합해 학습·서빙 비용을 크게 줄인다.

arXiv:2606.25097v1cs.LG

Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

temperature zero에서 추측 디코딩(speculative decoding)이 안전성 평가 출력에 드래프트 모델측 행동을 누출하는지 TAIS(Typical-Acceptance Invariance Screen) 동등성 스크린으로 검증했다. 16,783건 확인 코어와 44,066건 매칭 확장 표본, DPO 적대적 드래프트·GPTQ 4bit 드래프트·네 가지 안전성 벤치마크를 포함한 vLLM 스택에서 대상 모델 단독 추론과 검출 가능한 안전성 차이는 나타나지 않았다.

arXiv:2606.24975v1cs.LG

Why Do Accumulated Transformations Extrapolate?

PaTH Attention의 Householder 반사보다 단순한 RoPE식 SO(2) 누적 회전에서도 길이 외삽(extrapolation) 후 극장 컨텍스트에서의 성능 저하가 반복되며, 누적 직교 변환 곱이 유한 단계 뒤 비일관화되어 먼 토큰 attention을 억제하는 일반 메커니즘임을 이론적으로 설명한다. 명시적 far-mass 제어 없이는 아무 회전 선택도 무한 길이에서 근거리 신호를 보장할 수 없다는 하한을 제시하고, value 회전과 ALiBi 대조 실험으로 예측을 뒷받침한다.

arXiv:2606.24964v1cs.LG

Evidence for feature-specific error correction in LLMs

슈퍼포지션(superposition) 연산 이론이 예측하는 feature 방향 우대형 오류 보정을, residual stream 활성화 교란과 Lp 노름 기하 분석으로 대규모 언어 모델(LLM)에서 처음 실증한다. 대조·MELBO·SAE 후보 feature 방향은 p>2를, 무작위·PCA 대조는 p≈2를 보이며 Gemma, Qwen, Llama 등 여러 모델에서 재현된다.

arXiv:2606.24945v1cs.LG

When Do Conservation Laws Survive Learned Representations? Certified Horizons for Latent World Models

잠재 세계 모델(latent world model)에서 표현학습 후에도 물리 보존 법칙(conservation law)이 사전에 인증될 수 있는지를 묻고, latent state를 디코딩해 알려진 물리 불변량을 평가하는 decoded physical invariant를 인증 대상으로 고정한 shell-horizon 인증서를 제안한다. 보존 인증은 학습 표현에서도 유지될 수 있으나 hard symplectic 구조는 알려진 위상 좌표에서는 긴 horizon을 주지만 학습 chart로는 옮겨지지 않고, controlled-Lipschitz로 정렬된 soft invariant가 학습 표현 설정에서 더 견고하며 pixel 관측에서는 readout-stable sub-tube에서 인증이 회복되고 Kepler 문제는 기하학적 경계를 드러낸다.

arXiv:2606.24898v1cs.LG

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

루프형 언어 모델에서 루프마다 교차 엔트로피를 적용해도 readout이 노출하는 상태 변수만 지도되며, RMSNorm·LayerNorm 같은 스케일 불변 readout은 hidden-state scale을 즉시 손실에서 숨겨 pre-norm 잔차 반복 경로에서 norm이 수천~수만까지 drift하는 readout blind spot을 일으킨다. 스케일을 손실에 보이게 하거나 반복 경로에서 제거하는 보완과 함께 dense supervision을 쓰면 초기 종료(exit) 사용성을 유지한 채 매칭된 추론 깊이에서 perplexity가 낮아진다.

arXiv:2606.25987v1cs.CL

Weave of Formal Thought

코드 LLM은 구문적 유효성을 형식적으로 보장하지 못하고 계층적 언어 구조를 충분히 활용하지 못하는 한계를 Weave of Formal Thought(WoFT)가 GLR 파싱과 speculative lexing 기반 Tree-sitter 완전 제약 디코더, 그리고 reweighted wake-sleep(RWS)로 비단말 문법 기호를 생성에 삽입하는 잠재변수 파인튜닝을 결합해 해결한다. Python에서 StarCoder2-3B를 파인튜닝한 결과 텍스트 전용 SFT 대비 토큰당 교차 엔트로피가 상대 14.3% 감소해, 선택적 잠재 구문이 평탄한 자기회귀 학습에서 버려지는 구조 정보를 회복함을 보였다.

arXiv:2605.13076v3cs.CL

TruncProof: A Guardrail for LLM-based JSON Generation under Token-Length Constraints

토큰 길이 제한 하에서 기존 문법 제약 생성(GCG) 방식은 JSON 출력이 중간에 잘리거나 문법적으로 깨질 수 있는데, TruncProof는 LL(1) 파서로 각 디코딩 단계마다 문법적으로 유효한 완성에 필요한 최소 토큰 수를 추정해 사전 정의된 토큰 한도 내에서 유효한 JSON을 생성한다. Text-to-JSON 지시 과제 실험에서 엄격한 토큰 예산에서도 구문적으로 올바른 출력을 만들었고, Beam Search·MCTS 등 고급 디코딩 전략과 결합하면 의미적 정확도도 높일 수 있음을 보였다.

arXiv:2606.08998v2cs.AI

The Token Not Taken: Sampling, State, and the Stochasticity of AI Agents

Agentic AI systems can behave differently across runs: the same request may produce a different plan, a different tool call, a different code edit, or a different final answer. Such variability arises from several layers that are often conflated. At the core of many current agents is a foundation model, a large pretrained model adaptable to many downstream tasks, embedded in an orchestration loop that plans, calls tools, observes results, and updates state. One explicit intrinsic source of variability in such systems is token generation: the model computes scores over possible next tokens, the scores are converted into probabilities, and a decoder may sample tokens using a pseudo-random number generator. A small sampled token difference can then propagate upward into a different tool call, code path, search query, or agent state. Other sources of variability are extrinsic to token sampling, including changing environments, live data, serving infrastructure, batch effects, and numerical details. By separating these layers, this tutorial clarifies what it means to call agentic AI systems stochastic, when such variability can be reproduced under matched conditions, and why deterministic execution need not imply identical behavior in deployed settings.