PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.08116v3cs.CE

에너지 기반 모델을 위한 대조 학습, 중요도 샘플링, 브리지 샘플링의 통합적 관점

A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models

In the last decades, energy-based models (EBMs) have become an important class of probabilistic models in which a component of the likelihood is intractable and therefore cannot be evaluated explicitly. Consequently, parameter estimation in EBMs is challenging for conventional inference methods. This work is a review paper that brings together these different methodological contributions within a unified framework, highlighting the connections among noise contrastive estimation (NCE), reverse logistic regression (RLR), Bennett's acceptance-ratio (BAR) method, multiple importance sampling (MIS), and bridge sampling within the context of EBMs. Some of them are equivalent under specific conditions. This unified perspective clarifies relationships among existing methods and enables the development of new estimators, with the potential to improve statistical and computational efficiency. Furthermore, this study helps elucidate the success of NCE in terms of its flexibility and robustness, while also identifying scenarios in which its performance can be further improved. Our aim is to provide a self-contained and accessible treatment, with clear and straightforward derivations, that brings together these contributions within a common framework and makes the main results and their underlying ideas understandable to a broader readership. The contribution is twofold. First, this work serves as a comprehensive tutorial for researchers entering the field, introducing the fundamental concepts and derivations. Second, it offers a thorough review for experienced practitioners. The code used in the numerical experiments is available to support the reproducibility of the results.

arXiv:2610.01278v1cs.AI

SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획

SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents

알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.

arXiv:2604.07180v3cs.CV

종단 다중 매개변수 MRI 분석을 위한 에너지 기반 조직 매니폴드

Energy-based Tissue Manifolds for Longitudinal Multiparametric MRI Analysis

우리는 시퀀스 공간에서 환자 특이적 에너지 모델링에 기반한 종단 다중 매개변수 MRI 분석을 위한 기하학적 프레임워크를 제안한다. 공간 네트워크로 영상을 직접 처리하는 대신, 각 복셀(voxel)은 다중 시퀀스 강도 벡터($T1$, $T1c$, $T2$, FLAIR, ADC)로 표현되며, 단일 기준선 스캔으로부터 $\mathbb{R}^d$ 위의 에너지 함수 $E_θ(\mathbf{u})$를 학습하기 위해 denoising score matching을 통해 컴팩트한 암시적 신경 표현(implicit neural representation)이 학습된다. 학습된 에너지 경관(landscape)은 분할(segmentation) 레이블 없이 조직 체제(regime)에 대한 미분기하학적(differential-geometric) 기술을 제공한다. 국소 최소값은 조직 분지(basin)를 정의하고, 그래디언트 크기는 체제 경계에 대한 근접성을 반영하며, 라플라시안(Laplacian) 곡률은 국소 제약 구조를 특성화한다. 중요하게도, 이 기준선 에너지 매니폴드는 고정된 기하학적 기준으로 취급된다: 진단 시 관찰된 대조(contrast) 조합의 집합을 인코딩하며 추적 관찰(follow-up) 시 재학습되지 않는다. 따라서 종단 평가는 이 기준선 기하학에 상대적인 후속 스캔의 평가로 공식화된다. 해부학적 분할을 비교하는 대신, 기준선 에너지 함수 하에서 MRI 시퀀스 벡터의 분포가 어떻게 진화하는지를 분석한다. 후기 재발이 있는 소아 사례에서, 추적 스캔은 명확한 방사선학적 재출현 전에 에너지의 점진적 편차와 시퀀스 공간에서 기준선 종양 관련 체제를 향한 방향적 변위를 보여준다. 질병이 안정적인 사례에서는, 복셀 분포가 체계적 표류(drift) 없이 확립된 저에너지 분지에 머무른다. 제시된 사례들은 환자 특이적 에너지 매니폴드가 명시적 분할이나 지도 분류(supervised classification) 없이 종단 mpMRI 분석을 위한 기하학적 기준 시스템으로 기능할 수 있음을 개념 증명(proof-of-concept)으로 보여주며, 신경종양학(neuro-oncology)에서 매니폴드 기반 위험 조직(tissue-at-risk) 추적에 대한 추가 연구를 위한 토대를 제공한다.

arXiv:2607.20792v1cs.LG

Memoir: 모델은 숙고하는 동안 자신의 메모리에 써야 하는가?

Memoir: Should a Model Write to Its Memory While It Thinks?

Memoir는 샘플별 빠른 메모리(fast memory), 공유 느린 파라미터(slow parameters), 가변 깊이 잠재 재귀(variable-depth latent recurrence), 그리고 미래 잠재 에너지 목적함수(future-latent energy objective)를 결합한다. 우리는 그 가장 위험한 결합을 검증한다: 각 숙고(pondering) 반복(iteration)이 같은 반복에서 읽는 빠른 계층(fast tier)을 다시 쓸 수 있다. 키 간섭(key interference)이 있는 절차적 연상 재현(procedural associative recall)에서, 결합군을 그 외에는 동일한 읽기 전용(read-only) 숙고군과 비교한다. 두 군 모두 81,738개의 파라미터(그중 76,362개는 학습 가능)를 포함하며, 일치하는 선언된 순방향 곱-누산(forward multiply-accumulate) 횟수, 데이터, 옵티마이저, 스케줄, 시드를 사용한다. 12개 시드에 걸쳐 240 학습(training) 단계 후, 결합군의 재현율(recall)은 0.5203(95% 구간 [0.4522, 0.5883])이고, 읽기 전용군의 재현율은 0.6557([0.5953, 0.7160])이다. 군은 시드별로 짝을 이루며, 읽기 전용군의 0.1354 우위는 차이에 대해 95% 구간 [0.0431, 0.2277]인 11 자유도에서 대응 t 검정 3.23을 주며, 12개 시드 중 10개에서 승리한다. 8개 시드에 걸쳐 960 단계 후, 두 군 모두 1.0000에 도달하므로, 측정된 효과는 고정 예산에서의 학습 속도 페널티이지, 입증된 능력 페널티가 아니다. 그 더 긴 대조는 천장(ceiling) 효과로 제한되어, 비포화(non-saturating) 과제에서의 수렴(convergence)은 측정되지 않았다. 메모리 재작성이 에너지 신호를 손상시키는 예측된 실패는 발생하지 않았다: 에너지 마진(margin)은 증가하고 유지되었다. 커널(kernel) 재구조화는 또한 명시된 장치에서 delta-rule 순방향 시간을 0.907 ms에서 0.351 ms로 줄였다. 코드와 증거는 https://github.com/RightNow-AI/Memoir 에서 확인할 수 있다.

arXiv:2607.08136v1cs.AI

활력을 불어넣은 답집합 프로그래밍! ASP와 에너지 기반 모델을 활용한 엔드-투-엔드 신경기호 추론 및 학습

Answer Set Programming Energised! End-to-End Neurosymbolic Reasoning and Learning with ASP and Energy Based Models

답집합 프로그래밍(ASP)과 에너지 기반 모델(EBM)을 모듈식으로 통합하는 신경기호(neurosymbolic) 추론·학습 프레임워크 ASPEn을 제안하며, ASP의 비단조 추론과 제약 조건이 연속 잠재 공간의 에너지 최적화를 직접 구조화하는 엔드-투-엔드 학습을 지원한다. MNIST 기반 덧셈, 시각적 질문-답변 벤치마크 CLEVR, 다중 객체 추적 벤치마크 MOT에서 평가하여 소음·부분 관측 등 실세계 동적 도메인에서의 강건성을 입증한다.

arXiv:2606.30064v1cs.LG

계층적 구조 위의 깁스 측도를 통한 데이터 기반 에너지 기반 학습

Data-Driven Energy-Based Learning via Gibbs Measures on Hierarchical Structures

경험적 손실 함수를 케일리 트리(Cayley tree) 위의 깁스 측도(Gibbs measures) 상호작용 퍼텐셜로 해석하는 데이터 기반 에너지 기반 학습 프레임워크를 제안하며, 단일 최적 파라미터 대신 가능한 추론 상태들의 전체 확률 분포를 모델링한다. 이 계층적 학습 시스템이 상전이(phase-transition) 현상을 나타낼 수 있음을 이론적으로 증명하고, 임계 역온도를 초과할 때 여러 평형 예측 체제가 공존하는 현상을 수치 실험으로 입증한다.

arXiv:2606.26476v1cs.LG

검색 워밍 에너지 기반 추론: 구조화된 추론 과제에서 Diffusion-as-Inference를 위한 5-arm Ablation 방법론

Retrieval-Warmed Energy-Based Reasoning: A Five-Arm Ablation Methodology for Diffusion-as-Inference on Structured Reasoning Tasks

Modern Hopfield trajectory memory로 증강한 검색 워밍 에너지 기반 추론(RW-EBR)에 5-arm ablation 방법론을 적용해 클래스 사전 바이어스 이동, 확률적 워밍스타트, 그래프 정렬 value 재사용을 분리한다. connectivity-2에서는 per-graph 정렬이 균형 정확도 +35pp 격차를 주는 지배 요인이나 배포 가능한 cold 파이프라인은 저장 value 품질에서 acceptance gate를 통과하지 못하고, Sudoku에서는 key 품질이 첫 차단 구성 요소로 드러난다.

arXiv:2606.25174v1cs.LG

An iterative energy-based multimodal transformer for joint retrieval of wheat soil moisture, leaf area index, and plant height from Sentinel-1 and Sentinel-2 time series

Field-scale retrieval of surface soil moisture (SM), leaf area index (LAI), and plant height (PH) is essential for precision agriculture, yet it remains an ill-posed inverse problem. Concurrent variations in soil moisture and canopy density generate substantial ambiguities in radar backscatter and spectral responses, which reduces the effectiveness of traditional feedforward regression models in heterogeneous smallholder cropping systems. This study presents the Iterative Energy-Based Transformer (iEBT) for the joint retrieval of coupled soil-canopy states from Sentinel-1 C-band SAR and Sentinel-2 multispectral time series. Instead of direct regression, iEBT embeds multi-modal predictors within a shared sequence, produces an initial state estimate, and iteratively updates the target [SM, LAI, PH] vector through normalized gradient descent to minimize a learned scalar compatibility energy function. Using 700 quality-controlled field measurements from Varanasi, India, iEBT achieved the highest learned-model performance on the random test split, with a four-seed mean R^2 of 0.854 \pm 0.012 (R_SM^2 = 0.841, R_LAI^2 = 0.905, R_PH^2 = 0.821). WCM and PROSAIL were retained as physically interpretable SAR and optical reference models for comparison. Modality ablations confirmed that Sentinel-1 drives SM retrieval, while Sentinel-2 dominates LAI, whereas PH relies on combined structural-phenological signatures. Crucially, the model's terminal energy functions as an uncalibrated post-retrieval quality diagnostic; screening the 10% highest-energy samples markedly reduced target level root-mean-square errors. While leave-one-campaign-out validation highlights persistent cross-season domain shift challenges due to localized management variations, compatibility-guided multimodal fusion offers a structured self-diagnostic path toward reliable biophysical parameter estimation

arXiv:2606.20274v1cs.AI

Lagrange: 일반화된 엔드-투-엔드 주행을 위한 개방형 어휘, 에너지 기반 희소 프레임워크

Lagrange: An Open-Vocabulary, Energy-Based Sparse Framework for Generalized End-to-End Driving

복잡한 오픈 월드 환경으로 엔드-투-엔드 자율 주행을 확장하려면 변칙적인 시나리오에 일반화되는 인지 모델과 운동학적으로 유효한 궤적을 생성하는 플래너가 필요합니다. 기존 패러다임은 표현 효율성과 일반화 능력 사이의 명확한 이분법에 직면해 있습니다. 밀집(dense) 모델(예: 오큐팬시 네트워크)은 기하학적으로 견고하지만 치명적인 계산 병목을 초래하고 고수준 시맨틱 추론에 어려움을 겪습니다. 반대로, 희소(sparse)하고 쿼리 기반인 플래너는 효율적이지만 닫힌 집합(closed-set) 정의에 의존하여 분포 외(OOD) 이벤트에 취약합니다. 최근의 비전-언어-액션(VLA) 모델이 개방형 어휘 추론을 제공하지만, 자기회귀적이고 이산적인 토큰 생성 방식은 차량 동역학의 연속적이고 고주파수인 제어 요구사항과 근본적으로 충돌합니다. 이를 해결하기 위해 우리는 마스크된 잠재 필드(MLF)를 기반으로 하는 개방형 어휘, 계산적으로 희소한 주행 프레임워크인 Lagrange를 제안합니다. Lagrange는 밀집한 볼류메트릭 재구성이나 닫힌 집합 쿼리 메커니즘에 의존하는 대신, 비전-언어 모델(VLM)을 활용하여 클래스 불특정(class-agnostic) 객체 제안을 연속적인 시맨틱 시각 토큰으로 인코딩합니다. 우리는 시간적으로 무관한 개체를 필터링하여 어텐션된 토큰을 공간 좌표에 대해 정의된 암묵적인 연속 에너지 필드로 디코딩하는 의도 기반 마스크드 크로스 어텐션(masked cross-attention) 모듈을 도입합니다. 의사 결정을 이 에너지 필드에 걸친 라그랑주 행동 최소화 문제로 구성함으로써, 충돌 회피를 수행하는 동시에 차량 운동학을 엄격하게 준수하도록 강제합니다. 표준(nuScenes) 및 롱테일(CODA) 벤치마크 모두에서 수행된 광범위한 오프라인 평가를 통해 Lagrange가 견고하고, 해석 가능하며, 운동학적으로 실현 가능한 오픈 월드 자율 주행을 위한 유망한 프레임워크를 확립함을 입증했습니다.

arXiv:2601.22003v2stat.ML

순차적 몬테카를로를 통한 효율적인 확률적 최적화

Efficient Stochastic Optimisation via Sequential Monte Carlo

계산하기 어려운 기울기(intractable gradients)를 가진 함수의 최적화를 위해 비용이 많이 드는 내부 샘플링 대신 효율적인 순차적 몬테카를로(Sequential Monte Carlo, SMC) 근사를 제안합니다. 해당 방법론의 수렴성을 입증하고 에너지 기반 모델(energy-based models)의 보상 튜닝(reward-tuning)에서 효과를 확인했습니다.