PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.10018v2cs.LG

순차적 의사결정에서 기전적 사전 분포의 가치

The Value of Mechanistic Priors in Sequential Decision Making

물리적 사전 분포(prior)와 학습된 잔차(residual)를 결합한 하이브리드 기전 모델(hybrid mechanistic model)은 우수한 결정을 내리는 데 필요한 데이터를 줄여줄 것으로 기대되지만, 이를 검증할 수 있는 계산 가능한 기준이 존재하지 않았습니다. 본 연구에서는 점근적(asymptotic) 영역과 번인(burn-in) 영역 모두에서 순차적 의사결정(sequential decision-making) 시 기전적 사전 분포가 갖는 가치를 규명합니다. 이를 정형화하기 위해 모델의 권장 정책 $\hatπ$와 실제 최적 정책 $π^*$ 사이의 상호정보량(mutual information)이자 중심화된 점유율 가중 바이어스를 통해 경계가 설정되는 '모델의 기전적 정보(mechanistic information)'를 도입합니다. 점근적 영역(큰 $N$)에서는 일치된 경계(matched bounds)를 통해 베이지안 후회(Bayesian regret)가 잔차 엔트로피 $H_{\mathrm{mech}}$에 비례하여 조정됨을 보이며, 정보가 없는(uninformed) 기준선 대비 $H(μ)/H_{\mathrm{mech}}$의 이론적 표본 복잡도 감소를 달성함을 밝힙니다. 나아가 계산 가능한 사전 시험(pre-trial) 모델 검증서(certificate)를 제공합니다. 이와 상호보완적으로, 임상적으로 유의미한 번인 영역(작은 $N$)에서는 확신을 가진 잘못된 사전 분포로 인해 발생하는 페널티의 하한(lower bound)을 확립합니다. 기 발표된 FOLFOX 약동학을 따르는 구조의 예시적인 컴퓨터 시뮬레이션(in-silico) 5-플루오로우라실(5-FU) 화학요법 플랜트에서 점근적 경계와 번인 경계를 모두 실증합니다. 하이브리드 사전 분포는 표준 체표면적(BSA) 기반 투여 대비 $1.79\times$, 정보가 없는 학습자 대비 $1.85\times$ 누적 후회를 감소시키며, 시험된 모든 보정 바이어스 하에서 두 방식 모두보다 낮은 후회를 유지합니다. 마지막으로, 분포 변화(distribution shift)에 민감한 사전 분포는 작은 분포 변화 하에서도 기전적 정보의 절반을 잃을 수 있음을 보여줌으로써, 안전성이 중요한(safety-critical) 응용 분야에서 물리적으로 기반한 사전 분포의 필요성을 제시합니다.

arXiv:2606.20936v1cs.CL

토큰 수준에서 트랜스포머와 하이브리드 모델 비교

Comparing Transformers and Hybrid Models at the Token Level

어텐션 레이어와 순환(recurrent) 레이어를 혼합하는 하이브리드 언어 모델은 유망한 결과를 보여 왔다. 이론적으로 순환 레이어는 상태 추적(state tracking)에서 순수 트랜스포머의 한계를 완화하고, 경험적으로 하이브리드는 손실과 하류 평가에서 순수 트랜스포머를 능가할 수 있다. 그러나 이러한 이득을 어떤 데이터 또는 능력이 주도하는지, 그리고 이것이 하이브리드 모델을 동기부여하는 이론적 장점을 어느 정도 반영하는지는 여전히 불분명하다. 우리는 Olmo 3와 Olmo Hybrid의 공개 가중치를 사용하여 이 질문을 다룬다. 동일한 접두(prefix) 아래에서 동일한 대상 토큰에 대해 일치하는 트랜스포머와 하이브리드의 손실을 비교하고, 자연 토큰 태그, 복사 특징, 구분자(delimiter) 구조, 통제된 합성 프로브에 따라 결과를 계층화한다. 하이브리드는 대부분의 태그 계열에서 더 낮은 손실을 보이지만, 이득은 균일하지 않다. 개방 클래스 내용어(open-class content words)에서 가장 크고, 많은 폐쇄 클래스 기능어(closed-class function words)에서는 더 작다. 산문, 코드, 마크업 전반에서 하이브리드의 손실 우위는 해당하는 닫는 구분자보다 여는 구분자에서 더 크며, 반복된 $n$-gram에서는 거의 사라진다. 합성 프로브에서도 동일한 분화가 나타난다. 하이브리드는 대명사 기억(pronoun-memory) 및 개체 추적(entity-tracking) 작업에서 유리하고, 반면 트랜스포머는 닫는 구분자를 선택해야 하는 괄호 매칭(bracket-matching) 작업에서 유리하다. 이러한 패턴은 하이브리드의 순환 레이어가 문서의 의미적 상태(semantic state)를 활용하는 예측을 개선하는 반면, 어텐션은 $n$-gram 복사 또는 구문적 괄호 매칭으로 예측 가능한 토큰에 도움이 된다는 것을 시사한다. 마지막으로, 토큰 수준 분해가 하이브리드 아키텍처에 대한 사전학습(pre-training) 진단을 어떻게 정교화할 수 있는지 보여 주는 개념 증명(proof-of-concept) 필터링 평가로 결론을 짓는다.