PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19264v2cs.LG

Large Language Gibbs를 이용한 구조적 추론

Structured Inference with Large Language Gibbs

대규모 언어 모델(LLM)에 인코딩된 지식은 복잡한 세계를 설명하는 변수들에 대한 구조적 추론을 위한 기반으로 활용될 수 있지만, 이 지식을 확률적으로 일관된 방식으로 접근하는 것은 어려운 추론 문제를 야기합니다. 본 논문에서는 LLM의 조건부 분포를 전이 연산자로 활용하는 구조적 확률적 추론 방식인 Large Language Gibbs를 제안합니다. 단일 패스 자기회귀 생성을 통해 구조적 객체를 샘플링하는 대신, LLM의 다음 토큰 조건부를 사용하여 다른 변수들이 주어진 상태에서 개별 변수를 반복적으로 재샘플링합니다. 이 접근 방식은 순서 종속 편향을 피하고 모든 국소적 조건부 간의 절충을 반영하는 정상 분포를 생성합니다. 우리는 이 접근 방식을 합성 분포 샘플링, 일관된 추론 작업, 베이지안 구조 학습에 적용했습니다. 결과는 노이즈가 있는 LLM 조건부를 통해 접근 가능한 세계 사전 분포 하에서 구조적 확률적 추론을 위해 MCMC(마르코프 연쇄 몬테카를로)에서 LLM 조건부를 사용하는 것이 단일 패스 생성에 대한 실용적인 대안이 될 수 있음을 시사합니다.

arXiv:2607.09886v1cs.LG

데이터 병렬 깁스 샘플링을 활용한 비모수 베이지안 역강화학습

Nonparametric Bayesian Inverse Reinforcement Learning with Data-Parallel Gibbs Sampling

역강화학습(Inverse Reinforcement Learning)은 전문가 시연으로부터 보상 함수를 복원하지만, 표준적인 정식화는 모든 시연이 단일 전문가로부터 나온다고 가정한다. 서로 다른 선호를 가진 다수의 전문가로부터 시연이 취합될 경우, 모수적(parametric) 방법은 어떤 개별 전문가에도 잘 맞지 않는 평균화된 보상을 복원한다. 우리는 보상 함수에 대한 디리클레 프로세스(Dirichlet Process) 사전 분포를 사용하는 비모수 베이지안 역강화학습을 구현하여, 잠재적 보상 유형의 수를 보상 자체와 함께 공동으로 추론할 수 있게 한다. 추론은 클러스터 할당을 위한 중국식 식당 프로세스(Chinese Restaurant Process) 업데이트와 보상 가중치를 위한 메트로폴리스-헤이스팅스(Metropolis-Hastings) 업데이트를 결합한 축약 깁스 샘플러(collapsed Gibbs sampler)를 사용하며, 내부 계획 루틴으로 소프트 가치 반복(soft value iteration)을 활용한다. 우리는 두 가지 및 세 가지 실제 보상 유형을 갖는 10×10 ObjectWorld 그리드에서 평가를 수행한다. 직렬 샘플러는 K=2에서 조정 랜드 지수(Adjusted Rand Index) 1.000으로 보상을 복원하며, 최대 엔트로피 역강화학습 기준선(ARI=0.000)을 크게 능가한다. K=3으로의 확장 실험에서는 샘플러가 모든 실험에서 클러스터 수를 정확히 식별하는 것을 보여주지만, 할당 ARI 0.48~0.58은 그리드 인스턴스 전반에 걸쳐 지속되는 전문가 유형 간의 행동적 중첩을 반영하며, ObjectWorld에서 신뢰할 수 있는 K=3 평가를 위해서는 무작위 시딩(random seeding)이 아닌 통제된 객체 배치가 필요함을 드러낸다. 또한 HPC 하드웨어에서 Ray를 활용하여 샘플러를 CPU 코어 전반에 병렬화하고, 8개의 워커에서 최대 4.79배의 속도 향상을 달성하며, 상태 집계 시 사용되는 합의 병합 휴리스틱(consensus merge heuristic)으로 인해 발생하는 처리량 대비 정확도 트레이드오프를 분석한다. 코드와 컨테이너화된 환경은 https://github.com/dasashreeya/np_bayes_irl 에서 이용 가능하다.

arXiv:2602.11059v2stat.ML

사전 확산 모델 기반 역문제를 위한 깁스 사후 샘플러

A Gibbs posterior sampler for inverse problem based on prior diffusion model

확산 모델(diffusion model)을 사전 분포로 활용하는 비적정(ill-posed) 선형 역문제에서 사후 샘플링을 수행하기 위해 깁스(Gibbs) 알고리즘 기반의 G-DSP 샘플러를 제안하며, 순방향·역방향 확산 pdf를 교대로 활용하는 간단한 구조로 수렴 보장과 함께 기존 DPS, SMC 기반 방법 대비 효과적인 성능을 수치 실험으로 확인한다.

arXiv:2606.17491v2stat.ML

암 복제수 분석에 적용한 베이지안 불리언 행렬 분해

A Bayesian Boolean Matrix Factorization with Application to Copy Number Analysis in Cancer

이진 데이터 분해는 널리 사용되지만, 실수값 기반 방법은 이산성을 무시하고 해석하기 어려운 인수를 생성한다. 불리언 행렬 분해(BooMF)는 이진 행렬을 논리적 AND와 OR 연산을 통해 두 개의 저랭크 이진 행렬로 분해함으로써, 데이터를 해석 가능한 패턴들의 불리언 논리합으로 표현한다. 암 유전체학에서 BooMF는 회전 또는 가산 분해와 달리 종양 진화를 유도할 수 있는 협조적 특징(feature) 변화를 식별할 수 있다. 기존 BooMF 방법들은 대부분 휴리스틱하고 탐욕적이며, 초기화(initialization)에 민감하고 지역 최적해에 빠지기 쉬우며, 원칙적인 모델(model) 선택이나 불확실성 정량화를 지원하지 않는다. 본 연구에서는 희소성(sparsity) 유도 사전분포를 갖는 완전 켤레 생성 모델(generative model)인 베이지안 불리언 행렬 분해(BBMF)를 제안한다. BBMF는 불리언 제약을 적용하고, 일관된 불확실성 정량화를 갖는 해석 가능한 잠재 인수를 생성하며, 폐쇄형 완전 조건부를 통한 깁스 샘플링을 허용한다. 암 진화는 종종 전장유전체 중복 이후 불안정성과 선택이 뒤따르는 등 광범위하고 거의 동시적인 염색체 수 변화를 수반하기 때문에, 불리언 분해는 가산 모델보다 이러한 패턴을 더 자연스럽게 포착한다. 염색체 팔 증폭의 존재/부재를 나타내는 항목으로 구성된 다발성 골수종의 팔 수준 복제수 변이 데이터에 적용한 결과, BBMF는 환자 하위집단과 반복적으로 공동 변이된 염색체 팔을 연결하는 소수의 해석 가능한 바이클리크를 발견하여 종양 이질성에 대한 간결하고 생물학적으로 의미 있는 요약을 제공하며, 복잡한 이진 데이터에서 이산 잠재 구조를 발견하는 BBMF의 유용성을 입증한다.

arXiv:2505.14343v2stat.CO공식 코드 · Papers with Code

고차원 프로빗 회귀를 위한 데이터 증강 깁스 샘플러의 혼합 시간

Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression

베이지안 프로빗 회귀를 위한 데이터 증강 깁스 샘플러의 혼합 시간(mixing times)에 대해 설계 행렬과 사전 정밀도에 의존하는 명시적인 비점근적 경계를 제공한다. 데이터와 파라미터가 모두 큰 고차원 상황에서 혼합 시간이 유지되는 조건을 규명하여 빠른 수렴을 위한 사전 분포 선택을 안내한다.