PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.40090v2cs.AI

PTNO: 입자 수송 문제를 위해 노이즈가 있는 몬테카를로 추정치로 신경 연산자를 학습하기

PTNO: Training Neural Operators with Noisy Monte Carlo Estimates for Particle Transport Problems

다중 산란 하에서의 입자 수송은 복사 전달 및 플라즈마 물리학의 핵심이지만, 고정밀 몬테카를로(MC) 시뮬레이션은 감당하기 힘들 정도로 많은 입자를 추적해야 합니다. 학습 기반 대리 모델(surrogate)은 이러한 비용을 분할 상환(amortize)할 수 있지만, 일반적으로 비용이 많이 들고 잘 수렴된 MC 해를 바탕으로 학습(training)합니다. 본 논문에서는 노이즈가 있는 저비용 MC 라벨로부터 입자 수송 대리 모델을 직접 학습하는 신경 연산자(neural operator)인 입자 수송 신경 연산자(PTNO)를 제안합니다. 이러한 라벨은 두 가지 과제를 안겨줍니다: (1) 표준 지도학습을 불안정하게 만드는 높은 분산, (2) 여러 자릿수에 걸쳐 펼쳐진 높은 동적 범위(HDR). 첫 번째 과제에 대해, 우리는 수많은 설정의 노이즈 라벨로부터 해 연산자(solution operator)를 학습하여 MC 비용을 분할 상환하고 보지 못한 설정으로 일반화합니다. MC 라벨은 비편향(unbiased)되어 있으므로, 노이즈 라벨에 대한 제곱 손실(loss)이 수렴된 해에 대한 손실과 동일한 최소화 지점을 공유함을 보이며, 학습 씬 $M$, 렌더링당 MC 샘플 수 $N$, 씬당 독립 렌더링 수 $K$에 대한 예산 할당 연구를 통해 노이즈가 있는 많은 씬이 적은 수의 수렴된 씬보다 우수함을 보여줍니다. 두 번째 과제에 대해, 로그와 같은 비선형 변환은 노이즈가 있는 지도학습에 편향을 유발합니다. 대신 PTNO는 라벨을 물리적 공간에 유지하고, 작은 값을 효과적으로 표현하는 소프트플러스(softplus) 출력 층(layer)을 통해 양수성을 강제합니다. 나아가 우리는 HDR 디노이징 및 신경 렌더링의 그래디언트 차단(stop-gradient) 상대 손실인 점별 상대 $L_2$ 손실(PRelL2)로 학습하며, 이는 각 잔차를 노이즈 라벨 대신 그래디언트가 차단된 예측값으로 정규화합니다. 우리는 핵융합로 내 중성자 수송 및 참여 매질 내 복사 전달에 대해 PTNO를 입증합니다. 두 가지 중성자학 태스크에서 PTNO는 동일 CPU 상에서 수렴된 MC보다 $10^4$-$10^5\times$ 더 빠르며 동일 정확도 기준 MC보다 $10^3$-$10^5\times$ 저렴합니다. 두 가지 복사 전달 태스크에서 동일 정확도 기준 MC는 PTNO보다 $0.8$-$11\times$ 더 많은 비용이 듭니다.

arXiv:2606.22826v2cs.AI

MINCE: 소수 모델 몬테카를로 캘리브레이션을 통한 LLM 평가 데이터셋 축소

MINCE: Shrinking LLM Evaluation Datasets via Few-Model Monte Carlo Calibration

양자화(quantization), 파인튜닝(fine-tuning), 또는 배포 환경에 맞춘 모델 등 다양한 모델 변형 전반에서 대규모 언어 모델(LLM)을 평가(evaluation)하려면 대규모 벤치마크(benchmark)를 반복적으로 실행해야 하며, 이는 NPU와 같은 에지 하드웨어에서 모델당 수십 시간이 걸릴 수 있는 과정입니다. 기존의 서브셋 선택 방법들은 이러한 비용을 줄여주지만 대규모 캘리브레이션 풀이나 학습된 예측 층(layer)에 의존합니다. 본 논문에서는 소수의 캘리브레이션 모델에서 얻은 항목별 로그를 바탕으로 몬테카를로 시뮬레이션을 사용하여 정확도 드리프트(accuracy drift)를 제한하는 최소 서브셋 크기를 찾은 뒤, 별도의 예측 층 없이 해당 크기로 무작위 샘플링된 서브셋을 고정하는 MINCE(Monte Carlo Informed N-sizing for Compact Evaluation)를 소개합니다. MINCE는 BF16 캘리브레이션 모델에서 최대 드리프트 $\leq$2.62\,pp 수준을 유지하며 IFEVAL을 54\%, MMLU를 89\%, GSM8K를 70\%, MMLU-Pro를 88\% 축소합니다. 이렇게 고정된 서브셋은 평가에서 제외되었던(held-out) GPU 모델에 대해 평균 드리프트 $\leq$1.40\,pp, INT4 NPU 모델에 대해 평균 드리프트 0.77--3.59\,pp로 일반화되는 동시에, GPU 모델에서는 최대 8.1$\times$, NPU 모델에서는 1.7--3.4$\times$의 평가 속도 향상을 제공합니다. 이 방법은 캘리브레이션 풀 크기 변화에 강건(robust)하며, tinyBenchmarks 대비 42$\times$ 더 적은 캘리브레이션 모델을 사용하면서도 더 낮은 드리프트(MMLU에서 12$\times$ 더 낮음, GSM8K에서 3.3$\times$ 더 낮음)를 달성합니다.

arXiv:2609.25144v1stat.ME

렙토-분산의 정보적 내용과 고차 적률과의 관계

The Informational Content in Lepto-Variance and Its Relation to Higher Moments

렙토 회귀(Lepto-regression)는 목표 특징(feature)을 그 자신에 대해 회귀 트리(Regression Tree)로 구성하는 머신러닝 과정으로 정의된다. 이는 표본 구조의 중요한 속성에 관한 정보를 드러낼 가능성이 있는, 모델 비의존적(model-free)인 새로운 방법이다. 그러나 렙토-분산(lepto-variance)이 담고 있는 정보가 무엇인지, 그리고 이것이 표본의 다른 잘 알려진 통계량과 어떤 관계가 있는지는 아직 명확하지 않다. 한 가지 중요한 발견은 미국 주식 수익률의 역사적 변동성 중 58%가 어떠한 금융 요인으로도 설명할 수 없는 1비트 렙토-분산이라는 점이다. 본 논문에서 다루는 핵심 질문은, 정규분포 N(0, 1)에서 추출한 작은 표본을 이용하여 1비트 표본 렙토-분산과 렙토 비율(lepto-ratio)이 표본 분산, 왜도(skewness), 초과 첨도(excess kurtosis)와 어떤 관계를 갖는지 탐구하는 것이다. 대규모 표본 시뮬레이션을 통해, 정규분포의 렙토 비율은 36.3%로 수렴하는 것으로 나타났다. 정규분포 N(0, 1)에서 생성한 더 작은 시뮬레이션 표본의 경우, 렙토-분산 자체는 표본 분산과 높은 상관관계를 보이는 반면, 전체 분산에서 렙토-분산이 차지하는 비율은 초과 첨도와 높은 상관관계를 보인다. 렙토-분산과 렙토 비율은 모두 표본 왜도와 직교한다. 또 다른 발견은, 렙토 비율이 렙토-분산과 강한 상관관계를 가지면서도 표본 분산과는 직교한다는 점이다.

arXiv:2607.06495v1cs.CL

Pitwall: 보정된 실시간 몬테카를로 엔진을 활용한 충실한 자연어 레이스 전략 브리핑

Pitwall: Faithful Natural-Language Race-Strategy Briefings from a Calibrated Real-Time Monte Carlo Engine

Pitwall은 Formula 1 레이스 전략 브리핑을 3개 언어로 실시간 생성하는 시스템으로, 126개 레이스로 보정된 벡터화 몬테카를로 엔진의 확률적 레이스 상태에 대해 모든 문장의 사실적 주장을 검증하고 미세조정 데이터도 동일한 검증기로 필터링함으로써 충실성(faithfulness)을 아키텍처적 속성으로 구현했다. 2026년 오스트리아·영국 그랑프리 라이브 배포에서 종단간 동작이 확인됐으며, 희소 컨텍스트에서의 환각은 모델 스케일이 아닌 기본 모델의 인스트럭션 준수 능력에 기인함을 4개 기반 모델 복제 실험으로 규명했다.

arXiv:2607.05187v2cs.LG

SMART: 디지털 회로에서의 확률적 트랜지스터 노화 및 공정 변동의 신속 분석을 위한 머신러닝 및 몬테카를로 프레임워크

SMART: A Machine Learning and Monte Carlo Framework for Rapid Analysis of Stochastic Transistor Aging and Process Variation in Digital Circuits

CMOS 기술이 딥 나노미터 영역으로 스케일링됨에 따라, 바이어스 온도 불안정성(BTI, Bias Temperature Instability)과 공정 변동(PV, Process Variation)의 결합된 확률적 효과로 인해 디지털 회로의 신뢰성이 점점 더 위협받고 있다. 계산 집약적인 시뮬레이션이나 방대한 룩업 테이블에 의존하는 기존 신뢰성 분석 방법들은 대규모 설계에 효율적으로 확장되지 못해 설계 공간 탐험에 심각한 병목 현상을 초래한다. 이를 해결하기 위해, 우리는 신속하고 고충실도의 신뢰성 분석을 가능하게 하는 머신러닝(ML)과 몬테카를로 시뮬레이션을 통합한 새로운 프레임워크 SMART를 제안한다. SMART는 랜덤 포레스트(Random Forest) 회귀를 활용하여 시간이 많이 소요되는 원자 모델 매개변수 추출을 우회하고 게이트 지연 분포를 직접 예측한다. 특히 이 모델은 베이지안 최적화(Bayesian Optimization)를 통한 하이퍼파라미터 자동 튜닝을 활용하여 다양한 라이브러리에 걸쳐 최대의 예측 강건성을 보장한다. ISCAS85 벤치마크 회로에 대한 실험적 검증 결과, SMART는 최신 기법 대비 분석 시간을 94.54% 단축하면서도 평균 정확도 오류 1.63%라는 놀라운 성능을 유지함을 보인다. 계산 복잡도를 오프라인 학습 단계로 전환함으로써, 제안된 프레임워크는 탄력적이고 신뢰성을 고려한 디지털 시스템 설계를 위한 확장 가능하고 정확한 솔루션을 제공한다.

arXiv:2606.20191v1stat.ML

AK-MCS-C2 : 파괴 확률 추정을 위한 컨포멀 인증(conformal certification) 기반 능동형 크리깅 몬테카를로 시뮬레이션 방법

AK-MCS-C2 : Active Kriging Monte Carlo Simulation method with conformal certification for failure probability estimation

본 논문에서는 구조 신뢰성 분석(structural reliability analysis) 내 파괴 확률 추정을 위해 능동형 크리깅 몬테카를로 시뮬레이션(Active Kriging Monte Carlo simulation)과 컨포멀 예측(conformal prediction)을 결합한 새로운 능동형 학습(active-learning) 프레임워크를 소개합니다. 제안된 방법은 J+GP 컨포멀 추정기를 활용하여 소표본 설정(small-sample settings)과 크리깅 대리 모델(kriging surrogate models)에 맞춰 특별히 설계된 적응형 교차 컨포멀(adaptive cross-conformal) 전략을 채택합니다. 기존 표준 AK-MCS 방법들과 달리, 제안된 프레임워크는 예측 오류에 대해 분포 무관(distribution-free)한 보장을 제공하며, 이는 한계 상태 표면(limit-state surface) 근처 샘플의 더 신뢰할 수 있는 분류(classification)로 이어집니다. 이러한 개선된 불확실성 정량화(uncertainty quantification)는 파괴 확률 추정치의 정확도와 견고성(robustness)을 모두 향상시키며, 특히 효율성이 중요한 희귀 사건 영역(rare-event regimes)에서 유용합니다. 재현 가능한 수치 결과를 통해 해당 방법의 효과를 입증하며, 잘 알려진 벤치마크(benchmarks)에서 기존 접근법들과의 비교 분석을 수행합니다.