PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13437v1cs.AI

HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단

Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC

표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.

arXiv:2605.28940v2hep-ph

제트 생성을 위한 신경망 스케일링 법칙

Neural Scaling Laws for Jet Generation

최근 관측된 경험적 스케일링 법칙(empirical scaling laws)은 세 가지 독립적인 핵심 수치인 데이터셋 크기, 연산량(compute), 모델 파라미터가 변화함에 따라 파운데이션 유형 모델의 성능을 설명합니다. 이러한 스케일링 법칙을 도출하면 전통적인 방식의 하이퍼파라미터 튜닝이 불가능한 대규모 복합 모델의 학습을 가이드할 수 있습니다. 본 연구는 파운데이션 모델의 사전학습 목표이자 그 자체로 현장(in-situ) 시뮬레이션으로서 유의미한 입자 제트(particle jet) 생성 태스크에서도 스케일링 법칙이 관측될 수 있는지 최초로 탐색합니다. 연구진은 모델 크기 스케일링에 대한 핵심적인 로그 스케일링 법칙 동작을 실제로 재현했습니다. 또한 생성 모델의 다음 토큰 예측(next token prediction) 검증 손실을 조사하는 것을 넘어, 학습 중 모델에 즉각적으로 주어지지 않는 다섯 가지 물리량의 슬라이스드 바서슈타인 거리(sliced Wasserstein distance)도 함께 분석했습니다. 연구 결과, 이 거리는 다음 토큰 예측 검증 손실과 단조 관계(monotonic relationship)에 있는 것으로 나타났으며, 이는 해당 손실이 물리적 성능에 대한 훌륭한 대리 지표(proxy)임을 의미합니다. 데이터셋 크기 및 연산량에 따른 스케일링의 경우, 손실과 슬라이스드 바서슈타인 거리 모두에서 스케일링 양상이 실질적으로 더 약하게 나타남을 관측했습니다. 연구진은 '학습 가능한 윈도우(learnable window)' 개념을 도입하여 이러한 양상을 분석하고, 제트 구성 입자에 대한 자기회귀적 다음 토큰 예측이 언어 모델 연구에 비해 상대적으로 빠르게 포화됨을 논증합니다. 마지막으로 양자색역학(QCD) 방사의 확률적 특성과 충돌기 물리학에서의 생성 태스크 및 지도학습 태스크 간 차이점 등을 포함해 이러한 동작의 가능한 원인들을 논의합니다.