arXiv:2606.20437v1 hep-ex

HEPTv2: 대전 입자 재구성을 위한 엔드-투-엔드 효율적 포인트 트랜스포머

HEPTv2: End-to-End Efficient Point Transformer for Charged Particle Reconstruction

Siqi Miao, Shitij Govil, Jack P. Rodgers, Mia Liu, Javier Duarte, Shih-Chieh Hsu, Yuan-Tang Chou, Pan Li

제출 2026-06-18

한국어 초록

대전 입자 추적(tracking) -- 희소한 검출기 측정값으로부터 궤적을 재구성하는 것 -- 은 기본적인 고에너지 물리학 추론(inference) 문제이자 극단적인 조합적 모호성(combinatorial ambiguity) 하에서의 학습을 위한 전형적인 예시입니다. 고휘도 대형 하드론 충돌기(HL-LHC)에서는 전례 없는 충돌 밀도에도 불구하고 추적(tracking)이 정확하고 효율적으로 유지되어야 합니다. 그래프 신경망(GNN)은 강력한 성능을 보이지만 그래프 구성 및 처리에 따른 상당한 비용이 발생하며, 트랜스포머(transformer) 기반 접근 방식은 엔드-투-엔드 최적화를 방해하는 보조 단계에 의존합니다. 이를 해결하기 위해, 우리는 검출기 히트(hits)로부터 트랙을 하나의 학습 가능한 파이프라인에서 재구성하는 엔드-투-엔드 포인트 트랜스포머(transformer) 아키텍처인 HEPTv2를 제시합니다. HEPTv2는 그래프 빌딩, 클러스터링, 또는 필터링 없이 완전한 궤적을 예측하는 트랙 디코더와 지역성 인식 포인트 인코더를 결합합니다. 인코더는 효율적인 로컬 어텐션(attention)을 가능하게 하면서 추적(tracking) 관련 기하학을 보존하기 위해 검출기 좌표 공간에서 지역성 민감 해싱(LSH)을 사용합니다. 디코더는 결합된 인코더-디코더 감독 하에서 섹터화된 디코딩과 직접적인 히트-투-트랙(hit-to-track) 예측을 통해 모호성을 해결하여, 전체 파이프라인이 엔드-투-엔드로 최적화될 수 있도록 합니다. TrackML 데이터셋에서 HEPTv2는 0.8%의 가짜 비율(fake rate)에서 98.6%의 이중 과반수 추적 효율을 달성했으며, NVIDIA A100 GPU에서 이벤트당 약 15ms의 추론(inference) 시간과 0.4GB의 피크 메모리만을 필요로 합니다. 최대 $5\times10^5$ 개의 히트(hits)를 포함하는 이벤트의 경우 지연 시간과 메모리 사용량은 거의 선형적으로 증가합니다. HEPTv2는 정확도-지연 시간 트레이드오프(trade-off)에서 새로운 최첨단(SOTA)을 확립했으며, 가장 강력한 기존 트랜스포머(transformer) 대비 효율성을 4.5%, 최적화된 그래프 기반 파이프라인 대비 1.1--2.2% 향상시키는 동시에 지연 시간을 각각 7배, 38--52배 단축했습니다. 이러한 결과는 엔드-투-엔드 트랜스포머(transformer)가 HL-LHC에서 실시간 입자 재구성에 필요한 정확도와 효율성을 제공할 수 있음을 보여줍니다.

원문 초록

Charged-particle tracking -- reconstructing trajectories from sparse detector measurements -- is a fundamental high-energy-physics inference problem and a canonical example of learning under extreme combinatorial ambiguity. At the High-Luminosity Large Hadron Collider (HL-LHC), tracking must remain accurate and efficient despite unprecedented collision densities. Graph neural networks perform strongly, but incur substantial costs from graph construction and processing, while transformer-based approaches rely on auxiliary stages that prevent end-to-end optimization. To address this, we present HEPTv2, an end-to-end point-transformer architecture that reconstructs tracks from detector hits in one trainable pipeline. HEPTv2 combines a locality-aware point encoder with a track decoder that predicts complete trajectories without graph-building, clustering, or filtering. The encoder uses locality-sensitive hashing in detector coordinate space to preserve tracking-relevant geometry while enabling efficient local attention. The decoder resolves ambiguities through sectorized decoding and direct hit-to-track prediction under joint encoder-decoder supervision, allowing the full pipeline to be optimized end-to-end. On TrackML, HEPTv2 achieves 98.6% double-majority tracking efficiency at a 0.8% fake rate, while requiring only $\sim$15~ms inference time and 0.4~GB peak memory per event on a NVIDIA A100 GPU. Latency and memory scale approximately linearly for events with up to $5\times10^5$ hits. HEPTv2 establishes a new state of the art in the accuracy-latency trade-off, improving efficiency by 4.5% over the strongest prior transformer and by 1.1--2.2% over optimized graph-based pipelines, while reducing latency by factors of 7 and 38--52, respectively. These results show end-to-end transformers can deliver the accuracy and efficiency required for real-time particle reconstruction at the HL-LHC.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20437v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10867v1cs.LG공통 태그 Computational Efficiency, Combinatorial Optimization

분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성

Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance

복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.

arXiv:2610.03296v1cs.AI공통 태그 Computational Efficiency, Combinatorial Optimization

JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증

JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.

arXiv:2609.25149v2cs.LG공통 태그 Computational Efficiency, Combinatorial Optimization

최대 독립 집합을 위한 Dual-GNN 다중 수준 조 정

Dual-GNN Multilevel Coarsening for Maximum Independent Set

최대 독립 집합(maximum independent set, MIS) 문제는 스케줄링, 자원 할당, 네트워크 분석 등에 응용되는 기본적인 NP-hard 조합 최적화(combinatorial optimization) 문제이다. 정확 솔버(exact solver)는 고품질 해 또는 최적성 증명(optimality certificate)을 제공할 수 있으나, 계산 비용은 그래프 크기에 따라 급격히 증가한다. 반면 수작업 휴리스틱(hand-crafted heuristic)은 보장을 희생하는 대신 확장성(scalability)을 개선한다. 학습 기반 방법은 그래프 인스턴스 간 구조적 패턴을 활용하는 대안을 제공하지만, 독립 집합을 직접 예측하면 대규모 그래프에서 전역 조율(global coordination)이 어려워질 수 있다. 우리는 대신 학습을 이용해 다중 수준 그래프 조 정(multilevel graph coarsening)을 안내하고, 최종 의사 결정에는 조합 탐색(combinatorial search)을 유지한다. Dual-GNN 다중 수준 조 정 프레임워크는 Partition GNN으로 후보 수축(contraction)을 점수화하고, Representative GNN으로 각 최종 클러스터에 대해 상위 k개의 지역 독립 집합 상태를 선택한다. 최대 2,000개 정점(vertex)을 갖는 Erdős–Rényi 그래프 실험에서 유리한 품질–실행 시간 트레이드오프(quality–runtime trade-off)를 보여준다. 인증된 최적해가 있는 500정점 인스턴스에서, 본 방법은 평균 독립 집합 크기 19.20을 달성하며 이는 최적값 19.30의 99.5%에 해당한다. 정확 해법의 평균 벽시계 시간(wall-clock time) 643.57초를 3.41초로 줄여 약 189배 속도 향상(speedup)을 얻는다. 1,000 및 2,000 정점의 더 큰 그래프에서는 평가된 모든 방법 중 최고의 평균 해 품질을 달성한다. 또한 가장자리 확률(edge probability) $p=0.35$인 Erdős–Rényi 그래프에서만 학습했음에도, 학습된 조 정 정책은 보지 못한 그래프 밀도와 구조적으로 다른 그래프 계열 모두에 효과적으로 일반화(generalize)된다.

arXiv:2609.27917v1cs.LG공통 태그 Computational Efficiency, Combinatorial Optimization

확산과 규모: 테스트-시간 예산 할당의 효용성을 결정하는 요인은 무엇인가

Spread and Scale: What Determines Whether Test-Time Budget Allocation Pays

신경 조합 최적화(Neural combinatorial optimization) 솔버는 난이도와 무관하게 모든 문제 인스턴스에 동일한 샘플 예산을 사용하여, 인스턴스당 여러 후보 해를 생성하고 그중 발견된 최선의 해를 보고합니다. 한 후속 연구에서는 고정된 예산을 더 어려운 인스턴스에 재할당함으로써 해의 품질을 향상할 수 있음을 보여주었으나, 이러한 개선을 측정하는 표준 방식에 편향이 존재함을 지적했습니다. 즉, 동일한 데이터에서 할당을 결정하고 평가하면 실제로는 이득이 없음에도 겉보기에 이득이 있는 것처럼 만들어낼 수 있다는 것입니다. 이로 인해 워크로드의 어떠한 특성이 재할당을 수행할 가치가 있는지를 결정하는지, 그리고 나머지 예산의 할당 방식을 결정하기 위해 예산의 일부를 소비하는 정책이 해당 비용을 감안한 후에도 여전히 유효한지(pays)에 대한 의문이 미해결 상태로 남았습니다. 본 논문은 외판원 문제(traveling salesman problem)에 대해 독립적으로 학습(training)된 세 가지 솔버와 더 어려운 워크로드를 구성하는 두 가지 방식을 대상으로, 데이터 수집 전에 분석 및 판정 기준을 확정한 사전 등록 확인 실험(pre-registered confirmatory experiments)을 통해 두 질문에 모두 답합니다. 우리가 연구한 워크로드 내에서 결정적인 특성은 워크로드의 평균 난이도가 아니라 워크로드 내 인스턴스들의 난이도가 얼마나 다양한지 여부입니다. 균일하게 쉽거나 균일하게 어려운 워크로드는 재할당의 여지가 거의 없는 반면, 난이도가 혼합된 워크로드는 상당한 여지를 제공합니다. 인스턴스 난이도에 대한 정보를 얻기 위해 자체 비용을 지불하는 예산 인식 정책은, 해당 정보가 무료라고 가정했을 때 얻을 수 있는 개선의 전부는 아니지만 대부분을 회수합니다. 모든 실험은 작성된 명세에 따라 독립적으로 재계산되었으며, 논문 자체의 주장을 약화시킨 두 가지 수정을 포함하여 이전 버전에 대한 모든 수정 사항은 결론이 바뀐 방향과 함께 보고됩니다. 본 논문은 구체적인 실증적 해답과 함께, 해당 해답이 측정 방식에 의해 발생한 인위적 결과(artifact)가 아님을 검증하기 위한 템플릿을 제공합니다.

arXiv:2609.28085v1cs.LG공통 태그 Computational Efficiency, Combinatorial Optimization

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

arXiv:2609.28263v1cs.LG공통 태그 Computational Efficiency, Combinatorial Optimization

재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법

Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving

대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.