arXiv:2606.11673v1 quant-ph

양자 어텐션을 통한 고차 토큰 상호작용

Higher-Order Token Interactions via Quantum Attention

Jian Xu, Chao Li, Delu Zeng, John Paisley, Qibin Zhao

제출 2026-06-10

한국어 초록

표준 점곱 셀프 어텐션(dot-product self-attention)은 단일 층에서 토큰 간의 쌍별(order-2) 상호작용만 계산합니다. 일반적인 $k$차 상호작용을 표현하는 것은 단일 층에서 초차원(super-quadratic) 자원이 필요하거나 깊이에 걸친 합성이 필요한 것으로 알려져 있습니다. 우리는 데이터 재업로딩(data re-uploading)과 전체 대 전체(all-to-all) 비클리포드 얽힘 장치(entangler)를 통해 회로 내부에서 $k$차 토큰 상호작용을 합성하고 이를 국소 단일 큐비트 리드아웃(read-out)을 통해 노출하는, 얕고 하드웨어 구현이 가능한 양자 어텐션 헤드인 **양자 고차 어텐션(QHA)**를 소개합니다. 우리는 (i) 표현력 분리를 증명합니다: 임베딩 차원 $m$, $H$개의 헤드, $p$-비트 정밀도를 가지며 $mHp=o(N/\log\log N)$을 만족하는 단일 표준 셀프 어텐션 층은 회로 깊이 $O(\log k)$ ($O(k)$ 개의 2-큐비트 게이트)를 가진 하나의 QHA 헤드가 표현하는 $k$차 상관관계 패밀리를 표현할 수 없습니다. 그리고 (ii) 국소 설계(local-design) 구현에 대한 학습 가능성 보장을 증명합니다: 국소 리드아웃과 $O(\log n)$ 깊이에서 그래디언트 분산은 $Ω(1/\mathrm{poly}(n))$입니다 (바렌 고원 없음). 이를 경험적으로 확인했습니다. 동시에 우리가 벤치마킹한 더 표현력이 뛰어난 전체 대 전체(all-to-all) 구현은 경험적으로 학습되었으며 지수적으로 감소하는 그래디언트를 보임을 명시합니다. 경험적으로, $6.5\times$ 더 작은 매개변수 예산에서 QHA는 분리된 입력으로부터 모든 차수 $k\le6$에 대한 히든 서브셋 패리티(hidden-subset parity)를 일반화하는 반면, 더 큰 고전적 어텐션 헤드는 2차 이상에서 붕괴합니다. 이론과 일치하게, 이점의 크기는 목표의 푸리에 차수를 따르는데, 패리티에서 가장 크고 저차 구조가 존재할 때 줄어듭니다. 응용 프로그램으로서, QHA는 유전적 상피성(genetic epistasis), 노이즈가 있는 패리티 학습(learning-parity-with-noise), 그래프 삼각형 탐지라는 세 가지 도메인에 걸쳐 컴팩트한 고차 상호작용 감지기 역할을 하며, 분야 표준 선형 방법이 실패하는 가장 작은 매개변수 예산에서 노이즈 천장에 도달합니다.

원문 초록

Standard dot-product self-attention computes, in a single layer, only pairwise (order-2) interactions between tokens; representing a generic order-$k$ interaction is known to require either super-quadratic resources in one layer or composition across depth. We introduce \textbf{Quantum Higher-Order Attention (QHA)}, a shallow, hardware-realizable quantum attention head that, via data re-uploading and an all-to-all non-Clifford entangler, synthesizes order-$k$ token interactions inside the circuit and exposes them through a local single-qubit read-out. We prove (i) an expressivity separation: any single standard self-attention layer with embedding dimension $m$, $H$ heads and $p$-bit precision satisfying $mHp=o(N/\log\log N)$ cannot represent the order-$k$ correlation family that one QHA head represents with circuit depth $O(\log k)$ ($O(k)$ two-qubit gates); and (ii) a trainability guarantee for its local-design instantiation: with a local read-out and $O(\log n)$ depth the gradient variance is $Ω(1/\mathrm{poly}(n))$ (no barren plateau), which we confirm empirically -- while being explicit that the more expressive all-to-all instantiation we benchmark is trained empirically and shows exponentially decaying gradients. Empirically, at a $6.5\times$ smaller parameter budget, QHA generalizes hidden-subset parity of every order $k\le6$ from disjoint inputs, whereas the larger classical attention head collapses past order~2; consistent with theory, the size of the advantage tracks the target's Fourier degree - largest for parity and shrinking when low-order structure is present. As an application, QHA serves as a compact high-order interaction detector across three domains - genetic epistasis, learning-parity-with-noise, and graph triangle detection - reaching the noise ceiling at the smallest parameter budget where field-standard linear methods fail.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11673v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02641v1quant-ph공통 태그 Quantum Machine Learning, quantum attention

정규화가 부호를 선택할 때: 양자 어텐션에서의 견고성 소거 연구 검증

When Normalization Selects the Sign: Auditing Robustness Ablations in Quantum Attention

입력 스케일링 모듈을 제거하면 분류기(classifier)와 인코더에 도달하는 섭동(perturbation)이 모두 변경됩니다. 따라서 견고성(robustness)의 차이는 모듈 자체뿐만 아니라 비교 규칙을 반영할 수도 있습니다. 본 연구에서는 생성된 전력망 궤적 데이터에 대한 4큐비트 양자 어텐션 검출기에서 이러한 문제를 입증합니다. 학습된 스케일링 모듈은 고정된 물리적 공격 예산 하에서는 유익한 것처럼 보이지만, 인코더에서의 섭동 상한을 일치시키면 그 순위가 역전됩니다. 두 비교 중 어느 하나만으로는 모듈로 인한 견고성 이점을 입증할 수 없습니다. 또한 초기 테스트는 깨끗한 예시(clean example)의 원래 레이블을 유지한 채 공격된 예시로 섭동을 가하지만, 이미 공격을 받은 예시로만 제한된 테스트에서는 이점이 입증되지 않습니다. 학습된 모델의 입력 스케일을 교체하면 검출 기능이 저하됩니다. 선형 분류 층을 재학습하면 검출률은 회복되지만 개별 예측이 변경되어, 해당 비교는 인과적이기보다는 기술적(descriptive)인 수준에 머무르게 됩니다. 두 가지 추가적인 설계 검증을 통해 입력 양자 피셔 정보 정규화기(quantum Fisher information regularizer)가 이 모델의 쿼리 파라미터를 학습시킬 수 없는 이유와, 신뢰 경계(confidence bound)를 제거하더라도 더 큰 인증된 반경(certified radius)을 입증하지 못하는 이유를 설명합니다. 본 연구의 실증적 근거는 10개의 시드, 정확한 시뮬레이션, 합성 데이터, 그리고 제한된 공격 세트에 국한되며, 고전적인 베이스라인이 더 우수한 정상 예측 성능을 달성합니다. 실질적인 교훈은 어떤 섭동 예산이 고정되어 있는지 명시하고, 공격이 레이블을 보존하는지와 개입이 예측을 보존하는지 확인하며, 탐색적 통제와 확증적 근거를 구분해야 한다는 점입니다.

arXiv:2607.13847v1quant-ph공통 태그 Quantum Machine Learning, Graph Learning

양자 위상학적 데이터 인코딩

Quantum Topological Data Encoding

다양한 도메인에서 접하는 많은 데이터셋은 풍부한 기하학적·위상학적 구조를 갖지만, 이를 기존의 벡터 기반 표현으로 포착하기는 어렵다. 양자 머신러닝(quantum machine learning)은 힐베르트 공간(Hilbert space)에서 고차원 데이터를 처리할 가능성을 제공하지만, 실제 성공은 고전 데이터를 양자 상태(quantum state)로 인코딩하는 방식에 크게 달려 있다. 본 연구에서는 위상 구조 기반(topology-driven) 양자 진화를 통해 위상학적 정보를 양자 상태로 인코딩하는 일반 프레임워크인 양자 위상학적 데이터 인코딩(QTDE, quantum topological data encoding)을 제안한다. 본 방법은 기존의 위상 구조 기반 양자 인코딩 프레임워크를 고차원 데이터로 일반화한다. 제안 방법을 클릭 복합체(clique-complex) 분류(classification) 작업에서 검증한 결과, 위상 구조 기반 양자 표현이 고전 위상학적 기술자(classical topological descriptor)의 직접 비교만으로는 얻을 수 없는 판별 정보를 포착할 수 있다는 예비적 증거를 제시한다. 제안된 양자 표현은 기저 위상 구조를 기술하는 조합 라플라시안(combinatorial Laplacian)의 직접 비교에 기반한 기준선보다 일관되게 우수한 성능을 보였다. 또한 본 프레임워크가 더 효율적이고 신뢰할 수 있는 데이터 표현을 제공할 수 있는 여러 응용 분야를 제시한다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Learning

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2606.26578v3cs.AI공통 태그 Graph Learning

EvoOptiGraph: 그래프 기반 구조 생성을 통한 약점 주도 공진화 기반 최적화 모델링

EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling

대규모 언어 모델(LLM)을 이용해 자연어로부터 최적화 모델링을 자동화하는 것은 두 가지 핵심 과제에 직면한다. 첫째, 학습 코퍼스는 구조적 다양성이 부족하다. 둘째, 데이터 생성 파이프라인은 정적이며 모델 학습과 분리되어 있다. 이러한 과제를 해결하기 위해, 우리는 모델의 약점에 의해 주도되어 데이터와 모델이 공진화하는 새로운 프레임워크인 EvoOptiGraph를 제안한다. EvoOptiGraph는 각 혼합정수 선형 계획(MILP)을 속성 이분 그래프(attributed bipartite graph)로 표현하고, 유효성을 보존하는 진화 연산자를 적용하여 구조적으로 다양한 인스턴스를 생성한다. 진화된 그래프는 결정적 컴파일을 통해 솔버 코드와 자연어로 변환되며, 검증된 역번역(back-translation)을 거친다. 학습은 두 단계로 진행된다: 초기 데이터셋에 대한 지도 미세조정(SFT)에 이어, 그래프에서 파생된 약점 신호가 모델의 실패를 겨냥한 새로운 인스턴스 생성을 안내하는 검증 가능 보상 강화학습(RLVR)이 수행된다. 이는 학습 분포를 지속적으로 갱신하는 폐쇄 루프를 형성한다. 6개의 공개 데이터셋에 대한 실험 결과, EvoOptiGraph는 정확도, 실행 가능성, 일반화 측면에서 더 큰 범용 모델, 에이전트 기반 방법, 특화 베이스라인을 크게 능가함을 보여준다. 이러한 결과는 표적화된 데이터-모델 공진화가 최적화 모델링 과제에서 LLM을 개선하는 효과적인 전략임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.