arXiv:2606.27119v1 quant-ph

내결함성 양자 컴퓨팅을 위한 효율적인 파운데이션 디코더

Efficient foundation decoders for fault-tolerant quantum computing

Ge Yan, Shanchuan Li, Shiyi Xiao, Pengyue Ma, Hanyan Cao, Feng Pan, Yuxuan Du

제출 2026-06-25

한국어 초록

파운데이션 디코더는 고용량 신경 디코더의 한 클래스로, 큰 코드 거리(code distance)에서 정확하고 효율적인 디코딩을 제공하여 내결함성 양자 컴퓨팅의 유력한 후보이다. 그러나 그 구축은 종종 가파른 스케일링(scaling) 장벽에 직면하는데, 이는 더 큰 코드 거리가 증후군(syndrome) 생성과 신경 최적화(optimization) 비용을 급격히 증폭시키기 때문이다. 이 병목을 해결하기 위해, 본 연구에서는 효율적인 파운데이션 디코더를 위한 통합 프레임워크인 신경 전이 통합(neural transfer unification, NTU)을 고안한다. NTU의 핵심 특징은 확장 가능한 코드 계열이 공유하는 대수적 구조를 통해 코드 거리에 걸친 디코딩 과제를 정렬(alignment)할 수 있다는 점으로, 이를 통해 작은 코드에서 학습된 지식이 대규모 디코더 학습을 가속할 수 있다. 우리는 NTU를 평면 표면 코드(planar surface code)와 이변수 자전거 코드(bivariate bicycle code)에 맞춘 트랜스포머 기반 신경 디코더인 NTU-Transformer로 구현한다. 회로 수준(circuit-level) 노이즈 하의 평면 표면 코드에 대해, NTU-Transformer는 $[\![361,1,19]\!]$ 코드에서 상관관계 인식 매칭(correlation-aware matching)을 능가하며, 전이 적응(transfer adaptation)을 통해 표준 매칭(standard matching)을 초과하는 $[\![625,1,25]\!]$ 코드까지 확장된다. $[\![72,12,6]\!]$ 이변수 자전거 코드에 대해서는 낮은 물리 오류(low-physical-error) 영역에서 Relay-BP를 능가한다. 이 결과들은 본 제안이 내결함성 양자 프로세서를 위한 파운데이션 디코더의 상각화된(amortized) 교차 거리(cross-distance) 학습으로 이어지는 확장 가능한 경로임을 입증한다.

원문 초록

Foundation decoders, a class of high-capacity neural decoders, are leading candidates for fault-tolerant quantum computing, with accurate and efficient decoding at large code distances. However, their construction often faces a steep scaling barrier, as larger code distances rapidly amplify the cost of syndrome generation and neural optimization. To address this bottleneck, here we devise neural transfer unification (NTU), a unified framework for efficient foundation decoders. A central feature of NTU is its ability to align decoding tasks across code distances via algebraic structures shared by scalable code families, which enables knowledge learned on smaller codes to accelerate large-scale decoder training. We instantiate NTU as NTU-Transformer, a transformer-based neural decoder tailored for planar surface codes and bivariate bicycle codes. For planar surface codes under circuit-level noise, NTU-Transformer outperforms correlation-aware matching on the $[\![361,1,19]\!]$ code and further scales to the $[\![625,1,25]\!]$ code, where it exceeds standard matching through transfer adaptation. For the bivariate bicycle code with $[\![72,12,6]\!]$, it surpasses Relay-BP in the low-physical-error regime. These results establish our proposal as a scalable route to amortized cross-distance training of foundation decoders for fault-tolerant quantum processors.

요약

큰 코드 거리에서 파운데이션 디코더 구축 비용이 급증하는 스케일링 병목을 줄이기 위해, 확장 가능한 코드 계열이 공유하는 대수적 구조로 거리 간 디코딩 과제를 정렬하는 신경 전이 통합(NTU) 프레임워크를 제안한다. NTU-Transformer는 평면 표면 코드에서 [[361,1,19]]의 상관관계 인식 매칭을 능가하고 전이 적응으로 [[625,1,25]]까지 확장되며, [[72,12,6]] 이변수 자전거 코드의 낮은 물리 오류 영역에서 Relay-BP를 앞선다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27119v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27441v1cs.LG공통 태그 Decoder, Transfer Learning

과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩

Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces

침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.

arXiv:2609.27581v1cs.LG공통 태그 Decoder, Transfer Learning

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.

arXiv:2609.26182v1cs.CL공통 태그 Decoder, Transfer Learning

모달리티 게이트 딥 어댑터: 기존 출력을 정확히 보존하면서 고정된 임베딩 모델에 모달리티 추가하기

Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation

멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.

arXiv:2609.25722v3cs.LG공통 태그 Transfer Learning

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.