arXiv:2606.28252v1 quant-ph

엣지 양자 AI를 위한 매개변수 효율적 연속 변수 광자 양자 신경망: 구강암 탐지 시연

Parameter-Efficient Continuous-Variable Photonic Quantum Neural Networks for Edge Quantum AI: Demonstration in Oral Cancer Detection

Akshay Bhagwan Sonawane, Sophie Choe, Lakshman Tamil

제출 2026-06-26

한국어 초록

구강암의 조기 발견은 임상 결과를 크게 개선하지만, 자원이 제한된 환경에서는 전문 진단 도구가 여전히 부족하다. 스마트폰 기반 선별은 확장 가능한 대안이지만, 엣지 하드웨어 제약 내에서 실행되는 경량 모델이 필요하다. 고전-양자 하이브리드 아키텍처는 매개변수 효율적 학습의 유망한 후보로 떠오르고 있지만, 대부분 극저온 작동이 필요한 큐빗(qubit) 하드웨어에 의존하여 엣지 배포에 부적합하다. 실온에서 작동하는 연속 변수(CV) 광자 양자 컴퓨팅은 보완적 경로를 제공한다. 우리는 스마트폰 이미지로부터 구강암을 탐지하기 위한 고전-CV 양자 하이브리드 분류기를 조사한다. 파이프라인은 MobileNetV1 특징 추출기, 16차원으로의 주성분 분석(PCA), 광자 백엔드상의 변위(displacement), 간섭계(interferometric), Kerr 게이트로 구성된 매개변수화 CV-QNN을 결합한다. 우리는 Killoran et al. (2019a)의 표준 CV-QNN 층 대비 학습 가능 매개변수를 40–45% 줄이는 단순화된 $Φ\circ D \circ U_1$ CV-QNN 아키텍처를 제안하고, 바렌 플래토(barren plateau)를 완화하는 차원 축소 및 인코딩 제한 전략을 밝혀 손실-그래디언트 분산을 대략 58 order of magnitude만큼 높인다. 단순화된 층이 전체 층을 능가하는지는 너비에 따라 달라진다: 전체 층은 두 qumode에서 작지만 유의미한 우위를 보이는 반면, 단순화된 층은 매개변수를 44% 더 적게 사용하여 네 qumode에서 유의하게 더 나은 성능을 보인다. 가장 강력한 모델인 매개변수 18개만을 갖춘 4-qumode 단순화 CV-QNN은 모든 모델 중 최고 검증 AUC를 달성하고, 매개변수를 67% 더 적게 사용하여 매개변수 55개짜리 고전 기준선을 능가하며, 모든 시드에 걸쳐 100% 보정된(calibrated) 테스트 정확도에 도달한다. 이 결과는 매개변수 효율적이고 실온에서 동작하는 의료 이미지 분류를 위한 CV 광자 양자 기계 학습을 뒷받침하며, 엣지 양자 AI로의 발전을 촉진한다.

원문 초록

Early detection of oral cancer markedly improves clinical outcomes, yet specialized diagnostic tools remain scarce in low-resource settings. Smartphone-based screening is a scalable alternative but needs lightweight models that run within edge-hardware constraints. Hybrid classical-quantum architectures are emerging candidates for parameter-efficient learning, yet most rely on qubit hardware that needs cryogenic operation, unsuitable for edge deployment. Continuous-variable (CV) photonic quantum computing, which operates at room temperature, offers a complementary route. We investigate a hybrid classical-CV quantum classifier for oral cancer detection from smartphone images. The pipeline combines a MobileNetV1 feature extractor, principal component analysis to 16 dimensions, and a parameterized CV-QNN of displacement, interferometric, and Kerr gates on a photonic backend. We propose a simplified $Φ\circ D \circ U_1$ CV-QNN architecture that cuts trainable parameters 40-45% relative to the standard CV-QNN layer of Killoran et al. (2019a), and identify dimensionality-reduction and encoding-restriction strategies that mitigate barren plateaus, raising loss-gradient variance by roughly 58 orders of magnitude. Whether the simplified layer beats the full layer is width-dependent: the full layer holds a small but significant edge at two qumodes, whereas the simplified layer is significantly better at four qumodes using 44% fewer parameters. The strongest model, a four-qumode simplified CV-QNN with only 18 parameters, attains the highest validation AUC of all models, exceeds a 55-parameter classical baseline using 67% fewer parameters, and reaches 100% calibrated test accuracy across all seeds. These results support CV photonic quantum machine learning for parameter-efficient, room-temperature medical image classification and motivate progress toward edge quantum AI.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28252v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.13599v1cs.LG공통 태그 Medical Image Analysis, Diagnostic

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.10648v1cs.LG공통 태그 Medical Image Analysis, Diagnostic

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2610.02269v1eess.IV공통 태그 Medical Image Analysis, Edge-computing

의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류

Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging

응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.

arXiv:2609.37013v2cs.CV공통 태그 Computational Efficiency, Edge-computing

온보드 데이터 감축을 위한 임베디드 양방향 시계열 건물 피해 평가

Embedded Bi-Temporal Building Damage Assessment for On-Board Data Reduction

자연재해 발생 후 신속한 건물 피해 평가는 비상 대응을 지원하는 데 필수적입니다. 지구 관측(Earth Observation) 위성은 재해 직후 관련 영상을 획득할 수 있으나, 업링크 및 다운링크 용량과 지상 처리 지연 시간으로 인해 활용에 한계가 있습니다. 본 연구에서는 지상/우주 링크의 양단에서 정보를 압축하도록 설계된, YOLOX 기반의 샴 탐지기(siamese detector)로 구축된 양방향 시계열(bi-temporal) 건물 피해 평가 파이프라인을 통해 이 문제를 해결합니다. 지상에서는 재해 전 참조 이미지를 최대 64배까지 압축된 컴팩트한 잠재 공간(latent space)으로 인코딩하여 위성으로 업링크합니다. 온보드(on-board) 환경에서는 이 참조 이미지를 새로 획득한 재해 후 영상과 비교하여 다운링크가 전체 장면 대신 실행 가능한 객체 수준 결과물인 바운딩 박스와 피해 클래스만을 전송하도록 합니다. 이를 통해 양방향으로 교환되는 데이터가 절감되며, xBD 데이터셋에서 강력하게 압축된 참조 이미지를 사용하더라도 대부분의 탐지 성능을 유지합니다. 또한 온보드 획득 영상은 재해 전/후 간 잔차 동시 정합(co-registration) 오류가 발생하기 쉬우므로, 거친 특징 수준에서 전역 오프셋을 회귀하고 융합 전에 재해 후 특징을 재정렬하는 잠재 공간 이동 추정 및 보정 모듈을 도입합니다. 이 모듈은 특히 융합 전용 변형 모델들이 붕괴하는 큰 이동 상황에서 비정합에 대한 강건성을 크게 향상시키는 동시에 공칭 정확도를 높이고 가장 강력한 압축과도 호환성을 유지합니다. 마지막으로 이 파이프라인을 두 가지 임베디드 타깃인 Xilinx Versal VCK190과 NVIDIA Jetson AGX Orin에 포팅하고 하드웨어 성능(지연 시간, 처리량, 전력 효율성)을 보고합니다. 핵심 탐지기 및 압축 모듈은 두 타깃 모두에 깔끔하게 포팅되지만, 장거리 강건성에 필요한 연산자는 Jetson GPU에서만 실행 가능하며 Versal DPU에서는 지원되지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.