arXiv:2410.21618

Graph Sparsification for Enhanced Conformal Prediction in Graph Neural Networks

Yuntian He, Pranav Maneriker, Anutam Srinivasan, Aditya T. Vadlamani, Srinivasan Parthasarathy

제출 2024-10-28

원문 초록

Conformal Prediction is a robust framework that ensures reliable coverage across machine learning tasks. Although recent studies have applied conformal prediction to graph neural networks, they have largely emphasized post-hoc prediction set generation. Improving conformal prediction during the training stage remains unaddressed. In this work, we tackle this challenge from a denoising perspective by introducing SparGCP, which incorporates graph sparsification and a conformal prediction-specific objective into GNN training. SparGCP employs a parameterized graph sparsification module to filter out task-irrelevant edges, thereby improving conformal prediction efficiency. Extensive experiments on real-world graph datasets demonstrate that SparGCP outperforms existing methods, reducing prediction set sizes by an average of 32\% and scaling seamlessly to large networks on commodity GPUs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02975v2cs.AI공통 태그 Conformal Prediction

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2609.27149v2cs.CV공통 태그 Denoising

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

arXiv:2609.27179v2math.ST공통 태그 Conformal Prediction

컨포멀 마팅게일을 이용한 분포 무관 순차적 변화 탐지의 최적성

Optimal distribution-free sequential change detection with conformal martingales

본 연구는 변화 전후의 분포가 알려져 있지 않으며 \emph{전혀 제한되지 않은} 독립 관측치에 대한 분포 무관 순차적 변화점 탐지라는 어려운 문제를 다룬다. 20년 넘게 이 문제의 주된 기존 해법은 Vovk의 컨포멀 검정 마팅게일과 이에 연관된 e-탐지기를 사용해 왔으며, 이들은 각각 오경보 확률(PFA)과 평균 실행 길이(ARL)를 제어한다. 이러한 연구 대부분은 타당성에 초점을 맞추고 있으며, 통계적 효율성은 대체로 시뮬레이션에 맡겨져 왔다. 본 논문은 알려지지 않은 시점 $T$에 변화점이 있는 비교환 가능 데이터에서 컨포멀 p-값이 어떻게 거동하는지에 대한 포괄적인 이론을 전개한다. 이를 이용해 변화 후 성장과 그에 따른 탐지 지연을 분석하였고, 기존의 표준 방법이 PFA 및 ARL 제어에 대해 증명 가능하게 최적이 아니며 각각 $\Omega(T)$와 $\Omega(\sqrt{\text{ARL}})$ 수준의 지연을 초래할 수 있음을 발견하였다. 우리는 학습된 점수와 고정된 분포 독립적 베팅 사전(dictionary)을 사용하는 새로운 컨포멀 e-프로세스와 e-탐지기를 구성한다. KL 발산이 양의 유한값인 모든 분포 쌍에 대해, 제안한 방법은 PFA 제어에서 $\log T/\mathrm{KL}$ 지연을, ARL 제어에서 $\log\mathrm{ARL}/\mathrm{KL}$ 지연(선도 상수 1로 엄밀함)을 점근적으로 달성하며, 이 둘은 적절한 이중 배열 프레임워크에서 미니맥스 최적임이 증명된다. 시뮬레이션은 새로운 접근법의 큰 경험적 이점을 보여 준다.

arXiv:2607.23811v3cs.SD공통 태그 Denoising

분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성

Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers

Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.