arXiv:2607.10930v1 cs.LG

The Singularity Space: A Generative Diffusion Framework for Signal Representation

Eli Bar-Yosef, Amir Averbuch, Eli Turkel

제출 2026-07-12

원문 초록

Generative models often represent signals as dense grids of amplitudes, blurring sharp transients that are crucial for the correctness of physical signals. We introduce Singularity Space, a generative framework that represents signals through complex-plane singularities, rooted in the classical pole-residue representation of meromorphic functions. We learn a latent space of physically constrained, per-signal singularity configurations to solve an inverse problem from degraded or partial observations. The framework has three key properties: interpretability, in which each generated singularity configuration corresponds to a set of physical parameters; structural stability, which mitigates Gibbs artifacts at discontinuities; and resolution-free output reconstruction on arbitrary grids without retraining or interpolation. Our framework employs a transformer-based diffusion model that directly predicts samples at complex-plane singularity coordinates, subject to geometric constraints during sampling. As a controlled test case for sharp-feature recovery, we evaluate our framework on 1D Burgers shocks, where each shock is represented by 32 predicted singularities (an $8\times$ reduction versus a 1024-point grid signal). Our framework preserves signal structure ($\text{TV ratio} \approx 1$) under unseen test-time observation noise, achieves a $4.2\times$ lower reconstruction error in zero-shot sub-resolution generalization than a grid-based baseline, and recovers physical parameters to $10^{-4}$ absolute error in-distribution. These results suggest that singularity-based representations may provide a practical foundation for other transient-dominated signals such as speech and biomedical signals, with potential extension to higher-dimensional domains.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.10930v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13344v1cs.CV공통 태그 Representation Learning, Denoising

롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유

Why DiT Models Underperform as Representation Learners without Long Skip Connections

디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.

arXiv:2610.13944v1cs.CV공통 태그 Representation Learning, Denoising

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

arXiv:2610.11057v1cs.CV공통 태그 Representation Learning, Denoising

노이즈가 있는 지도 환경의 멀티모달 학습에서 신뢰할 대상을 학습하기

Learning What to Trust in Multimodal Learning under Noisy Supervision

멀티모달 분류(multimodal classification)는 보다 정확한 예측을 달성하기 위해 여러 모달리티의 정보를 처리하고 연계합니다. 그러나 기존 방법들은 일반적으로 실제 환경에서 얻기 어려운 고품질의 정답 라벨에 의존합니다. 노이즈 라벨 환경에서의 학습을 위한 샘플 선택 방법들은 노이즈가 포함된 데이터에서 올바르게 라벨링된 예제를 식별하는 것을 목표로 하지만, 전통적인 방식들은 주로 단일 모달(unimodal) 설정에 초점을 맞추어 멀티모달 정보를 완전히 활용하지 못합니다. 이는 멀티모달 학습에서 더 신뢰할 수 있는 노이즈 탐지기를 구축하도록 동기를 부여합니다. 이를 위해 본 연구에서는 표현 구조와 노이즈 탐지 능력 간의 관계를 이론적으로 분석합니다. 이러한 분석을 바탕으로, 라벨 노이즈 탐지를 위해 융합된 표현과 단일 모달 표현을 함께 사용하는 멀티모달 라벨 노이즈 탐지 프레임워크인 REFINE을 제안합니다. 구체적으로, REFINE은 타깃 클래스와 배경 클래스의 판별 분석을 통해 판별 고유벡터(discriminative eigenvector)를 구성하고, 각 클래스별로 노이즈 탐지 능력이 더 우수한 신뢰할 수 있는 표현 공간을 선택합니다. 각각의 신뢰할 수 있는 공간 내에서 REFINE은 각 인스턴스 표현과 판별 고유벡터 간의 정렬(alignment)을 측정합니다. 그런 다음 이러한 공간에서 선택된 하위 집합들을 결합합니다. 결합된 집합은 멀티모달 분류기를 업데이트하기 위한 더 깨끗한 지도 신호를 제공함으로써 학습(training) 중 잘못 라벨링된 예제의 영향을 줄이고 모델(model) 일반화를 향상시킵니다. 다양한 태스크에 걸친 광범위한 실험을 통해 기준선(baseline) 방법들과 비교하여 REFINE의 우수성을 입증합니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.02292v1cs.LG공통 태그 Time Series, diffusion model

행동 인식을 향상시키기 위한 확산 기반 합성 데이터 사전학습

Diffusion-Based Synthetic Data Pretraining for Enhancing Activity Recognition

인간 행동 인식(HAR)은 헬스케어, 웰빙 및 일상 모니터링 응용 분야에서 중요성이 점점 더 커지고 있으며, 이 중 식사 및 음용과 같은 섭취 행동을 감지하는 것은 식습관과 만성 질환 관리에 대한 실행 가능한 통찰을 제공할 수 있습니다. 그러나 HAR 시스템은 미세하거나 데이터가 부족한 소수 클래스에서 성능이 저하되는 경우가 많아 실제 식단 모니터링에서의 활용성이 제한됩니다. 본 연구는 스마트워치의 가속도계, 자이로스코프, 지자기 센서 데이터로부터 변별력 있는 시간적 패턴을 포착하도록 설계된 양방향 GRU 레이어, 멀티헤드 어텐션, 잔차 연결을 포함하는 합성곱 아키텍처인 CABiGRU를 기반으로 합니다. CABiGRU의 일반화 성능을 향상시키고 소수 클래스의 과소적합을 줄이기 위해, 확산 모델을 사용하여 합성 센서 데이터 윈도우를 활용하고 2단계 학습 전략을 채택합니다. 즉, 합성 데이터로 CABiGRU를 사전학습한 후 실제 데이터로 미세조정을 수행합니다. DEO(음용/식사/기타) 데이터셋에서 제안된 파이프라인은 90.6%의 균형 정확도(balanced accuracy)를 달성하여 강력한 지도학습 기준선 대비 성능을 향상시켰으며, 섭취 행동 인식에 대한 확산 기반 합성 사전학습의 이점을 보여주고 불균형 클래스를 다루는 데 있어 진전을 나타냅니다. 이러한 결과는 확산 모델로 생성된 데이터와 표적화된 미세조정을 결합하는 것이 식습관 행동의 강건한 인식을 향상시켜, 헬스케어 및 영양 모니터링 환경에서 보다 신뢰성 있는 배포를 지원함을 시사합니다.

arXiv:2610.02497v1cs.LG공통 태그 Representation Learning, Time Series

LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델

LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing

근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.

arXiv:2610.02661v1cs.LG공통 태그 Representation Learning, Time Series

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.