arXiv:2103.13660

Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation

Yuntong Ye, Yi Chang, Hanyu Zhou, Luxin Yan

제출 2021-03-25

원문 초록

Existing deep learning-based image deraining methods have achieved promising performance for synthetic rainy images, typically rely on the pairs of sharp images and simulated rainy counterparts. However, these methods suffer from significant performance drop when facing the real rain, because of the huge gap between the simplified synthetic rain and the complex real rain. In this work, we argue that the rain generation and removal are the two sides of the same coin and should be tightly coupled. To close the loop, we propose to jointly learn real rain generation and removal procedure within a unified disentangled image translation framework. Specifically, we propose a bidirectional disentangled translation network, in which each unidirectional network contains two loops of joint rain generation and removal for both the real and synthetic rain image, respectively. Meanwhile, we enforce the disentanglement strategy by decomposing the rainy image into a clean background and rain layer (rain removal), in order to better preserve the identity background via both the cycle-consistency loss and adversarial loss, and ease the rain layer translating between the real and synthetic rainy image. A counterpart composition with the entanglement strategy is symmetrically applied for rain generation. Extensive experiments on synthetic and real-world rain datasets show the superiority of proposed method compared to state-of-the-arts.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.12567v4cs.CV공통 태그 Disentanglement

합성 개구 초음파의 적응형 IQ 신호 잡음 제거를 위한 일관성 유도 피라미드 자기 대조 분리

Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound

합성 개구 초음파(SAU)는 배열의 인접한 소자들을 부개구로 묶어 순차적으로 송신하고, 수신된 모든 신호를 합성하여 양방향 집속을 달성한다. 그러나 고유한 전자 잡음, 사이드로브, 스페클 잡음은 여전히 SAU 영상의 임상적 해석을 어렵게 한다. 기존 잡음 제거 방법은 명시적인 잡음 가정에 의존하거나 제한된 영상 도메인에서 사전 학습되어, 복잡한 \textit{in vivo} 잡음 조건에서 불가피한 도메인 이동에 직면한다. 본 연구는 B-모드 영상 형성 이전에 개구 의존적 열화를 억제하는 적응형 IQ 신호 잡음 제거 방법을 제안한다. 각 SAU 획득에서의 부개구 이벤트를 다중 잡음 측정으로 모델링하고, 개구 간 일관성을 피라미드 자기 대조 분리(PSCD) 프레임워크에서 대조 학습의 비평자로 확장한다. PSCD는 원시 IQ 텐서를 분리된 일관적 잠재 공간과 비일관적 잠재 공간으로 인코딩한 뒤, 전자로부터만 깨끗한 IQ 신호를 복원하여 일관적인 조직 정보를 유지하면서 비일관적 잡음을 억제한다. 개구 대 개구 대리 과제가 이중 도메인에서 복원을 자기 지도한다. 전체 프레임워크는 사전 학습이나 깨끗한 레이블 없이 단일 샷 데이터를 사용하여 테스트 시점에 최적화할 수 있다. 0에서 30 dB의 잡음 수준을 포함한 시뮬레이션에서 SNR 69.3$\%$, CNR 34.4$\%$의 향상을 보였다. 여섯 가지 심초음파 단면과 복부 영상을 포함한 \textit{in vivo} 실험에서는 두 개의 부개구만으로 SNR 84.8$\%$, CNR 25.7$\%$의 향상을 보였다. 또한 PSCD는 고주파 세부 정보를 보존하면서 더 높은 영상 해상도와 경계 선명도를 달성했다. 이러한 결과는 개구 간 측정 중복성을 활용하는 적응형 IQ 신호 잡음 제거가 도메인 이동과 사전 학습 비용 없이 정밀한 해부학적 시각화를 가능하게 함을 뒷받침한다.

arXiv:2609.38840v3cs.LG공통 태그 Disentanglement

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2606.28228v3cs.LG공통 태그 Disentanglement

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2607.03836v2cs.CV공통 태그 Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

arXiv:2601.21688v3cs.LG공통 태그 Disentanglement

XFACTORS: 대조 지도를 통한 분리된 정보 병목

XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision

분리 표현 학습(disentangled representation learning)은 변화의 독립적 요인들을 독립적인 표현 구성 요소에 매핑하는 것을 목표로 한다. 순수 비지도 방법은 완전히 분리된 합성 데이터에서는 성공적이었지만, 강한 귀납적 편향 없이는 실제 데이터에서 의미적 요인을 복원하는 데 실패한다. 반면 지도 방법은 적대적 목적 함수나 보조 분류기에 의존하기 때문에 불안정하고 대규모 속성 집합으로 확장하기 어렵다. 우리는 선택된 요인 집합을 분리하고 그에 대한 명시적 제어를 제공하는 약지도(weakly-supervised) VAE 프레임워크인 XFactors를 소개한다. 분리 정보 병목(Disentangled Information Bottleneck) 관점을 바탕으로, 표현을 잔차 부분 공간 $\mathcal{S}$와 요인별 부분 공간 $\mathcal{T}_1,\ldots,\mathcal{T}_K$ 및 잔차 부분 공간 $\mathcal{S}$로 분해한다. 각 목표 요인은 대조 지도를 통해 할당된 $\mathcal{T}_i$에 인코딩된다. 즉, InfoNCE 손실이 동일한 요인 값을 공유하는 잠재 벡터들을 가깝게 당기고, 불일치 쌍을 밀어낸다. 동시에 KL 정규화는 $\mathcal{S}$와 집계된 요인 부분 공간 모두에 가우시안 구조를 부여하여, 비목표 요인에 대한 추가 지도나 적대적 학습 및 분류기 없이도 기하 구조를 구성한다. 고정된 하이퍼파라미터로 여러 데이터셋에 걸쳐 XFactors는 최첨단 분리 점수를 달성하고, 해당 부분 공간에서 일관된 정성적 요인 정렬을 보여주며, 잠재 교체를 통한 제어된 요인 교환을 가능하게 한다. 또한 잠재 용량 증가에 따라 우리 방법이 올바르게 확장됨을 입증하고, 실세계 데이터셋 CelebA에서 평가한다. 코드는 github.com/ICML26-anon/XFactors에서 확인할 수 있다.

arXiv:2607.09767v2eess.SP공통 태그 Disentanglement

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.