Convolutional Deep Denoising Autoencoders for Radio Astronomical Images
원문 초록
We apply a Machine Learning technique known as Convolutional Denoising Autoencoder to denoise synthetic images of state-of-the-art radio telescopes, with the goal of detecting the faint, diffused radio sources predicted to characterise the radio cosmic web. In our application, denoising is intended to address both the reduction of random instrumental noise and the minimisation of additional spurious artefacts like the sidelobes, resulting from the aperture synthesis technique. The effectiveness and the accuracy of the method are analysed for different kinds of corrupted input images, together with its computational performance. Specific attention has been devoted to create realistic mock observations for the training, exploiting the outcomes of cosmological numerical simulations, to generate images corresponding to LOFAR HBA 8 hours observations at 150 MHz. Our autoencoder can effectively denoise complex images identifying and extracting faint objects at the limits of the instrumental sensitivity. The method can efficiently scale on large datasets, exploiting high performance computing solutions, in a fully automated way (i.e. no human supervision is required after training). It can accurately perform image segmentation, identifying low brightness outskirts of diffused sources, proving to be a viable solution for detecting challenging extended objects hidden in noisy radio observations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 기반 세그멘테이션에 대한 재고: 모델은 언제 노이즈 상태에 의존하며, 확산 과정은 정말 중요한가?
Rethinking Diffusion Segmentation: When Does It Rely on Its Noisy State, and Does Diffusion Matter?
확산 모델(diffusion model)은 생성 모델에서 조건부 신호와 점진적으로 변화하는 타깃의 노이즈 표현(noisy representation)을 결합하는 조건부 예측으로 점차 확장 적용되고 있습니다. 그러나 완전 지도(fully supervised) 세그멘테이션에서는 조건부 이미지만으로도 이미 직접적인 타깃 예측이 가능하므로, 최종 종단(endpoint) 성능만으로는 추가된 확산 상태(diffusion state)에 대한 의존성이나 이미지 전용 예측 대비 결정론적 이점을 입증할 수 없습니다. 상태 의존성을 검증하기 위해, 저자들은 3개 데이터셋에 걸쳐 발표된 12가지 기법을 설정당 10개의 일치된 시드(seed)로 재학습하면서 타깃 유래 상태 내용 또는 올바른 이미지-상태 쌍을 교란했습니다. 평가 마스크 경로가 노이즈 수치 재구성의 하류(downstream)에 유지된 기존 기법 비교 40건 모두에서 상태 의존성이 나타난 반면, 세그멘테이션 감독 우회로(bypass)가 있는 비교 30건 모두에서는 기준 성능이 유지되었습니다. 원래 우회로 사용이 가능했던 5가지 기법에서 세그멘테이션 감독이 노이즈-마스크 재구성을 거치도록 경로를 재설정하자, 해당 비교 30건 모두에서 성능 유지 상태가 상태 의존성으로 전환되었습니다. 결정론적 유용성 측면에서는, 매칭된 이미지 전용 대조군이 전체 35개 설정 중 28개에서 유사하거나 더 우수한 성능을 달성했으며, 원본 기법이 검증 대상 상태 특성 두 가지 모두에 의존했던 20개 중 16개 설정에서도 동일한 결과가 나타났습니다. 이러한 결과는 감독 경로가 검증 대상 기법들의 상태 의존성을 결정짓는 요인임을 보여줍니다. 아울러 매칭된 이미지 전용 대조군은 검증 대상 상태 특성에 의존하는 기법을 포함하여, 확산 특화 연산이 최종 종단에서 결정론적 이점을 제공하지 못하는 경우가 많음을 보여줍니다. 보다 일반적으로, 조건부 입력이 이미 강력한 타깃 예측을 지원하는 경우 확산 특화 주장은 추가된 상태가 실제로 활용된다는 점과 확산 특화 연산이 매칭된 조건 전용 대조군을 넘어 주장된 성능을 향상시킨다는 추가적인 증거를 요구합니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습
0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.