arXiv:2605.10185v3 cs.CV

DynGhost: 동적 고스트 이미징을 위한 시간적으로 모델링된 트랜스포머

DynGhost: Temporally-Modelled Transformer for Dynamic Ghost Imagings

Vittorio Palladino, Ahmet Enis Cetin

제출 2026-05-11

저자 비고

arXiv Comments

6 pages, 8 figures

한국어 초록

고스트 이미징(ghost imaging)은 구조화된 조명 패턴과 스칼라 강도 측정값을 상관시켜 단일 픽셀 벌킷 검출기(bucket detector)로부터 공간 정보를 복원한다. 심층 학습(deep learning) 기반 접근법이 정적인 장면에서 유망한 결과를 달성했지만, 두 가지 중요한 한계는 여전히 해결되지 않고 있다: 기존 아키텍처는 프레임 간 시간적 일관성(temporal coherence)을 활용하지 못해 동적 고스트 이미징 문제가 대부분 미해결로 남아 있으며, 실제 단일 광자(single-photon) 하드웨어의 진정한 포아송(Poissonian) 통계를 반영하지 않는 가산적 가우시안 잡음 모델을 가정한다. 우리는 공간 및 시간 어텐션(attention) 블록을 교대로 배치하여 이 두 한계를 모두 해결하는 트랜스포머(transformer) 아키텍처인 DynGhost(Dynamic Ghost Imaging Transformer)를 제시한다. 물리적으로 정확한 검출기 시뮬레이션(SNSPD, SPAD, SiPM)과 Anscombe 분산 안정화 정규화(normalization)에 기반한 우리의 양자 인지(quantum-aware) 학습 프레임워크는, 현실적인 하드웨어 제약 조건 하에서 기존 모델이 실패하게 만드는 분포 변화(distribution shift) 문제를 해결한다. 여러 벤치마크(benchmark)에 걸친 실험 결과, DynGhost는 전통적인 복원 기법과 기존 심층 학습 아키텍처를 모두 능가하며, 특히 동적이고 광자가 부족한(photon-starved) 환경에서 큰 성능 향상을 보인다.

원문 초록

Ghost imaging reconstructs spatial information from a single-pixel bucket detector by correlating structured illumination patterns with scalar intensity measurements. While deep learning approaches have achieved promising results on static scenes, two critical limitations remain unaddressed: existing architectures fail to exploit temporal coherence across frames, leaving dynamic ghost imaging largely unsolved, and they assume additive Gaussian noise models that do not reflect the true Poissonian statistics of real single-photon hardware. We present DynGhost (Dynamic Ghost Imaging Transformer), a transformer architecture that addresses both limitations through alternating spatial and temporal attention blocks. Our quantum-aware training framework, based on physically accurate detector simulations (SNSPDs, SPADs, SiPMs) and Anscombe variance-stabilizing normalization, resolves the distribution shift that causes classical models to fail under realistic hardware constraints. Experiments across multiple benchmarks demonstrate that DynGhost outperforms both traditional reconstruction methods and existing deep learning architectures, with particular gains in dynamic and photon-starved settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.10185v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.13439v2cs.CV공통 태그 Image Reconstruction공식 코드 · Papers with Code

VTBench: 자기회귀 이미지 생성을 위한 시각적 토크나이저 평가

VTBench: Evaluating Visual Tokenizers for Autoregressive Image Generation

최근 자기회귀(AR) 모델은 이미지 생성에서 강력한 성능을 보여주고 있으며, 여기서 핵심적인 구성 요소는 연속적인 픽셀 입력을 이산 토큰(token) 시퀀스로 매핑하는 시각적 토크나이저(VT)입니다. VT의 품질은 AR 모델 성능의 상한선을 크게 좌우합니다. 그러나 현재의 이산 VT는 연속형 변이형 오토인코더(VAE)에 비해 성능이 크게 뒤처져, 이미지 복원 품질이 저하되고 세부 디테일과 텍스트 보존이 제대로 이루어지지 않습니다. 기존 벤치마크들은 VT의 성능만을 분리하여 평가하지 않고 엔드투엔드 생성 품질에만 초점을 맞추고 있습니다. 이러한 공백을 해소하기 위해, 우리는 세 가지 핵심 과제인 이미지 복원, 세부 디테일 보존, 텍스트 보존 전반에 걸쳐 VT를 체계적으로 평가하고 다양한 평가 시나리오를 아우르는 포괄적인 벤치마크인 VTBench를 소개합니다. 우리는 복원된 이미지의 품질을 평가하는 일련의 지표를 사용하여 최신 VT들을 체계적으로 평가합니다. 연구 결과에 따르면, 연속형 VAE는 이산 VT에 비해 특히 공간적 구조와 의미적 세부사항을 유지하는 데 있어 우수한 시각적 표현을 생성하는 것으로 나타났습니다. 반면, 이산 VT가 생성하는 저하된 표현은 종종 왜곡된 복원, 미세한 질감 손실, 텍스트 및 객체 무결성 보존 실패로 이어집니다. 나아가 우리는 GPT-4o 이미지 생성에 대한 실험을 수행하고 잠재적인 AR 특성을 논의함으로써 시각적 토큰화(tokenization)의 역할에 대한 새로운 통찰을 제공합니다. 우리는 추가 연구를 지원하기 위해 벤치마크와 코드베이스를 공개하며, 오픈소스 커뮤니티가 강력한 범용 오픈소스 VT를 개발하도록 촉구합니다.

arXiv:2506.11139v3eess.IV공통 태그 Image Reconstruction공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.