단일 광자 눈사태 다이오드(SPAD) 카메라는 광자 계수(photon-counting) 특성으로 인해 기존 카메라와 근본적으로 다르게 작동합니다. 각 프레임은 이진 이미지를 생성합니다. 즉, 노출 시간 동안 광자가 도달하지 않은 픽셀은 0을, 하나 이상의 광자가 도달한 픽셀은 1을 기록합니다. 단일 이진 프레임으로부터 장면을 재구성하거나 그 특성을 추론(inference)하는 것은 여러 서로 다른 이미지가 동일한 측정값을 생성할 수 있기 때문에 어렵습니다. 따라서 이 역문제(inverse problem)는 근본적으로 일대다(one-to-many) 관계를 가집니다. 더 많은 이진 측정값을 수집할수록 역문제 및 관련 추론에 내재된 불확실성은 감소합니다. 광자 수가 충분해지면 신호 평균에 비해 광자 노이즈가 무시할 수 있는 수준이 되어 거의 결정론적인 장면 복원 및 추론이 가능해집니다. 본 연구는 광자 예산(photon budget)이 증가함에 따라 확률적 장면 이해에서 거의 결정론적인 장면 이해로 전환되는 과정을 규명하고, 광자 도달의 확률성이 하류(downstream) 추론 작업에 미치는 영향을 분석합니다. 기술적으로는 누적된 이진 SPAD 측정값을 위해 초기하 프레임 박형화(Hypergeometric frame-thinning) 과정을 기반으로 하는 조건부 생성 프레임워크를 개발합니다. 생성 모델은 광자가 극도로 부족한(photon-starved) 역문제의 일대다 특성을 포착하여, 측정값이 증가함에 따라 이러한 모호성이 어떻게 감소하는지와 문자 인식, QR 코드 디코딩, 얼굴 분석과 같은 하류 작업에 미치는 영향을 실증적으로 규명할 수 있도록 합니다.
본 연구에서는 극단적인 광자 희소성 환경의 동적 장면에서 고속 비디오를 복원하는 문제를 다룹니다. 기존 방법들은 신호 대 잡음비(SNR)를 개선하기 위해 국소 시공간 윈도우 내에서 광자 검출을 집합하는 방식에 의존하지만, 이러한 국소적 그룹화는 전역적 구조를 버리게 되어 공간과 시간 모두에서 광자 검출이 희소한 극저조도 환경에서는 실패합니다. 본 연구에서는 모션과 조도를 모두 복원하는 데 필요한 정보가 광자 도달의 전체 시공간 패턴에 걸친 상관관계(correlation)에 인코딩되어 있음을 보입니다. 이러한 통찰을 바탕으로, 광자 스트림으로부터 기저 광 강도의 푸리에 계수(Fourier coefficients)를 직접 추정하는 시공간 플럭스 프로빙(spatiotemporal flux probing) 이론과 알고리즘을 개발합니다. 실험을 통해 본 접근법이 (1) 이전 방법보다 훨씬 적은 수의 광자로 빠른 모션과 시간적 조도 변화를 복원하고, (2) 감지된 특정 모션에 비디오의 초점을 자동으로 맞추는 속도 선택적 비디오 촬영을 가능하게 하며, (3) 단일 광자, 이벤트 및 스파이크 카메라를 포함한 다양한 센싱 모달리티 전반에 걸쳐 일반화됨을 입증합니다.
단일 광자 아발란치 다이오드(SPAD)는 빛을 개별 검출 이벤트의 이산 스트림으로 기록한다. 신호는 확률적이며, 그 통계적 구조는 센서의 동작 모드—고정 구간에서의 이진 검출, 고정 구간에서의 타임스탬프 검출, 또는 자유 실행 타임스탬프 검출—에 따라 달라진다. 우리는 이 세 가지 수동(passive) 모드 각각에 대한 가능도 스코어 함수를 유도한다. 이 단일 객체로부터 복원의 근본적 한계(크래머-라오(Cramer-Rao) 한계)와 확산 사후 샘플링(diffusion posterior sampling)에 기반한 실용적 복원 알고리즘이 모두 파생된다. 본 논문은 근본적 한계를 베이지안 크래머-라오 하한(Bayesian Cramer-Rao lower bounds)으로 더 일반화한다. 이 일반화는 신호 사전분포(signal priors)의 스코어 함수에 대한 학습된 근사를 활용한다. 기존 연구에서는 SPAD 데이터에 대한 분석과 확산 기반 재구성이 개별 모드를 독립적으로 다루어 왔다. 우리의 통합적 접근은 모드 간 고플럭스(high-flux)에서의 질적 차이를 보여준다: 이진 계수(binary counts)는 지수적으로 포화(saturate)하는 반면, 타임스탬프 모드는 선형적으로만 저하(degrade)한다. 우리는 이전에 이진 SPAD 데이터에만 제한되어 있던 확산 사후 샘플링을, 적절한 스코어 함수를 사용하여 완전한 타임스탬프 경우로 더 확장한다. 우리는 실험적으로 스코어를 동작 모드에 맞추는 것이 고충실도(high-fidelity) 재구성에 유리함을 보인다. 복원 한계와 확산을 스코어 함수에 연결함으로써, 본 연구는 단일 광자 센싱에서 무엇이 복원 가능한지를 묻는 것과 한계에 근접하는 방법을 구축하는 것 모두를 위한 공통 기반을 마련하는 것을 목표로 한다.