단순화된 광학 시스템은 종종 잔여 렌즈 수차와 베일링 글레어(Veiling Glare, VG)를 나타내어 공간적으로 변하는 블러와 대비 감소를 초래합니다. 대규모 렌즈 라이브러리(LensLib)는 다양한 점 확산 함수(Point Spread Function, PSF)를 포괄하여 재사용 가능한 수차 보정 모델을 가능하게 하지만, 수차만을 대상으로 하는 학습(training) 분포에는 타깃 시스템 고유의 베일링 글레어가 포함되지 않습니다. 실제 타깃 시스템의 복합 열화 쌍(pair)을 얻기 어렵기 때문에 이러한 기반을 복합 열화로 확장하는 것은 도전적인 과제입니다. 이 문제를 해결하기 위해, 먼저 재사용 가능한 수차 보정 기반을 구축한 후 몇 개의 비쌍형(unpaired) 타깃 관측치만을 사용하여 복합 광학 열화에 적응시키는 2단계 프레임워크인 LensBridge를 제안합니다. 1단계에서는 LensLib PSF로부터 이산 열화 사전 확률(prior)을 구성하고 수차 이미지에서 이를 직접 검색하도록 학습함으로써, 추론(inference) 시 명시적인 PSF 없이도 PSF 인식 보정을 가능하게 하는 PSF 인식 1단계 확산 기반을 구축합니다. 2단계에서는 주파수 도메인 유도를 통해 이 기반을 복합 열화에 적응시킵니다. 데이터 레벨에서는 주파수 유도 열화 완성(Frequency-guided Degradation Completion, FDC)이 수차 구조를 보존하면서 타깃의 저주파 특성을 LensLib 수차 이미지로 전명하여 복합 학습 쌍을 합성합니다. 모델 레벨에서는 주파수 유도 의사 분해(Frequency-guided Pseudo Decomposition, FPD)가 수차 및 VG가 지배적인 의사 관측치를 형성하여 별도의 적응 브랜치를 조건화합니다. 여러 광학 시스템에 걸친 광범위한 실험을 통해, LensBridge가 타깃 시스템의 쌍형 지도(paired supervision) 없이도 재사용 가능한 수차 보정 기반을 수차 보정 및 베일링 글레어 동시 제거로 효과적으로 확장함을 입증합니다. 모든 코드는 https://github.com/XiaolongQian/LensBridge 에서 공개될 예정입니다.
스냅샷 초분광 영상(snapshot hyperspectral imaging)은 순차적 스캐닝을 피할 수 있지만, 안정적인 복원, 저비용, 소형 광학계를 동시에 달성하는 시스템은 여전히 제한적입니다. 본 논문에서는 각도-분광 다양성 변환(angular-to-spectral diversity conversion)에 기반한 스냅샷 초분광 영상 시스템을 제시합니다. 테이퍼형 만화경(tapered kaleidoscope)은 서로 다른 입사 방향을 가진 복제된 뷰를 생성하며, 직접 부착된 복굴절 필터(birefringent filter)가 이를 뷰 채널에 의존적인 분광 투과율로 변환하여 상호보완적인 측정값을 제공함으로써 역문제(inverse problem)의 조건을 개선하고 더욱 안정적인 단일 샷 분광 복원을 가능하게 합니다. 이 시스템은 빠른 비학습 기반 복원을 위해 단순한 픽셀 단위 선형 모델(pixel-wise linear model)을 유지하며, 릴레이 광학계나 직렬 모듈 없이 상용(off-the-shelf) 부품만을 사용합니다. 저자들은 조건수(condition number) 기반 기준을 활용하여 복굴절 필터 구성을 선택하고, 합성 데이터 및 실제 데이터 모두에서 시스템을 검증합니다.
단일 픽셀 센싱은 장면을 짧은 부호화 측정 시퀀스로 인코딩하며, 이미지 없는(image-free) 방법은 그 시퀀스로부터 작업을 직접 추론한다. 재구성을 제거한다고 난이도가 사라지는 것은 아니다. 난이도는 리프트(lift), 즉 1차원 측정에서 2차원 표현으로의 매핑으로 옮겨지며, 기존 연구는 이를 사소한 reshape로 취급해 왔다.
우리는 리프트를 이미지 없는 센싱의 핵심 설계 축으로 재정의하고, 입력에 대한 적응 강도에 따라 방법을 분류한다: 고정 물리 역변환(재구성-후-분할), 학습된 정적 투영, 또는 내용 적응형 검색; 이 리프트 스펙트럼 상의 위치는 획득 품질이 저하될 때의 동작을 예측한다.
시공간 소프트 퓨전(spatiotemporal soft-fusion, STSF) 네트워크는 프로브 선택 순환(recurrent) 인코더를 매개변수 매칭(parameter-matched) ablation으로 선택된 교차 어텐션 리프트와 U-Net++ 디코더 앞단에서 결합하며, 예약된 재구성 사전(scheduled reconstruction prior)인 작업 우선 손실 스케줄링(task-prioritized loss scheduling, TPLS) 하에서 학습한다.
시뮬레이션에서 STSF+TPLS는 3.13% 샘플링에서 세 데이터셋에 걸쳐 기존 이미지 없는 기준선을 능가하며(전경 mIoU +3.2~+9.9 pp), 0.39%까지 평탄해진다.
가장 강력한 클린 학습 재구성-후-분할 기준선은 무잡음 한계에서 우승하지만, 보정된 측정 잡음 하에서는 이미지 없는 추론이 이를 추월한다. 측정으로 확인된 이유는 재구성 파이프라인이 분할기(segmenter)가 읽기 전에 동일한 측정 잡음을 증폭하기 때문이다.
각 구간은 고유한 실패 양상을 보인다: 붕괴(collapse), 각인(imprinting), 또는 조잡화(coarsening).
STSF+TPLS는 개념 증명(proof of concept)으로 미세조정 없이 실제 단일 픽셀 벤치로 전이되며, 마스크당 약 14 ms이다.
리프트를 도식화하면 분산된 설계 공간이 각 운영 지점(operating point)에서 어떤 리프트를 배치할지에 대한 지도로 바뀐다.
코드 및 사전학습 가중치: https://github.com/Hanyuyuan6/STSF-TPLS
계산 이미징(computational imaging)은 간접적이고 노이즈가 포함된 측정값으로부터 숨겨진 신호를 복원하는 기술로, 다양한 과학 분야의 정량적 발견을 뒷받침한다. 그러나 올바른 복원 파이프라인을 구축하려면 깊은 도메인 전문 지식이 필요하며, 도메인 과학자들에게도 여전히 많은 노력을 요구한다. 우리는 6개 과학 분야에 걸쳐 57개의 전문가 검증 계산 이미징 작업으로 구성된 벤치마크인 Imaging-101을 소개한다. 각 작업은 동료 심사 논문에 기반하며, 전처리(preprocessing), 순방향 물리 모델링(forward physics modeling), 역산 솔버(inverse solver), 시각화(visualization)의 표준화된 4단계 파이프라인으로 정규화되어 있다. 세 가지 평가 트랙(계획 수립, 함수 수준 단위 테스트, 엔드투엔드 복원)은 전체 파이프라인에 걸쳐 에이전트의 서로 다른 역량을 검증한다. 7개의 최신 대규모 언어 모델(LLM)을 평가한 결과, 범용 코딩 벤치마크에서 드러나는 문제를 넘어서는 체계적인 과제들이 확인되었으며, 이는 알고리즘 선택, 물리적 규약 처리, 파이프라인 통합에 걸쳐 있다. 이러한 결과는 구체적인 역량 격차를 부각시키며, 신뢰할 수 있는 계산 이미징 지원을 위한 현실적인 경로로서 스킬 보강된 도메인 특화 에이전트를 제시한다.
기존 역문제용 스코어 기반 방법들은 역변환 분포와 베이지안 사후 분포 사이의 KL 발산을 근사적으로 최소화하는 경우가 많다. 이러한 근사는 심각한 모드 붕괴와 신뢰할 수 없는 불확실성 정량화를 초래한다. 본 논문에서는 교묘한 근사에 의존하기보다 변분 추론의 기본으로 돌아가는 프레임워크인 Principled Posterior Matching(PPM)을 제안한다. 휴리스틱 근사에 의존하는 대신, Fisher 발산의 적분을 통합하여 KL 발산의 정확한 최적화를 엄밀하게 공식화한다. 우리는 이 적분의 계산 가능하고 동등한 그래디언트 형태를 유도하여, 이전 근사가 도입한 편향 없이 정밀한 최적화를 가능하게 한다. 우리의 분석은 이전 방법들의 모드 붕괴가 이러한 근사 격차에서 직접 비롯됨을 명확히 밝힌다. 이론적 해법을 뒷받침하여, PPM은 두 가지 상보적 패러다임을 통합한다: (1) 변분 추론에서 PPM은 역변환 다양성과 불확실성 정량화를 크게 개선하는 mass-covering 발산을 채택한다; (2) 상환 추론(amortized inference)에서는 빠른 단일 단계 재구성을 위한 효율적인 재구성 네트워크 학습을 가능하게 한다. 또한 우리의 공식화는 Fisher 발산 적분의 일반화를 통해 더 넓은 발산 척도 계열로 자연스럽게 확장된다. 우리는 인페인팅, 초해상도 형광 현미경, 전파 간섭계 블랙홀 영상 등 도전적인 계산 영상 작업 전반에서 PPM을 검증한다. 모든 실험에서 PPM은 우수한 재구성 충실도, 충실한 다중모드 사후 복원, 그리고 잘 교정된 불확실성 추정을 달성하여 과학 영상을 위한 견고한 프레임워크를 구축한다.
위상 복원(Phase retrieval) - 강도 측정으로부터 복소수 필드를 복원하는 문제 -은 일반적으로 측정 평면 사이의 교대 투영으로 이해되는 Gerchberg-Saxton(GS) 알고리즘의 변형을 사용하여 해결됩니다. 한편, 현대의 계산 영상은 점차 그래디언트 기반 최적화와 자동 미분에 의존하고 있습니다. 본 연구에서는 이 두 접근 방식이 수학적으로 동일함을 보여줍니다: GS 크기 대체 단계는 진폭 최소제곱 손실(amplitude least-squares loss)에 대한 단위 경사하강법(gradient descent) 단계와 정확히 일치합니다. 이러한 동등성을 통해 고전적 위상 복원과 미분 가능한 물리 파이프라인의 매끄러운 통합이 가능해집니다. 또한 우리는 이 동등성에 대한 두 가지 상호 보완적인 확률적 해석을 식별합니다: 전역적으로는 진폭 손실이 가우시안 진폭 노이즈 하에서의 음의 로그 가능도(negative log-likelihood)이며, 국소적으로는 각 투영 단계가 전파된 필드를 사전 분포(prior)로 하는 베이지안 업데이트로 발생합니다. 국소적 관점은 반복적 위상 복원에서 완화에 대한 정성적 지침을 제공합니다.