arXiv:2007.01636

Noise2Filter: fast, self-supervised learning and real-time reconstruction for 3D Computed Tomography

Marinus J. Lagerwerf, Allard A. Hendriksen, Jan-Willem Buurlage, K. Joost Batenburg

제출 2020-07-03

원문 초록

At X-ray beamlines of synchrotron light sources, the achievable time-resolution for 3D tomographic imaging of the interior of an object has been reduced to a fraction of a second, enabling rapidly changing structures to be examined. The associated data acquisition rates require sizable computational resources for reconstruction. Therefore, full 3D reconstruction of the object is usually performed after the scan has completed. Quasi-3D reconstruction -- where several interactive 2D slices are computed instead of a 3D volume -- has been shown to be significantly more efficient, and can enable the real-time reconstruction and visualization of the interior. However, quasi-3D reconstruction relies on filtered backprojection type algorithms, which are typically sensitive to measurement noise. To overcome this issue, we propose Noise2Filter, a learned filter method that can be trained using only the measured data, and does not require any additional training data. This method combines quasi-3D reconstruction, learned filters, and self-supervised learning to derive a tomographic reconstruction method that can be trained in under a minute and evaluated in real-time. We show limited loss of accuracy compared to training with additional training data, and improved accuracy compared to standard filter-based methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.19693v2cs.CV공통 태그 Self-Supervised Learning, 3D Reconstruction

RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습

RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.

arXiv:2608.28240v2cs.CV공통 태그 Self-Supervised Learning, 3D Reconstruction

WilLaGS: 제약 없는 환경에서 강건한 가우시안 스플래팅을 위한 잠재 조건부 3D 외관 필드

WilLaGS: Latent-Conditional 3D Appearance Fields for Robust Gaussian Splatting In-the-Wild

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 실시간 고품질 렌더링을 제공하지만, 급격한 외관 변화와 일시적 객체로 다중 뷰 일관성이 깨지는 제약 없는(in-the-wild) 장면에서는 여전히 한계가 있다. 기존 방법은 독립적이고 이산적인 임베딩에 근본적으로 의존하여 연속적인 환경 변화를 포착하거나 공간적으로 변하는 국소 조명을 모델링하기 어렵다. 이러한 한계를 해결하기 위해, 제약 없는 설정에서 강건한 3D 장면 복원과 생성형 외관 합성을 위한 통합 프레임워크 \textbf{WilLaGS}를 제안한다. 구체적으로, $\beta$-VAE가 전역 외관의 구조화되고 연속적인 매니폴드를 학습하는 생성형 외관 모델을 도입한다. 잠재 코드에 조건화하여, 공간적으로 변하는 국소 조명 효과를 인코딩하는 동적 Tri-Plane 특징을 생성하는 3D 신경 외관 필드를 구축한다. 나아가 일시적 아티팩트를 억제하기 위해, 교사-학생(Teacher-Student, EMA) 아키텍처로 안정적인 장면 합의를 도출하고 지각적 불일치로 일관되지 않은 영역을 강건하게 식별하는 자기지도 지각 마스킹 메커니즘을 제시한다. 여러 데이터셋에 대한 광범위한 실험을 통해 \textbf{WilLaGS}가 실시간 렌더링 효율을 유지하면서 복원 품질과 새로운 시점 외관 합성에서 최첨단 성능을 달성함을 보인다.

arXiv:2609.23961v1cs.CV공통 태그 Self-Supervised Learning, 3D Reconstruction

Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성

Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video

단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.

arXiv:2610.13503v2cs.CV공통 태그 3D Reconstruction

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.