arXiv:2204.01027

Distortion-Aware Self-Supervised 360° Depth Estimation from A Single Equirectangular Projection Image

Yuya Hasegawa, Ikehata Satoshi, Kiyoharu Aizawa

제출 2022-04-03

원문 초록

360{\deg} images are widely available over the last few years. This paper proposes a new technique for single 360{\deg} image depth prediction under open environments. Depth prediction from a 360{\deg} single image is not easy for two reasons. One is the limitation of supervision datasets - the currently available dataset is limited to indoor scenes. The other is the problems caused by Equirectangular Projection Format (ERP), commonly used for 360{\deg} images, that are coordinate and distortion. There is only one method existing that uses cube map projection to produce six perspective images and apply self-supervised learning using motion pictures for perspective depth prediction to deal with these problems. Different from the existing method, we directly use the ERP format. We propose a framework of direct use of ERP with coordinate conversion of correspondences and distortion-aware upsampling module to deal with the ERP related problems and extend a self-supervised learning method for open environments. For the experiments, we firstly built a dataset for the evaluation, and quantitatively evaluate the depth prediction in outdoor scenes. We show that it outperforms the state-of-the-art technique

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03717v1cs.CV공통 태그 Self-Supervised Learning, Depth Estimation

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2609.27554v1cs.LG공통 태그 Self-Supervised Learning, Prediction

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2609.28022v1cs.LG공통 태그 Self-Supervised Learning, Prediction

PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더

PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning

우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.

arXiv:2609.27988v1cs.CV공통 태그 Self-Supervised Learning, Depth Estimation

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.28414v1cs.CV공통 태그 Self-Supervised Learning, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2609.22271v1cs.CV공통 태그 Self-Supervised Learning, Prediction

다중모달 뇌졸중 재발 예측을 위한 비전 및 교차 모달 학습 실현: 해석 가능한 2단계 프레임워크

Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework

다중모달(multimodal) 뇌졸중 재발 예측은 이종의 임상 및 영상 데이터의 효과적인 통합을 필요로 하지만, 모달리티 불균형(modality imbalance)으로 인해 모델이 지배적인 모달리티에 지나치게 의존하고 상호보완적인 정보를 충분히 활용하지 못하는 경우가 자주 발생합니다. 자기지도 사전학습(self-supervised pretraining)과 선택적 매개변수 동결은 표현 학습과 미세조정 안정성을 향상시키기 위해 흔히 사용되지만, 다중모달 의료 모델에서 모달리티 기여도 및 교차 모달(cross-modal) 동작에 미치는 영향은 여전히 거의 연구되지 않았습니다. 본 연구에서는 최근 다루었던 임상적으로 중요한 과제인 뇌졸중 재발 예측을 위해, 3D CTA 스캔 기반의 영상 사전학습이 모달리티 불균형을 줄이고 교차 모달 통합을 향상시키는지 조사합니다. 이를 위해 두 가지 다중모달 신경망을 자기지도 방식으로 사전학습한 후, 두 가지 서로 다른 동결 전략을 사용하여 미세조정합니다. 이들의 성능과 모달리티 활용도를 이전 연구의 기준선 모델 및 본 연구에서 처음부터 완전히 학습(trained from scratch)된 모델 모두와 비교합니다. 연구 결과, 자기지도 사전학습은 다중모달 영상-정형(image-tabular) 데이터셋을 더욱 효과적으로 활용할 수 있게 하여 기존 기준선과 사전학습되지 않은 모든 모델을 능가함을 입증합니다. 특히, 가장 우수한 성능을 보인 Vision Transformer 기반 신경망은 단일모달 붕괴(unimodal collapse)를 성공적으로 극복했습니다. 시너지 분석 결과, 비전과 성별 및 관상동맥질환(CHD) 간의 유의미한 상호작용이 밝혀졌으며, 이는 뇌졸중 재발에 대한 임상적으로 유의미한 패턴을 시사합니다. 전반적으로, 본 연구의 결과는 자기지도 사전학습과 전략적인 미세조정이 보다 균형 잡힌 모달리티 활용을 지원하고 의미 있는 교차 모달 상호작용을 가능하게 함을 보여줍니다. 코드는 https://github.com/ChristianGappGit/SSL_Pretraining 에서 공개되어 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.