arXiv:2303.06905

DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal from Varicolored Haze Scenes

Sixiang Chen, Tian Ye, Jun Shi, Yun Liu, Jingxia Jiang, ErKang Chen, Peng Chen

제출 2023-03-13

원문 초록

Varicolored haze caused by chromatic casts poses haze removal and depth estimation challenges. Recent learning-based depth estimation methods are mainly targeted at dehazing first and estimating depth subsequently from haze-free scenes. This way, the inner connections between colored haze and scene depth are lost. In this paper, we propose a real-time transformer for simultaneous single image Depth Estimation and Haze Removal (DEHRFormer). DEHRFormer consists of a single encoder and two task-specific decoders. The transformer decoders with learnable queries are designed to decode coupling features from the task-agnostic encoder and project them into clean image and depth map, respectively. In addition, we introduce a novel learning paradigm that utilizes contrastive learning and domain consistency learning to tackle weak-generalization problem for real-world dehazing, while predicting the same depth map from the same scene with varicolored haze. Experiments demonstrate that DEHRFormer achieves significant performance improvement across diverse varicolored haze scenes over previous depth estimation networks and dehazing approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28159v1cs.CV공통 태그 Depth Estimation, Contrastive Learning

3D 공간 인식을 갖춘 2D 표현을 위한 깊이 유도 대조 학습

Depth-Guided Contrastive Learning for 2D Representations with 3D Spatial Awareness

표준 대조 학습(contrastive learning) 프레임워크는 주로 의미론적 관점에서 설계되지만, 3D 공간 구조를 보존하는 2D 시각 표현을 학습하는 것 역시 장면 이해(scene understanding)에 중요하다. 본 연구에서는 3D 공간 인식을 2D 대조 표현 학습에 주입하는 단순한 보조 목적 함수인 깊이 유도 대조 학습(DGCL, Depth-Guided Contrastive Learning)을 제안한다. 핵심 아이디어는 깊이(depth)를 이용해 국소 3D 근접성을 대조 유사도로 변환하는 것이다. 3D 공간에서 더 가까운 픽셀은 더 멀리 떨어진 픽셀보다 더 유사한 표현을 갖도록 유도한다. 절대 깊이 값에 의존하는 대신, DGCL은 무작위로 샘플링한 픽셀들 간의 상대 3D 거리 비교를 통해 지도 신호를 구성하여, 목적 함수가 깊이 스케일에 불변(invariant)하고 계산이 효율적이며 기존 대조 학습 프레임워크에 쉽게 통합되도록 한다. 다양한 데이터셋과 모델에 걸친 실험에서 DGCL은 2D 표현 학습을 일관되게 향상시키며, 더 강한 공간·기하학적 이해를 통해 의미론적 하류(downstream) 과제에도 도움이 됨을 보인다. 코드는 https://github.com/LeungTsang/DGCL 에서 제공된다.

arXiv:2607.22355v1cs.CV공통 태그 Depth Estimation, Contrastive Learning

SiPhy: 단일 이미지 물리적 속성 추론

SiPhy: Single-Image Physical Property Reasoning

단일 이미지로부터 질량, 강성, 탄성과 같은 물리적 속성을 추론하는 것은 시뮬레이션 및 체화 AI(embodied AI)에 필수적이지만, 기존 대부분의 접근법은 다중 뷰 재구성 또는 물리 기반 감독에 의존한다. 우리는 3D 인식 시각 단서·깊이와 언어 기반 재료 지식을 정렬하는 단일 이미지 물리적 속성 추론을 위한 통합 프레임워크인 SiPhy를 제안한다. 하나의 RGB 이미지로부터 SiPhy는 pseudo-voxel 포인트를 샘플링하고 CLIP 특징을 추출하며, VLM이 제안한 재료 후보에 이를 그라운딩(grounding)한다. 부품 기반 대조(contrastive) 집계기는 영역 일관성을 강제하고, heaviness-aware 정제(refinement)는 밀집 객체에 대한 두께 및 부피 추정을 개선한다. ABO-500, MVImgNet-100, PhysXNet-100에서 SiPhy는 최첨단 단일 이미지 성능을 달성하며, 다중 뷰 재구성 방법을 능가한다: 질량 MnRE를 최대 93% 개선(PUGS 대비), 밀도 MAE를 35.5% 감소(NeRF2Physics 대비), 영률(Young's modulus) 오차를 23.5% 낮춘다. 또한 실제 손-객체 상호작용 데이터셋에서 SiPhy를 검증하여, 단일 뷰 영상으로부터의 물리적 이해를 위한 데이터 어노테이션 엔진으로서의 잠재력을 보여준다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.