arXiv:1709.05745

Joint Estimation of Camera Pose, Depth, Deblurring, and Super-Resolution from a Blurred Image Sequence

Haesol Park, Kyoung Mu Lee

제출 2017-09-18

원문 초록

The conventional methods for estimating camera poses and scene structures from severely blurry or low resolution images often result in failure. The off-the-shelf deblurring or super-resolution methods may show visually pleasing results. However, applying each technique independently before matching is generally unprofitable because this naive series of procedures ignores the consistency between images. In this paper, we propose a pioneering unified framework that solves four problems simultaneously, namely, dense depth reconstruction, camera pose estimation, super-resolution, and deblurring. By reflecting a physical imaging process, we formulate a cost minimization problem and solve it using an alternating optimization technique. The experimental results on both synthetic and real videos show high-quality depth maps derived from severely degraded images that contrast the failures of naive multi-view stereo methods. Our proposed method also produces outstanding deblurred and super-resolved images unlike the independent application or combination of conventional video deblurring, super-resolution methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.12753v3cs.CV공통 태그 Super-Resolution

RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭

RFMSR: Residual Flow Matching for Image Super-Resolution

생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.

arXiv:2607.10130v2cs.CV공통 태그 Pose Estimation

TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.