고해상도 강수 추정치는 홍수 위험 평가와 수자원 관리를 지원하지만, 저해상도 위성 관측 자료는 각 격자 셀 내의 강우를 세밀하게 분해하지 못합니다. 생성 모델(generative model)은 그럴듯한 고해상도 강우장의 앙상블(ensemble)을 생성함으로써 이러한 모호성을 해결합니다. 이러한 모델 중 정류 흐름(rectified flow)은 무작위 노이즈를 강우장으로 반복 변환하여 샘플을 생성합니다. 샘플링 스텝 수를 줄이면 생성 속도는 빨라지지만 앙상블 구성원들이 지나치게 유사해져 불확실성을 과소평가할 수 있습니다. 본 연구에서는 국소적 세부 정보에 앞서 광역 패턴을 먼저 생성하고, 공간 스케일 전반에서 앙상블 변동성과 예측 오차를 비교하여 샘플링 스텝 할당을 유도하는 스케일 재귀적 정류 흐름(scale-recursive rectified flow)을 제안합니다. 검증(validation) 점수와 강우 파워 스펙트럼을 통해 할당을 제한함으로써 과도한 증폭을 방지합니다. 미국 본토를 대상으로 한 위성-레이더 다운스케일링 실험에서, 분석 결과 샘플링 예산이 줄어들었을 때 광역 강우 패턴이 불충분한 앙상블 변동성의 주요 원인임을 확인했습니다. 동일한 아키텍처 및 계산 비용 하에서 조대(coarse) 흐름에 더 많은 스텝을 할당한 결과, 여러 학습(training) 시드 전반에서 확률적 정확도와 강우 탐지 성능이 향상되었습니다. 또한 제안된 모델은 더 많은 스텝을 사용하는 비재귀적 흐름보다 더 짧은 샘플링 시간으로도 더 우수한 확률적 정확도를 달성했습니다.
본 논문에서는 연속적인 이미지 디코딩을 위한 고정 그리드 국소 스펙트럼 표현인 GB-LSR(Global-Bandwidth Local Spectral Representation)을 제시한다. 이미지 영역은 겹치지 않는 정사각형 패치들로 분할된다. 각 패치는 공유된 합성곱 인코더 특징으로부터 단일 선형 투영을 통해 예측되는 절단된 푸리에 기저 계수를 가지며, 학습 가능한 단일 스칼라 대역폭이 모든 패치와 모든 이미지에 걸쳐 공유된다. 이전의 국소 스펙트럼 디코더와 마찬가지로 연속적인 좌표에서의 디코딩은 스펙트럼 컷오프에 의해 비용이 결정되는 고정 크기 기저 축소 과정이며, GB-LSR은 해당 기저의 대역폭을 고정하는 대신 이를 학습한다. 저자들이 공개한 LIIF, LTE, SRNO 체크포인트를 동일한 RDN 인코더 상에서 비교하여 임의 배율 초해상도 확장 모델인 GB-LSR-Scalar-ASR을 평가하였으며, 모든 방법은 단일 프로토콜로 점수를 매기고 배율당 단일 세션에서 각각 하나의 GPU로 시간을 측정하였다. 본 모델은 4배율에서 LIIF-RDN보다 1.25배 빠르고, 공개 코드가 Urban100에서 15배 더 많은 피크 메모리를 사용하는 SRNO-RDN만큼 빠르다. 인코더가 일치된 세 가지 기준선(baseline) 대비 분포 내에서 PSNR-Y가 0.07~0.79 dB 뒤처지며, SRNO-RDN보다는 평균 0.35 dB 뒤처진다. 국소 앙상블(ensemble)을 제거하면 4배율에서 셀 경계에서 평균 0.22 그레이 레벨(255 기준)의 값 점프가 발생하는 대신, 시드 변동을 넘어서는 PSNR-Y 변화 없이 LIIF-RDN 대비 2.41배, SRNO-RDN 대비 1.95배 빨라지고, 8배율에서는 각각 3.00배와 2.41배 빨라진다. 4배율에서 최근 다섯 가지 방법의 EDSR 기준선 체크포인트와 비교했을 때, GB-LSR-Scalar-ASR은 LMF, SRNO-EDSR, OPE-SR-EDSR 대비 PSNR-Y에서 더 높거나 0.17 dB 이내의 차이를 보였으며(2,202만 개 파라미터 대비 139만~643만 개), GSASR 및 Thera(2,044만 및 585만 개)보다는 0.14~0.57 dB 낮았고, 4배율에서 모든 기준선보다 높은 평균 LPIPS를 기록했다.
흐름 기반 생성 모델(flow-based generative model)은 역문제(inverse problem) 해결을 위한 강력한 사전확률(prior)로 부상했습니다. 한 가지 방법은 흐름 출력물이 역문제를 해결하도록 초기 잠재 코드(노이즈)를 직접 최적화하는 것입니다. 그러나 이 방식은 전체 생성 궤적을 통해 역전파해야 하므로 높은 메모리 비용과 수치적 불안정성을 초래합니다. 본 논문에서는 궤적을 단일 초기 코드가 아닌 중간 잠재 상태들의 시퀀스로 표현하는 MS-Flow를 제안합니다. 국소적으로 흐름 역학을 강제하고 궤적 일치 페널티를 통해 세그먼트들을 결합함으로써, MS-Flow는 중간 잠재 상태를 업데이트하는 것과 관측 데이터와의 일관성을 강제하는 것을 번갈아 수행합니다. 이를 통해 재구성 품질을 향상시키면서 메모리 소비를 줄입니다. 인페인팅, 초해상도(super-resolution), 컴퓨터 단층촬영(CT)을 포함한 이미지 복원 및 역문제에서 기존 방법 대비 MS-Flow의 효과를 입증합니다.
초해상도(Super-Resolution, SR)는 최근 수년간 빠르게 발전해 왔으며, 확산 기반 모델은 전례 없는 충실도를 달성하는 대신 새로운 유형의 시각적 아티팩트를 도입하는 대가를 치른다. 기존 이미지 품질 평가(Image Quality Assessment, IQA) 방법은 종합적인 품질 점수를 제공하지만, 해석 가능성이 부족하고 현대적 SR 접근법에서 발생하는 서로 다른 아티팩트 유형을 구분하지 못한다. 이 공백을 메우기 위해, 우리는 초해상도 이미지에서의 세분화된 아티팩트 분할을 위해 특별히 설계된 대규모 데이터셋인 SR-Ground를 소개한다. 이 데이터셋은 다양한 최신 SR 모델로 처리된 이미지로 구성되며, 여러 아티팩트 범주에 대한 픽셀 수준 주석이 포함되어 있다. 우리는 자동 생성된 분할을 검증하고 정제하기 위해 1,062명의 참가자가 참여한 대규모 크라우드소싱 연구를 수행하여, 6가지 서로 다른 아티팩트 유형을 아우르는 63,000장의 고품질 데이터셋을 구축하였다. SR-Ground에서 그라운딩 능력을 갖춘 IQA 모델을 학습하면 다운스트림 작업의 성능이 크게 향상됨을 보인다. 나아가, 우리의 그라운딩 모델을 활용하여 SR 출력에서 인지 가능한 아티팩트를 줄이는 미세조정 파이프라인을 도입함으로써 데이터셋의 실용적 유용성을 보여준다. 보지 못한 다섯 가지 SR 방법의 출력 1,000개로 구성된 별도 벤치마크에서, 저해상도 참조 그라운딩 모델은 무참조 대비 두드러짐 정렬(prominence alignment)을 크게 개선하며, 고해상도 정답(Ground-Truth)이 없는 저해상도 이미지의 실제 세계 원본 데이터셋에서 가장 우수한 성능을 보인다.
연산자 학습(operator learning)은 머신러닝과 과학 계산의 교차점에서 부상하는 분야이다. 함수 공간 사이의 사상을 학습함으로써 신경 연산자(neural operators)는 편미분방정식(PDE) 계열에 대한 데이터 기반 대리 모델(surrogate model)을 제공한다. 학습이 끝나면 이러한 모델은 해 연산자(solution operator)를 효율적으로 평가할 수 있어, 실시간 예측 및 매개변수 스윕(parameter sweep)과 같은 다중 쿼리(many-query) 응용에 적합하다. 그러나 복잡한 순방향 및 역 문제에 대해 높은 근사 정확도와 안정적인 장기 예측을 유지하는 것은 여전히 어렵다. 이러한 과제를 해결하기 위해, 고전적 반복 솔버의 초기화 및 잔차 보정(residual-correction) 구조를 신경 연산자 학습에 통합하는 Starter-Iterator Neural Operator(SINO)를 제안한다. 주파수 영역 Starter는 지배적인 전역 스펙트럴 특성을 포착하고 정보에 기반한 초기 근사를 제공하며, 잠재 공간(latent-space) Iterator는 연속적인 잔차 기반 보정을 적용하여 국소 및 다중 스케일 해 구조를 정교화한다. Navier-Stokes 및 음향 파동 방정식을 포함한 대표적인 시간 의존 PDE, 이미지 초해상(image super-resolution), 일기 예보(weather forecasting) 응용에 대한 실험은 SINO가 본 연구에서 고려한 벤치마크 전반에 걸쳐 경쟁력 있는 정확도와 안정적인 성능을 달성함을 보여준다.
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.
Hidden-Shot은 저수준 비전(low-level vision) 제너럴리스트 모델이 학습하지 않은 새로운 태스크에 원샷(one-shot)으로 일반화할 수 있도록, 암묵적 시각 특징과 언어 기반 글로벌 프롬프트를 결합한 경량 프롬프트 주입 프레임워크를 제안한다. 체계적인 평가를 위해 3C4U/3C7U 프레임워크를 도입하고, 7개 및 10개 데이터셋 실험에서 기존 최고 성능 제너럴리스트 모델을 능가하면서도 기학습 태스크 성능을 유지함을 입증했다.
이미지 기반 역문제(inverse problem)를 해결하기 위한 기존 전략들은 사후 샘플링(posterior sampling)을 수행하기 위해 잠재 확산 모델(latent diffusion model)을 적용합니다. 그러나 거의 모든 접근 방식은 해 공간(solution space)을 탐험하려는 명시적인 시도를 하지 않고, 대신 가우시안 분포에서 단 하나의 표본만을 추출하여 해를 생성합니다. 본 논문에서는 역방향 확률 미분 방정식(reverse SDE) 기법의 초기 단계에서 해 공간을 비선형적으로 탐험하기 위한 입자 필터링(particle-filtering) 기반 프레임워크를 소개합니다. 제안하는 입자 필터링 기반 잠재 확산(PFLD) 방법과 문제 정식화 및 프레임워크는 선형 또는 비선형 역문제를 위한 모든 확산 기반 솔루션에 적용할 수 있습니다. 실험 결과에 따르면, PFLD는 초해상도(super resolution), 가우시안 디블러링(Gaussian deblurring), 인페인팅(inpainting) 역문제 작업의 FFHQ-1K 및 ImageNet-1K 데이터셋에서 최첨단(SoTA) 솔버인 PSLD를 능가하는 성능을 보입니다.
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
대규모 확산 트랜스포머(DiT) prior를 활용한 비디오 초해상화(VSR)는 뛰어난 지각적 품질을 달성하지만, 밀집된 시공간 토큰 시퀀스를 처리하는 이차 계산 비용 때문에 실용적이지 않은 경우가 많다. 기존 효율 중심 방법은 되돌릴 수 없는 디테일 손실과 시간적 깜빡임 위험이 있으며, 이 취약점은 원스텝 확산 모델에서 특히 두드러진다. 이를 해결하기 위해, 컨텍스트 인식 비디오 prior와 네트워크 수준 prior를 모두 활용하여 적응적 토큰 할당을 수행하는 토큰 라우팅 및 병합 프레임워크 TRaM-VSR을 제안한다. 먼저, 동작에 민감한 시간적 단서와 의미적 텍스트 유사도를 융합하여 토큰 중요도를 추정하고, 동적 객체와 구조적 경계를 분리한다. 다음으로, 오프라인 플래너가 이 중요도를 추가로 보정·조정하여 최적으로 그룹화된 네트워크 블록 전반의 라우팅을 안내한다. 기술적으로, 각 라우팅 그룹 내에서 구조적으로 중요한 토큰은 고충실도 로컬 스트림에서 처리되고, 정보가 적은 토큰은 컴팩트한 글로벌 스트림으로 집계되며, 둘 모두 네트워크 깊이에 따라 변조되고 확산 모델의 다중 세분성 특성과 정렬된다. 광범위한 실험 결과, TRaM-VSR은 최첨단 재구성 품질과 견고한 시간적 일관성을 유지하면서 추론을 크게 가속화한다. 코드는 https://github.com/Ree1s/TRaM-VSR 에서 확인할 수 있다.
많은 3D 에셋이 낮은 텍스처 해상도로 인해 폐기되지만, 현재의 초해상도 모델은 텍스처 맵을 무시하고 자연 이미지에만 집중한다. 효율적이고 일반화 가능한 텍스처 초해상도 모델은 영화, 비디오 게임 등 다양한 산업 분야에 걸쳐 노후화되었으나 가치 있는 방대한 에셋 코퍼스를 되살릴 수 있다. 우리는 텍스처 초해상도를 위한 새로운 프레임워크인 Texture++를 제안하며, 이는 에셋의 저해상도 텍스처를 향상시켜 고해상도의 고품질 결과를 생성한다. 구체적으로, UV 공간에서의 초해상도 작업을 여러 렌더링된 뷰에서 수행하고 출력을 병합하는 방식으로 재공식화한다. 첫째, 뷰 공간에서 더 완전하고 연속적인 텍스처를 달성하기 위해 UV 텍스처 패치에 분산된 텍스처를 통합하는 적응형 뷰 선택 전략을 제안한다. 또한, 서로 다른 시점에서 초해상도 처리된 텍스처를 결합하기 위한 쿼드트리(quadtree) 기반 텍스처 영역 구성 방법을 도입하여, 개선이 필요한 영역을 구분하는 마스크를 제공한다. 마지막으로, 지정된 마스크 영역의 텍스처 해상도를 향상시키고 주변 영역과 원활하게 통합하는 확산 기반 초해상도 모델을 설계한다. 포괄적인 평가를 통해, 우리의 접근법이 기존 방법 대비 세부 묘사와 일관성이 크게 향상된 텍스처를 생성함을 입증한다.
암시적 신경 표현(INR)에서 조화 스펙트럼 풍부화를 위한 반복적 메커니즘으로서 사인파 순환을 연구한다. 우리의 분석은 사인파 활성화가 조화 선 스펙트럼을 유도하며, 순환 전개가 유효 스펙트럼 지원을 어떻게 풍부하게 하는지에 대한 스펙트럼적 설명을 제공함을 보여준다. 우리는 잠재 표현을 반복적으로 정제하는 공유 사인파 블록으로 이 원리를 구현한다. 피드포워드 INR, 비사인파 순환 변형, 평형 스타일 사인파 모델과 대비하여 결과적인 스펙트럼 거동을 실증적으로 검증한다. 이 분석을 보완하여, 이미지 및 3D 표현 작업 전반에 걸쳐 제안된 아키텍처를 평가한다. RGB 이미지 벤치마크에서 우리 방법은 더 적은 파라미터와 더 적은 최적화 단계로 피드포워드 기준선보다 더 높은 충실도를 달성하며, 초해상도, NeRF, SDF 작업으로도 유리하게 전이된다.
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
플러그 앤 플레이(Plug-and-Play) proximal 경사하강법(PnP-PGD)은 디노이저를 암시적 사전(prior)으로 사용하여 유연한 이미지 복원을 가능하게 한다. 실무에서는 이러한 디노이저가 종종 학습 도메인 밖에서 배포된다. 기존 분석은 배포된 디노이저에 대한 구조적 가정—예를 들어 proximal map이거나 수축(contraction)이어야 한다는 조건—하에서 수렴을 확립한다. 그러나 도메인 불일치가 PnP-PGD의 수렴에 미치는 영향을 측정하지는 않는다. 우리는 이 효과를 proximal mismatch로 정의한다: 배포된 디노이저 $\widehat{\mathsf D}$와 기저 정규화자(regularizer) $R_\star$에 연관된 목표 도메인 참조 map $\mathsf D_\star=\operatorname{prox}_{R_\star}$ 사이의 불일치이다. 이러한 불일치 하에서 각 디노이징 업데이트는 목표 목적함수에 대한 부정확(inexact) proximal 단계가 된다. 우리는 추가로 $\mathcal{O}(1/K)$의 속도로 감쇠하는 정상성(stationarity) bound를 도출하며, 평균 제곱 proximal mismatch에 비례하는 가산항을 포함한다. 이 결과는 MSE 기반 적응만으로는 부족하고 proximal matching을 통한 적응을 동기 부여한다. 우리는 학습된 proximal network와 gradient-step 디노이저라는 두 가지 확립된 디노이저 계열로 이 접근법을 연구한다. 상당한 도메인 이동(domain shift) 하에서 가우시안 디블러링(Gaussian deblurring)과 초해상도(super-resolution)에 대한 실험은 proximal matching 적응이 MSE 기반 적응보다 복원 품질을 유의미하게 향상시키며, 퓨샷(few-shot) 영역에서 가장 큰 수치적 이득을 보인다는 것을 보여준다.
올인원(all-in-one) 이미지 복원(image restoration)은 단일 통합 모델을 사용하여 여러 종류의 손상으로 훼손된 이미지를 깨끗한 이미지로 복원하는 것을 목표로 한다. 기존 방법들은 일반적으로 다양한 퇴화(degradation)를 처리하기 위해 이미지 수준 프롬프트(image-level prompts)나 공유 가이던스(shared guidance)에 의존한다. 그러나 이러한 패러다임은 퇴화가 공간적으로 이질적이거나 단일 이미지 내에서 혼합된 형태로 공존하는 경우에는 부적절해진다. 한편 공간적으로 적응적인 가이던스만으로는 충분하지 않은데, 정확한 복원을 위해서는 각 공간 쿼리(spatial query)가 지역 이웃(local neighborhoods)과 전역 문맥(global contexts)으로부터 보완적 정보를 신뢰성 있게 집계해야 하기 때문이다. 이를 위해 우리는 올인원 이미지 복원을 위한 통합 프레임워크인 QuReC를 제안한다. QuReC는 퇴화 가이드 쿼리 재구성 모듈(Degradation-Guided Query Reconstruction Module, DQRM)과 지역-전역 응답 보정 모듈(Local-Global Response Calibration Module, LGRCM)로 구성된다. 구체적으로, DQRM은 각 공간 쿼리를 퇴화 프로토타입 공간(degradation prototype space)과 매칭하여 쿼리 특이적 퇴화 인식 표현(query-specific degradation-aware representation)을 재구성함으로써, 세밀한 공간 적응형 복원 가이던스를 제공한다. 이 쿼리 단위 매칭 과정을 더욱 안정화하기 위해, 최적화 안정성과 퇴화 의미 일관성을 향상시키는 약지도 프로토타입 매칭 학습(weakly supervised prototype matching learning) 전략을 도입한다. 한편 LGRCM은 지역-전역 이중 분기 집계(local-global dual-branch aggregation)를 수행하고 학습 가능한 사전(prior)으로 집계된 응답을 보정하여, 특징 집계의 신뢰성과 지역 세부 모델링과 전역 문맥 모델링 간의 조율을 개선한다. 광범위한 실험 결과 QuReC는 여러 올인원 이미지 복원 벤치마크에서 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/zhoushen1/QuReC 에서 공개되었다.
최근 단일 이미지로부터 인상적인 3D 객체를 생성할 수 있는 연구들이 등장했지만, 표현 해상도의 제한으로 인해 3D 장면 생성에는 적합하지 않다. 본 연구에서는 계층적 복셀 향상 프레임워크를 기반으로 한 고품질 3D 장면 생성을 위한 새로운 방법인 HIVE-3D를 제안한다. 구체적으로, 단일 장면 이미지를 입력으로 주면 먼저 거친 초기 장면을 생성한 뒤, 이미지 분할과 어텐션 기반 검색을 도입하여 2D 이미지 구성요소와 3D 장면 구성요소를 정렬한다. 이후 이러한 장면 관계를 계층적 구성요소 트리로 구성하는데, 리프에 가까운 노드일수록 더 세분화된 구성요소를 나타낸다. 마지막으로, 거친 복셀과의 강한 일관성을 유지하면서 대상 인스턴스에 대한 정제된 복셀을 생성하는 복셀 초해상도 모델을 제안한다. 이 모델을 활용하여 각 구성요소에 대해 이미지와 복셀에 대한 거친-세밀(coarse-to-fine) 계층적 초해상도를 수행하여 고해상도이며 고품질의 3D 장면을 생성한다. 광범위한 실험을 통해 본 방법이 이전 접근법들을 크게 능가하며 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
최근 비전 트랜스포머(ViT) 기반 모델들은 이미지 초해상도(super-resolution)에서 뛰어난 성능을 보여주고 있다. 그러나 ViT의 공간 해상도에 대한 이차적(quadratic) 연산 복잡도는 효율성을 심각하게 제한하여 높은 지연 시간과 대규모 메모리 소비를 유발한다. 이를 완화하기 위해 다양한 윈도우 기반 어텐션 메커니즘이 제안되었지만, 이러한 방식들은 ViT의 핵심 장점인 장거리 의존성(long-range dependency) 모델링을 본질적으로 저해한다. 이러한 한계를 극복하기 위해, 우리는 전역 및 지역 정보를 효율적으로 통합하는 새로운 아키텍처인 클러스터링 기반 유닛 수준 유사도 트랜스포머(CUST, Clustered Unit-level Similarity Transformer)를 제안한다. 구체적으로, CUST는 각 패치가 지역 윈도우 외부의 확장된 영역 범위 내에서 유사한 패치들을 집계하고 어텐션을 수행할 수 있도록 함으로써 광범위한 문맥 이해를 가능하게 한다. 또한, 지역 의존성을 포착하기 위해 겹치는 어텐션 윈도우를 적용하는 동시에, 원본 특징과 다운샘플링-업샘플링된 대응 특징 간의 잔차 차이를 계산하여 고주파 세부 정보를 명시적으로 추출한다. 포괄적인 실험을 통해 제안된 모델이 연산 효율성과 복원 성능 간의 실용적인 균형을 달성함을 검증한다. 현실적인 제약 조건 하에서 최근의 전역 문맥 모델 또는 경량 모델과 비교하여 더 낮은 메모리 사용량과 더 빠른 추론 속도를 달성한다. 코드는 https://github.com/jwgdmkj/CUST 에서 공개되어 있다.
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
화상 회의 애플리케이션은 개인 및 업무 용도 모두에서 채택이 급증하고 있다. 그러나 전 세계 많은 사용자들이 직면한 대역폭 제한으로 인해 이러한 애플리케이션의 최적 활용이 저해될 수 있다. 심층 학습(deep learning)은 저비트레이트 비디오를 향상시키는 솔루션을 제공하지만, 오늘날 대부분의 모델은 최신 압축 표준과 통합하기 어렵거나 고성능 GPU와 같은 특수 하드웨어를 필요로 하여 실용성이 낮다. 이러한 문제를 해결하기 위해, 임의의 비디오 디코더와 손쉽게 통합할 수 있고 일반 CPU에서 실시간으로 실행 가능한 실시간 얼굴 비디오 향상(RTFVE) 모델을 제안한다. 실험 결과, 본 모델은 여러 저비트레이트 설정에서 압축 비디오 기준선 대비 지각적 품질을 향상시키는 것으로 나타났다. 소스 코드는 https://github.com/varun-jois/RTFVE에서 공개될 예정이다.