Depth-aware Neural Style Transfer using Instance Normalization
원문 초록
Neural Style Transfer (NST) is concerned with the artistic stylization of visual media. It can be described as the process of transferring the style of an artistic image onto an ordinary photograph. Recently, a number of studies have considered the enhancement of the depth-preserving capabilities of the NST algorithms to address the undesired effects that occur when the input content images include numerous objects at various depths. Our approach uses a deep residual convolutional network with instance normalization layers that utilizes an advanced depth prediction network to integrate depth preservation as an additional loss function to content and style. We demonstrate results that are effective in retaining the depth and global structure of content images. Three different evaluation processes show that our system is capable of preserving the structure of the stylized results while exhibiting style-capture capabilities and aesthetic qualities comparable or superior to state-of-the-art methods. Project page: https://ioannoue.github.io/depth-aware-nst-using-in.html.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학적 인식 사전학습을 통한 문맥 내 파노라마 생성 향상
Enhancing In-context Panoramic Generation via Geometric-aware Pretraining
본 연구에서는 기하학적 인식 사전학습과 다운스트림 태스크별 미세조정을 결합한 문맥 내(in-context) 파노라마 생성을 위한 2단계 프레임워크 Canvas360을 제시합니다. 문맥 내 파노라마 태스크에 특화된 대규모 고품질 학습 데이터의 부족 문제를 해결하기 위해, 스타일 전환, 인페인팅(inpainting), 아웃페인팅(outpainting), 편집을 위한 100만 개의 고품질 쌍(paired) 파노라마 샘플로 구성된 Canvas360Dataset을 제안하여 다양한 문맥 내 생성 시나리오에 걸친 효과적인 지도 학습을 가능하게 합니다. 모델링 측면에서 Canvas360은 병렬 깊이 생성(parallel depth generation), 속도 순환 패딩(velocity circular padding), 유사도 손실 정규화(similarity loss regularization)를 통해 텍스트-파노라마 생성을 향상시키며, 모델이 기하학적 인식 표현을 학습하고 객체 왜곡 세부 사항을 포착하여 기하학적 일관성과 전역 일관성을 개선할 수 있도록 합니다. 나아가, 강력한 파노라마 사전 지식(panoramic priors)을 기반으로 Canvas360은 토큰 수준 연결(token-level concatenation)을 통해 다양한 다운스트림 태스크를 지원하는 통합 문맥 내 파노라마 생성 프레임워크를 실현하며, 태스크 커버리지와 모델링 유연성 모두에서 기존 방법을 능가합니다. 광범위한 실험을 통해 Canvas360이 파노라마 이미지 충실도를 향상시키며, 파노라마 특화 FAED 지표에서 특히 강력한 성능을 달성하고 보고된 정량적 평가 전반에 걸쳐 경쟁력 있거나 선도적인 결과를 달성함을 확인하였습니다. 자세한 정보는 프로젝트 페이지에서 확인할 수 있습니다: https://zry000.github.io/Canvas360/
3D 가우시안 스플래팅에서의 기하학 인식 스타일 전이
Geometry-Aware Style Transfer in 3D Gaussian Splatting
본 논문에서는 외형 속성과 기하학적 구조를 동시에 전이하는 3D 가우시안 스플래팅(3DGS)을 위한 새로운 기하학 인식 스타일 전이 프레임워크를 제안한다. 색상 기반 스타일화에 주로 집중하고 구조적 적응을 간과하는 기존 연구들과 달리, 본 방법은 색상 및 기하학 파라미터를 교대로 갱신하는 분리된 최적화 방식을 통해 기하학 적응을 명시적으로 통합한다. 이 전략은 색상과 기하학 갱신 간의 잠재적 간섭을 완화하여 안정적이고 일관된 장면 수준의 기하학 변환을 가능하게 한다. 분리된 최적화는 제안된 기하학 인식 대조적 특징(feature) 매칭(GCFM)에 의해 구현된다. GCFM은 RGB, 깊이, 에지 단서를 대조적 목적 함수에 통합하며, 스타일 이미지에서 가우시안 프리미티브로 구조적 특성을 효과적으로 전이하기 위해 두 최적화 단계 모두에 적용된다. 광범위한 실험을 통해 본 접근법이 정성적 충실도와 정량적 지표 모두에서 우수한 성능을 달성하며, 기존 3DGS 기반 스타일화 방법들을 크게 능가함을 보인다. 코드는 https://github.com/oweixx/gast 에서 확인할 수 있다.
A Novel Unsupervised Domain Adaption Method for Depth-Guided Semantic Segmentation Using Coarse-to-Fine Alignment
RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정
Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration
상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성
HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space
기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
토론
이 논문과 연결된 포럼 글이 아직 없습니다.