PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.05474v2cs.CV공식 코드 · Papers with Code

3D 장면 생성: 종합 조사

3D Scene Generation: A Survey

3D 장면 생성은 몰입형 미디어, 로보틱스, 자율주행, 체화 AI(embodied AI) 등의 응용을 위해 공간적으로 구조화되고 의미론적으로 유의미하며 포토리얼리스틱(photorealistic)한 환경을 합성하는 것을 목표로 한다. 절차적 규칙(procedural rules)에 기반한 초기 방법은 확장성은 제공했으나 다양성은 제한적이었다. 딥 생성 모델(예: GAN, diffusion model)과 3D 표현(예: NeRF, 3D Gaussians)의 최근 발전은 실세계 장면 분포의 학습을 가능하게 하여 충실도, 다양성, 시점 일관성을 개선했다. diffusion model과 같은 최근 기법은 생성을 이미지 또는 영상 합성 문제로 재구성함으로써 3D 장면 합성과 포토리얼리즘(photorealism)을 연결한다. 본 조사는 최신(state-of-the-art) 접근법에 대한 체계적 개관을 제공하며, 이를 절차적 생성, 신경망 3D 기반 생성, 이미지 기반 생성, 영상 기반 생성의 네 가지 패러다임으로 구분한다. 각 방법의 기술적 기반, 트레이드오프, 대표적 결과를 분석하고, 널리 사용되는 데이터셋, 평가(evaluation) 프로토콜, 하류 응용을 검토한다. 마지막으로 생성 역량, 3D 표현, 데이터 및 주석, 평가의 핵심 과제를 논의하고, 더 높은 충실도, 물리 인식(physics-aware) 및 대화형(interactive) 생성, 통합 지각-생성 모델을 포함한 유망한 연구 방향을 개괄한다. 본 리뷰는 3D 장면 생성의 최근 진전을 정리하고 생성 AI, 3D 비전, 체화 지능의 교차점에서의 유망한 방향을 강조한다. 진행 중인 동향을 추적하기 위해 최신 프로젝트 페이지를 유지한다: https://github.com/hzxie/Awesome-3D-Scene-Generation.

arXiv:2411.15723v4cs.CV공식 코드 · Papers with Code

GSurf: 고품질 3D 재구성을 위한 불투명 가우시안 스플래팅으로부터 부호 거리 필드 학습

GSurf: Learning Signed Distance Fields from Splatting Opaque Gaussians for High-quality 3D Reconstruction

SDF(부호 거리 필드)를 볼륨 렌더링 없이 3D 가우시안 스플래팅 파이프라인에 직접 통합한 GSurf 프레임워크를 제안하며, 엔트로피 기반 불투명도 정규화로 가우시안 프리미티브를 표면에 밀착시켜 기하학적 연속성을 확보한다. DTU 및 OmniObjects3D 등 다양한 벤치마크에서 기존 GS 기반 방법 대비 적은 프리미티브로 고품질 표면을 복원하면서도 신경 암시적 방법보다 빠른 학습 속도를 달성함을 입증한다.

arXiv:2410.01521v3cs.CV공식 코드 · Papers with Code

MiraGe: 가우시안 스플래팅을 활용한 편집 가능한 2D 이미지

MiraGe: Editable 2D Images using Gaussian Splatting

MiraGe는 거울 반사를 활용해 2D 이미지를 3D 공간에서 인식하고 평면 제어 가우시안(flat-controlled Gaussians)으로 정밀한 편집을 가능하게 하는 방법으로, GaussianImage 대비 우수한 재구성 품질과 함께 물리 엔진 연동을 통한 자연스러운 2D 이미지 수정을 지원한다.

arXiv:2410.02103v4cs.CV공식 코드 · Papers with Code

MVGS: 새로운 시점 합성을 위한 다중 뷰 조절 Gaussian Splatting

MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis

최근 볼륨 렌더링(volume rendering) 분야의 연구들, 예를 들어 NeRF와 3D Gaussian Splatting(3DGS)은, 학습된 암시적 신경 복사장(implicit neural radiance field) 또는 3D Gaussian의 도움으로 렌더링 품질과 효율성을 크게 향상시켰다. 명시적 표현 위에서 렌더링하는 vanilla 3DGS와 그 변형들은 NeRF에서 채택된 바와 같이 학습 중 각 반복마다 단일 뷰 감독으로 모델을 최적화함으로써 실시간 효율성을 제공한다. 그 결과 특정 뷰에 과적합이 발생하여, 새로운 시점 합성에서 만족스럽지 않은 외관과 부정확한 3D geometry가 나타난다. 이러한 문제를 해결하기 위해, 우리는 네 가지 핵심 기여를 담은 새로운 3DGS 최적화 방법을 제안한다: 1) 우리는 기존의 단일 뷰 학습 패러다임을 다중 뷰 학습 전략으로 전환한다. 제안하는 다중 뷰 조절(multi-view regulation)을 통해 3D Gaussian 속성이 특정 학습 뷰에 과적합되지 않도록 추가로 최적화된다. 일반적인 해결책으로서, 다양한 시나리오와 서로 다른 Gaussian 변형에서 전반적인 정확도를 향상시킨다. 2) 추가 뷰가 가져오는 이점에서 영감을 받아, 우리는 cross-intrinsic guidance scheme을 추가로 제안하며, 이는 서로 다른 해상도에 관한 coarse-to-fine 학습 절차로 이어진다. 3) 다중 뷰 조절 학습 위에 구축하여, 우리는 cross-ray densification 전략을 추가로 제안한다. 이는 선택된 여러 뷰의 광선 교차(ray-intersect) 영역에 더 많은 Gaussian kernel을 densify한다. 4) densification 전략을 추가로 조사한 결과, 특정 뷰들이 극적으로 크게 상이할 때 densification 효과를 강화해야 함을 발견했다. 이에 대한 해결책으로, 3D Gaussian이 충분한 수까지 densify되도록 장려하는 새로운 다중 뷰 증강 densification 전략을 제안하며, 그 결과 재구성 정확도가 향상된다.

arXiv:2506.11139v3eess.IV공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.