PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02468v1cs.GR

Windfoil: 실시간 및 미분 가능한 벡터 그래픽스를 위한 닫힌 형식 커버리지

Windfoil: Closed-Form Coverage for Real-Time and Differentiable Vector Graphics

본 논문에서는 2차 베지에(Bézier) 윤곽선의 박스 필터링된 와인딩 수(winding number)를 닫힌 형식(closed form)으로 계산함으로써 래스터화(rasterisation)와 미분 가능한 벡터 그래픽스를 동일한 문제의 양면으로 다루는 GPU 친화적 알고리즘인 Windfoil을 제시합니다. 이를 WebGPU로 구현하여 일반 소비자용 노트북의 웹 브라우저를 포함한 다양한 환경에서 실행할 수 있도록 했으며, 이 시스템을 실시간 2D 렌더링, 인쇄 매체를 위한 고해상도 래스터화, 그리고 미분 가능한 렌더러에 적용했습니다. 프로덕션급 엔진인 Skia 및 게임과 실시간 애플리케이션에 널리 사용되는 GPU 래스터화 알고리즘인 Slug와 렌더러를 비교하며 기준 박스 필터링 커버리지에 대한 충실도를 측정했습니다. 그 결과 본 렌더러는 Slug와 유사한 성능을 보이면서도 두 방식보다 기준에 더 가깝게 일치했습니다. 또한 옵티마이저를 DiffVG 및 Bézier Splatting과 비교한 결과, 스텝당 비용의 극히 일부만으로 동등하거나 더 우수한 재구성 품질을 달성했으며 대화형 속도(interactive rates)에서 수만 개의 형상으로 확장 가능함을 확인했습니다.

arXiv:2404.17569v4cs.CV

MaPa: 3D 형상을 위한 텍스트 기반 사실적 재질 페인팅

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

본 논문은 텍스트 설명으로부터 3D 메시(mesh)의 재질(material)을 생성하는 것을 목표로 합니다. 텍스처 맵을 합성하는 기존 방식들과 달리, 본 연구에서는 외형 표현 방식으로 고품질 렌더링을 지원하고 편집에 있어 상당한 유연성을 제공하는 세그먼트별 절차적 재질 그래프(procedural material graph) 생성을 제안합니다. 재질 그래프와 해당 텍스트 설명이 포함된 3D 메시와 같은 대규모 쌍(paired) 데이터에 의존하여 재질 그래프 생성 모델(generative model)을 학습(training)시키는 대신, 사전학습(pre-training)된 2D 확산 모델(diffusion model)을 텍스트와 재질 그래프를 연결하는 가교로 활용할 것을 제안합니다. 구체적으로, 제안하는 접근법은 형상을 일련의 세그먼트로 분해하고 세그먼트 제어 확산 모델을 설계하여 메시 부위와 정렬된 2D 이미지를 합성합니다. 생성된 이미지를 바탕으로 재질 그래프의 파라미터를 초기화하고 미분 가능 렌더링 모듈을 통해 이를 파인튜닝(fine-tuning)하여 텍스트 설명에 부합하는 재질을 생성합니다. 광범위한 실험을 통해 제안 프레임워크가 사실성(photorealism), 해상도 및 편집 가능성 측면에서 기존 방식들보다 우수한 성능을 보임을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/MaPa

arXiv:2609.23606v1cs.CV

UV 매핑을 넘어: 표면 정렬 텍스처 필드를 통한 메시 텍스처 압축

Beyond UV Mapping: Mesh Texture Compression via Surface-Aligned Texture Fields

메시 텍스처 압축은 일반적으로 2D UV 아틀라스에 의존하며, 차트 불연속성과 매핑 오버헤드가 코딩 효율을 제한할 수 있다. 이에 대응하여 메시 표면에서 파생된 sparse voxel에 텍스처 속성을 배치하는 표면 정렬 텍스처 필드(surface-aligned texture field)인 TexF를 제안한다. 이 표현은 고해상도 텍스처를 지원하면서 압축을 위한 국소 3D 상관관계를 보존하고 직접적인 표면 쿼리를 가능하게 한다. 비트스트림 압축에서는 TexF가 기존 3D 속성 코덱을 재사용하며, voxel 위치는 별도 전송 없이 디코딩된 메시로부터 재구성된다. GPU 상주(GPU-resident) 압축을 위해 양자화된 hash feature와 경량 디코더를 결합하여 표면 위치에서 임의 접근(random-access) 재구성을 수행하는 3DNTC를 개발한다. 미분 가능 렌더링(differentiable rendering)을 통해 voxel 속성과 압축된 신경 필드 모두에 대한 이미지 공간(image-space) 정제가 가능하다. MPEG 및 AOM 메시 압축 벤치마크 실험에서 비트스트림 및 GPU 상주 압축 모두에 대해 대표적인 UV 기반 방법 대비 평균 rate-distortion 성능이 향상됨을 보였으며, 3DNTC는 실시간 렌더링도 지원한다.

arXiv:2607.21562v1cs.CV

미분 가능 광 전송을 통한 장면 매개변수 현저성

Scene Parameter Saliency via Differentiable Light Transport

그래디언트 기반 현저성(saliency) 방법은 어떤 입력 특징이 신경망의 출력에 가장 큰 영향을 미치는지 밝혀내며, 모델 해석 가능성을 위한 표준 도구이다. 우리는 매개변수 최적화(optimization)에 통상적으로 사용되는 미분 가능 렌더러(differentiable renderer)가 유사한 형태의 현저성을 생성한다는 점을 관찰한다. 렌더링된 이미지에서 평가된 임의의 스칼라 metric에 대해, 단일 역방향 모드 미분(reverse-mode differentiation) 패스는 어떤 장면 요소가 해당 metric에 가장 큰 영향을 미치는지 식별하는 매개변수별 그래디언트를 산출한다. 우리는 이러한 그래디언트 필드를 metric saliency map(지표 현저성 맵)이라고 부른다. 학습된 가중치를 통해 attribution을 전파하는 신경망 현저성과 달리, metric saliency는 다중 반사(multi-bounce) 광 전송을 포함하여 이미지 형성(image formation) 과정 자체를 통해 전파되며, 수동 검사로는 반투명(semi-opaque)하게 파악하기 어려운 매개변수 의존성을 포착한다. 우리는 정성적으로 서로 다른 목표 함수에 대해 metric saliency map을 계산한다: 심리시각적(psychovisual) 눈부심(glare) 지수, 평균 장면 휘도(mean scene luminance), 신경망 지각 점수(neural perceptual scores). 동일한 장면에서도 metric에 따라 현저성 순위가 크게 달라지며, 한 목표를 지배하는 매개변수가 다른 목표에서는 무시할 수 있는 수준이 된다. 현저성 맵은 장면의 고유 속성(intrinsic property)이 아니라 특정 metric에 종속적이다. 우리의 결과는 미분 가능 렌더러가 생성하도록 설계된 원(primal) 이미지만큼이나 장면 이해(scene understanding)에 유익한 도함수(derivative) 이미지를 생성한다는 점을 시사한다.

arXiv:2607.13265v1cs.CV

미분 가능한 편광 경로 추적

Differentiable Polarized Path Tracing

물리 기반 미분 가능 렌더링은 역렌더링(inverse rendering) 문제(예: 3D 재구성, 반사율 추정, 조명 추정)에 있어 강력한 도구임이 입증되었다. 그러나 기존 방법의 대부분은 복사 측정 강도(radiometric intensity)만을 다루며, 장면 기하와 재료 특성을 제약하는 귀중한 편광 단서를 버린다. 편광 빛의 순방향 시뮬레이션은 Mueller-Stokes 미적분으로 잘 정의되어 있지만, 이 영역에 역방향 모드 미분을 확장하는 것은 상당한 도전 과제를 제기한다. 선형 편광기와 확산 반사와 같은 일반적인 편광 연산자의 계수결손(rank-deficient) 특성은 경로 재생 역전파(path replay backpropagation)와 같은 표준 그래디언트 추정기의 가역성 가정을 위반하고 수치적 불안정성을 초래한다. 이를 해결하기 위해 강건하고 편광을 고려한 미분 가능 경로 추적 방법을 제안한다. 우리의 접근법은 경로 재생과 국소 캐싱(local caching)의 조합을 통해 편향 없는 그래디언트를 추정한다. 이 공식화는 복잡한 장면에서 재료 및 조명 파라미터의 효율적이고 안정적인 최적화를 가능하게 하여, 물리 기반 역렌더링의 적용 범위를 넓힌다. 프로젝트 페이지: https://vcai.mpi-inf.mpg.de/projects/DPPT/

arXiv:2606.24876v1cs.CV

FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

Generating explorable 3D scenes from a single image requires strong generative priors and accurate geometric representations suitable for downstream use. Current video diffusion models offer high-quality generation and implicitly encode multi-view geometric structure in latent space. However, existing feedforward latent scene decoders typically output volumetric 3D Gaussians that lack a well-defined surface, limiting their use in simulation or standard graphics pipelines. This motivates decoding surface-aligned primitives that are not only renderable but also closer to explicit geometric assets. We ask whether compressed video diffusion latents can be mapped directly to explicit surface primitives in a single pass. To this end, we introduce FLAT and, for the first time, show that triangle splats can be decoded directly from video diffusion latents. Compared with decoding 3D Gaussians, predicting flat primitives is notoriously more challenging due to high sensitivity to primitive orientations, oftentimes leading to poor gradient flow. FLAT solves with two key ingredients: a ray-centered rotation parameterization for triangle regression and a novel product window function that improves gradient flow during differentiable triangle rendering. On standard benchmarks, FLAT achieves significantly better geometric accuracy while maintaining competitive visual quality compared to state-of-the-art feedforward baselines. We further show that a lightweight test-time refinement step converts the predicted triangle soup into a fully opaque, game-engine-ready representation that supports real-time rendering. By evaluating 3DGS, 2DGS, and triangle splatting variants under an identical training setup, we provide the first systematic analysis of representation tradeoffs in feedforward scene generation. The project page is available at https://flat-splat.github.io

arXiv:2606.21381v1cs.CV

OSOG: 미광학 환경을 위한 미분 가능하고 물리 정보 기반 합성 데이터 엔진

OSOG: A Differentiable, Physics-Informed Synthetic Data Engine for Micro-Optical Environments

계산 현미경에서의 심층 학습은 촘촘히 주석이 달린 데이터셋의 부족으로 심각한 제약을 받는다. 거시적 컴퓨터 비전에서는 합성 데이터 생성이 이 간극을 메워 왔지만, 전통적인 그래픽스 엔진은 기하학적 광선 추적(ray-tracing)에 의존하여 현미경에 필요한 미광학 현상을 포착하지 못한다. 반면 파동 광학(wave-optics) 공식화는 존재하지만, 심층 학습에 필요한 규모에서 이를 계산적으로 다루 가능하게 렌더링하는 것은 여전히 큰 시스템 과제로 남아 있다. 이를 해결하기 위해, 우리는 고성능의 완전 미분 가능 순방향 모델링 엔진인 Optical Synthetic Object Generator(OSOG)를 제안한다. 회절(diffraction)과 위상 지연(phase retardation)의 확립된 물리 모델을 바탕으로, OSOG는 연속적인 Optical Path Difference(OPD) 계산을 고도로 최적화된 PyTorch 네이티브 Structure-of-Arrays(SoA) 아키텍처로 매핑한다. 우리는 세 가지 축에서 이 계산 프레임워크를 검증한다. 첫째, OSOG 생성 데이터만으로 학습된 객체 검출 모델(YOLOv11-OBB)이 실제 세계의 고도로 가려진 Lysozyme 현미 사진에 대해 강건한 제로샷(zero-shot) 전이를 달성한다. 둘째, DiffOSOG를 제안하여 엔진의 end-to-end 미분 가능성이 커리큘럼 기반 역렌더링(inverse rendering)을 통해 연속적인 광학 파라미터의 정확한 복원을 가능하게 함을 보인다. 마지막으로, OSOG는 순차적 광선 추적의 $\mathcal{O}(N)$ 병목을 우회하여, 50밀리초 미만(\>20 FPS)에 40,000개의 복잡한 파동 광학 입자를 합성함으로써 sub-linear 스케일링을 보여준다. 빠르고 확장 가능하며 물리적으로 근거가 있는 텐서 파이프라인을 제공함으로써, OSOG는 진정한 실시간, 즉석(on-the-fly) 데이터셋 생성을 가능하게 한다.

arXiv:2606.18069v1cs.GR

블렌디드 차트 서피스: 부드러운 곡면 피팅을 위한 매끄러운 명시적 표현

Blended Chart Surfaces: A Seamless Explicit Representation for Smooth Surface Fitting

기하 처리에 적합한 곡면 표현은 간결하고 명시적이어야 하며, 전역적 부드러움을 보장하고, 다양한 곡면 위상을 지원하고, 법선 및 곡면 에너지와 같은 미분 양에 대한 안정적인 접근을 제공하면서, 현대적인 미분 가능 최적화와도 호환되어야 한다. 기존 신경망 기반 표현들은 이러한 속성 중 하나 이상을 희생하는 경향이 있다: 암묵적 필드(implicit field)는 다운스트림 활용을 위해 통상적으로 아이소서피싱(iso-surfacing)을 필요로 하며, 명시적 신경망 맵(explicit neural map)은 정준 도메인 파라미터화(canonical-domain parametrization)에 제약되거나 로컬 차트 간 이음새 아티팩트를 보인다. 본 논문에서는 블렌디드 차트 서피스(Blended Chart Surfaces)를 소개한다. 이는 구조적으로 부드러움이 보장되며 사용자가 제공한 위상에 기반하는, 네트워크 없는 간결한 명시적 표현이다. 의도한 곡면 위상과 대략적인 기하를 인코딩하는 거친 프록시 메시(proxy mesh)가 주어지면, 블렌디드 차트 서피스는 각 프록시 정점(proxy vertex)에서 다항식 맵(polynomial map)을 기성 옵티마이저를 사용해 공동 최적화하여 암묵적 목표 형상에 피팅하며, 입력 파라미터화가 불필요하다. 인접한 맵들은 부드러운 '원-링 좌표(one-ring coordinate)' 블렌딩 기법으로 융합되어, 위상과 거친 기하(프록시가 담당)를 기하적 세부 사항(로컬 패치가 담당)으로부터 분리한다. 이 곡면은 전역적으로 부드럽고 완전히 미분 가능하며, 미분 양과 곡면 에너지에 직접 접근할 수 있도록 안정적인 도함수 계산을 지원한다. 또한 본 구성은 프록시 메시의 강체 운동 및 스케일링에 대해 등변성(equivariant)을 갖는다. 다양한 위상과 기하적 복잡도에 대해 블렌디드 차트 서피스를 평가하고, 보간 함수 베이스라인 및 메시 변위 MLP를 포함한 명시적 대안들과 비교한다. 전반적으로 블렌디드 차트 서피스는 패치 경계 전반에 걸쳐 부드러움을 유지하면서 간결성, 단순성, 미분 양 접근성, 그리고 표현력 사이에서 유리한 균형을 달성한다.

arXiv:2606.11529v1cs.GR

XPR: 확장 가능한 크로스 플랫폼 포인트 기반 미분 가능 렌더러

XPR: An Extensible Cross-Platform Point-Based Differentiable Renderer

포인트 기반 미분 가능 렌더링은 현대 3D 재구성, 새로운 시점 합성, 학습 기반 그래픽스 파이프라인의 기반이 되지만, 새로운 렌더링 방법을 개발하려면 종종 광범위한 저수준 구현, 하드웨어 특화 커널, 수동으로 작성된 역전파가 필요하다. 이는 빠른 프로토타이핑, 재현성, 탐색, 배포를 제한하며, 특히 다양한 하드웨어 플랫폼에 걸쳐서 그렇다. 본 논문은 포인트 기반 미분 가능 렌더링을 위한 확장 가능한 크로스 플랫폼 프레임워크인 XPR을 제시한다. XPR은 방법별 로직을 공유 렌더링 파이프라인과 분리하는 고수준 프로그래밍 인터페이스를 도입하여, 사용자가 몇 줄의 코드로 새로운 방법을 구현할 수 있게 한다. 그 파이프라인은 렌더링을 모듈화된 정적 형태의 병렬 연산으로 분해하며, 이는 크로스 플랫폼 컴파일러에 의해 GPU, TPU, CPU 및 기타 ML 가속기용으로 lowering될 수 있다. 우리는 3DGS, 3DGUT, LinPrim의 구현을 시연하며, 각각은 수백 줄의 Python 코드만으로 작성되었고 XLA 컴파일러를 통해 다양한 하드웨어 플랫폼용으로 컴파일될 수 있다. 이러한 결과는 XPR이 새로운 포인트 기반 미분 가능 렌더링 시스템에 대해 빠른 실험과 이식 가능한 실행을 가능하게 함을 보여준다.