PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23161v1cs.CV

영원한 조도 카메라

An Eternal Irradiance Camera

기존 카메라는 시야 내 모든 방향에서 오는 복사휘도(radiance)를 측정하기 위해 수백만 개의 픽셀을 사용한다. 본 논문에서는 구(sphere) 위의 모든 점에 입사하는 조도를 나타내는 조도 함수(irradiance function)를 측정하는 전방향(omnidirectional) 조도 카메라를 제시한다. 조도 함수는 구 표면에서 부드럽게 변화하므로 대역 제한(bandlimited)되어 있다. 우리는 이 함수를 주파수 영역에서 분석하여, 이 함수가 구면 조화 함수(spherical harmonics)의 처음 7차수까지의 가중합으로 잘 근사됨을 보였다. 그 결과, 조도 함수는 소수의 샘플만으로도 정확하게 복원될 수 있다. 이는 조도 카메라가 수백만 개의 검출기(픽셀)를 필요로 하지 않으며, 소수의 측정값만으로도 충분함을 의미한다. 이는 두 가지 주요 이점을 가져온다. 첫째, 카메라의 에너지 소비량이 매우 적어 검출기에 입사하는 빛만으로 완전히 구동될 수 있다. 둘째, 개인을 식별하는 데 필요한 시각적 세부 정보를 포착하지 않으므로 프라이버시가 보호된다. 우리는 구 표면에 배치된 49개의 검출기를 사용하여 FluxCam이라는 조도 카메라 프로토타입을 제작하였다. 조명이 충분한 실내 환경에서, FluxCam은 배터리, 케이블, 외부 전원 공급 장치 없이 자신에게 입사하는 빛으로부터 수확한 에너지만을 사용하여 초당 30프레임으로 측정값을 읽어내고 무선으로 전송할 수 있다. 우리는 FluxCam이 회전을 계산하는 광학 자이로스코프(optical gyroscope)로서, 작업 공간을 모니터링하는 용도로서, 디퓨즈 재조명(diffuse relighting)을 위한 무선(untethered) 광원 프로브(light probe)로서, 그리고 하늘 상태를 추정하고 태양광 패널의 최적 방향을 결정하기 위한 전방향 일사계(pyranometer)로서 사용될 수 있음을 보인다.

arXiv:2607.23096v1cs.CV

SHReg: 구면 조화 함수를 통한 엄격한 회전 등변성 포인트 클라우드 정합

SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics

포인트 클라우드 정합(point cloud registration)은 임의의 3D 회전에 대해 구별력이 있으면서도 견고한 국소 특징에 크게 의존한다. 기존 학습 기반 방법들은 일반적으로 취약한 국소 기준 좌표계(local reference frames)나 광범위한 데이터 증강을 통해 회전 불변성(rotation invariance)을 근사하며, 이는 경험적 불변성만을 제공하고 보지 못한 회전 변환에서 성능이 저하되는 경우가 많다. 본 논문에서는 $SO(3)$의 표현 이론(representation theory)에 기반한 엄격한 회전 등변성(strict rotation-equivariance) 포인트 클라우드 정합 프레임워크인 SHReg를 제안한다. 국소 기하학적 특징을 $SO(3)$의 기약 표현(irreducible representations)으로 나타냄으로써, SHReg는 국소 기준 좌표계에 의존하지 않고 임의의 회전에 대한 정확한 등변성(equivariance)을 보장한다. 구면 조화 함수(spherical harmonics) 기반의 등변 백본 위에 구축된 SHReg는, 견고한 대응 매칭(correspondence matching)을 위한 회전 불변 디스크립터와 세밀한 방향 정보를 보존하는 회전 등변 특징을 공동으로 학습한다. 보존된 등변 구조는 각 대응이 강체 변환(rigid transformation)을 직접 가설화할 수 있게 하여, 기존 RANSAC 기반 파이프라인에서의 대규모 가설 샘플링에 대한 의존을 줄이고, 어려운 회전 변화 하에서 견고성을 향상시킨다. 3DMatch, 3DLoMatch, KITTI에서의 광범위한 실험은 SHReg가 정합 정확도에서, 특히 큰 회전 교란 하에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다.

arXiv:2607.01408v1cs.LG

Spin-Weighted Spherical Harmonics Enable Complete and Scalable $\mathrm{E}(3)$-Equivariant Networks

Clebsch-Gordan 텐서곱(CGTP)의 $O(L^6)$ 계산 복잡도 문제를 해결하고자 제안된 Gaunt 텐서곱(GTP)이 홀수 차수합 경로(반대칭 경로)를 손실한다는 한계를 극복하기 위해, 본 연구는 스핀 가중 구면 조화 함수(Spin-Weighted Spherical Harmonics, SWSH)를 기반으로 한 SpinGTP를 제안한다. SpinGTP는 GTP의 $O(L^3)$ 효율성을 유지하면서 누락된 반대칭 상호작용을 복원하며, Tetris, 3BPA, SPICE-MACE-OFF, OC20 벤치마크에서 전체 CGTP에 준하는 정확도를 달성하고 특히 키랄(chiral) 구조 예측에서 우수한 성능을 보였다.

arXiv:2606.30017v1cs.CV

모바일 3D 가우시안 스플래팅을 위한 몬테카를로 에너지 집계

Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting

3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 새로운 시점 합성(novel view synthesis)에서 전례 없는 성과를 보여주었다. 그러나 고차 구면 조화 함수(Spherical Harmonics, SH)로 인한 높은 추론 및 저장 오버헤드는 모바일 플랫폼의 주요 병목 요인이다. 본 논문에서는 자원이 제한된 모바일 플랫폼에서 오버헤드를 크게 줄이면서 고품질 렌더링을 달성하도록 설계된 실시간 가우시안 스플래팅 방법인 Flux-GS를 제안한다. 먼저 몬테카를로 정반사 에너지 집계기(Monte Carlo Specular Energy Aggregator)를 제안하여, 3차 복사 잔차(third-order radiance residuals)를 샘플링하고 정반사 에너지를 컴팩트한 잠재 공간으로 집계한다. 이를 통해 고비용의 지식 증류나 사전학습 없이 저차 밴드에서 시각적으로 두드러진 조명 특징을 효과적으로 보존한다. 압축 과정에서 손실되는 고주파 세부 정보를 보완하기 위해, 속성 조건부 SH 향상 모듈(Attribute-Conditioned SH Enhancement module)을 도입한다. 이 모듈은 가우시안 고유 속성을 기반으로 가우시안 인식 오프셋을 예측하여 추론 전에 1차 SH 표현을 강화하며, 추가적인 추론 비용은 발생하지 않는다. 또한 기존의 단일 시점 그래디언트 기반 조밀화(densification)는 과도한 가우시안 생성과 특정 시점에 대한 과적합을 유발하기 쉽다. 이러한 한계를 해결하기 위해 다중 시점 알파 기반 조밀화 및 가지치기(Multi-view Alpha-based Densification and Pruning) 전략을 제안한다. 다중 시점 가이던스를 활용하여 다중 시점 구조 일관성을 보장하고 중복 프리미티브를 정밀하게 제거한다. 광범위한 실험을 통해 Flux-GS가 경쟁력 있는 시각적 품질을 유지하면서 매개변수를 대폭 줄이는 성과를 달성함으로써, 실시간 모바일 렌더링을 위한 강건하고 확장 가능한 솔루션을 제공함을 입증한다. 코드: https://xiaobiaodu.github.io/flux-gs-project/