arXiv:1711.05858

End-to-end 3D shape inverse rendering of different classes of objects from a single input image

Shima Kamyab, S. Zohreh Azimifar

제출 2017-11-11

원문 초록

In this paper a semi-supervised deep framework is proposed for the problem of 3D shape inverse rendering from a single 2D input image. The main structure of proposed framework consists of unsupervised pre-trained components which significantly reduce the need to labeled data for training the whole framework. using labeled data has the advantage of achieving to accurate results without the need to predefined assumptions about image formation process. Three main components are used in the proposed network: an encoder which maps 2D input image to a representation space, a 3D decoder which decodes a representation to a 3D structure and a mapping component in order to map 2D to 3D representation. The only part that needs label for training is the mapping part with not too many parameters. The other components in the network can be pre-trained unsupervised using only 2D images or 3D data in each case. The way of reconstructing 3D shapes in the decoder component, inspired by the model based methods for 3D reconstruction, maps a low dimensional representation to 3D shape space with the advantage of extracting the basis vectors of shape space from training data itself and is not restricted to a small set of examples as used in predefined models. Therefore, the proposed framework deals directly with coordinate values of the point cloud representation which leads to achieve dense 3D shapes in the output. The experimental results on several benchmark datasets of objects and human faces and comparing with recent similar methods shows the power of proposed network in recovering more details from single 2D images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24436v1cs.CV공통 태그 Decoder, 3D Reconstruction

MSVS-VAE: 고충실도 3D 재구성을 위한 다중 스케일 앵커 VecSet

MSVS-VAE: Multi-Scale Anchored VecSet for High-Fidelity 3D Reconstruction

고충실도 3D 생성 모델링은 점점 더 잠재 확산(latent diffusion) 패러다임에 의존하고 있으며, 여기서 기반 3D VAE의 재구성 품질이 주요 병목이 된다. 기존 접근법은 크게 두 가지 패러다임을 따른다. 희소 복셀(sparse voxel) 기반 표현은 강력한 재구성 품질을 달성하지만 상당한 메모리 및 계산 오버헤드를 유발하는 반면, 집합(set) 기반 표현은 컴팩트하고 연속적이지만 잠재 희소성과 과도한 전역 평활화로 인해 일반적으로 충실도에서 뒤처진다. 우리는 MSVS-VAE를 제안한다. 이는 컴팩트함을 희생하지 않고 이러한 충실도 격차를 해소하는 계층적 집합 기반 VAE이다. 핵심 아이디어는 계층적 point-shuffle 업샘플링을 통해 앵커 VecSet 잠재 표현을 점진적으로 밀도화하여, 세밀한 기하 모델링을 위한 공간 용량을 늘리는 것이다. 밀도화된 계층으로부터 효율적으로 디코딩하기 위해, 전역 크로스 어텐션(cross-attention)을 AVS-Conv로 대체한다. AVS-Conv는 전체 잠재 집합이 아닌 지역 이웃 내에서 동작하는 기하 인식 지역 집계 연산자이다. 또한 다중 스케일 쿼리 디코딩을 도입하여 거친-세밀(coarse-to-fine) 잠재 특징을 융합한다. 거친 스케일은 안정적인 전역 컨텍스트를 제공하고, 세밀한 스케일은 국소화된 기하를 정제하여 과도하게 지역적인 수용 영역(receptive field)으로 인한 아티팩트를 줄인다. Objaverse, ABO, 실환경(in-the-wild) 벤치마크에 대한 광범위한 실험은 MSVS-VAE가 기존 집합 기반 및 복셀 기반 VAE를 일관되게 능가하며, 기존 집합 기반 방법 대비 약 10배 빠른 디코딩과 복셀 기반 베이스라인 대비 약 10배 높은 컴팩트함을 제공함을 보여준다.

arXiv:2607.22302v1cs.CV공통 태그 Decoder, 3D Reconstruction

fMRI2Face: 동적 인간 얼굴 재구성을 위한 Full-HD fMRI-비디오 데이터셋 및 기하학 유도 신경 디코딩 프레임워크

fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction

뇌 활동으로부터 동적 인간 얼굴을 재구성하는 것은 정신이 정체성, 표정, 얼굴 움직임을 어떻게 지각하는지 연구하는 강력한 방법을 제공한다. 그러나 fMRI 기반 얼굴 디코딩의 진전은 통제된 고해상도 신경 데이터셋의 부족과, 정체성 특유의 외형과 시간에 따라 변하는 얼굴 역학을 모두 복원하는 데 어려움을 겪는 방법들로 인해 제한되어 왔다. 우리는 1920×1080 해상도로 렌더링된 제어 가능한 Full-HD 디지털 인간 얼굴 비디오와 짝을 이루는 최초의 fMRI 데이터셋인 fMRI-Face를 제시한다. 스캔 중 참가자들은 정체성, 표정, 머리 자세가 통제된 사실적인 배경 없는 얼굴 비디오를 시청했으며, fMRI 활동이 기록되었다. 결과 데이터셋은 62,856개의 짝을 이룬 fMRI-비디오 샘플을 포함하며, 동적 얼굴 지각 및 재구성 연구를 위한 구조화된 자원을 제공한다. 이 데이터셋을 바탕으로, 우리는 fMRI 신호로부터 얼굴 비디오를 재구성하기 위한 기하학 유도 신경 비디오 디코딩 프레임워크인 fMRI2Face를 제안한다. fMRI2Face는 뇌 활동으로부터 두 가지 상보적인 신경 제어를 도출한다: 전역적 정체성 관련 시각 속성을 포착하는 Brain-derived Appearance Context와, 자세, 표정, 비강성(non-rigid) 얼굴 역학에 대한 명시적 기하학 인식(guidance)을 제공하는 Morphable 3D Facial Control. 이 제어들은 보조 잠재(latent) 완성을 갖춘 Neural-Controlled Video Diffusion을 통해 통합되어, 뇌 활동으로부터 직접 고충실도 얼굴 비디오 재구성을 가능하게 한다. 실험 결과 fMRI2Face는 대표적인 신경 디코딩 베이스라인 대비 재구성 충실도, 정체성 보존, 얼굴 기하학, 움직임 일관성을 일관되게 향상시킨다. fMRI-Face와 fMRI2Face는 함께 동적 얼굴 지각 연구를 위한 통제된 플랫폼을 구축하고, fMRI 기반 디지털 인간 재구성을 위한 새로운 벤치마크를 제공한다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2610.13503v2cs.CV공통 태그 3D Reconstruction

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.