arXiv:1801.01075

LIME: Live Intrinsic Material Estimation

Abhimitra Meka, Maxim Maximov, Michael Zollhoefer, Avishek Chatterjee, Hans-Peter Seidel, Christian Richardt, Christian Theobalt

제출 2018-01-03

원문 초록

We present the first end to end approach for real time material estimation for general object shapes with uniform material that only requires a single color image as input. In addition to Lambertian surface properties, our approach fully automatically computes the specular albedo, material shininess, and a foreground segmentation. We tackle this challenging and ill posed inverse rendering problem using recent advances in image to image translation techniques based on deep convolutional encoder decoder architectures. The underlying core representations of our approach are specular shading, diffuse shading and mirror images, which allow to learn the effective and accurate separation of diffuse and specular albedo. In addition, we propose a novel highly efficient perceptual rendering loss that mimics real world image formation and obtains intermediate results even during run time. The estimation of material parameters at real time frame rates enables exciting mixed reality applications, such as seamless illumination consistent integration of virtual objects into real world scenes, and virtual material cloning. We demonstrate our approach in a live setup, compare it to the state of the art, and demonstrate its effectiveness through quantitative and qualitative evaluation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13656v2cs.CV공통 태그 Inverse Rendering, Image-to-Image Translation

FreeLit: 물리 유도 확산을 통한 페어 없는 실내 재조명

FreeLit: Paired-Free Indoor Relighting via Physics-Guided Diffusion

이미지 기반 실내 장면 재조명은 복잡한 기하 구조와 국부 조명 간의 복잡한 상호작용 때문에 광원 위치, 색상, 강도를 정밀하게 모델링해야 하므로 여전히 어려운 과제로 남아 있다. 기존 데이터 기반 방법은 페어드 다중 조명 데이터셋을 통해 이 관계를 암묵적으로 학습한다. 그러나 이러한 데이터는 비용이 높고 확장하기 어려워, 정확한 광원 수준 제어에 필수적인 요소가 되지 못한다. 반면 역렌더링(inverse rendering) 방법은 물리적 사전 지식을 통합해 데이터 의존성을 줄이지만, 까다로운 조건에서 본질(intrinsic) 추정의 견고성이 부족하다. 본 논문에서는 광원 위치, 색상, 강도를 명시적으로 조작하는 제어 가능한 실내 재조명을 위한 페어 없는(paired-free) 프레임워크인 FreeLit을 제시한다. 페어 감독(supervision)에 의존하는 대신, 본질 장면 속성으로부터 물리 유도 조명 사전 지식을 구성하고, 구조화된 라이트맵(lightmap)과 의사 재조명(pseudo-relit) 이미지를 함께 생성하여 확산 기반 합성을 유도한다. 특히 저조도 장면에서 본질 추정의 불안정성을 해결하기 위해, 구조 인식 지식 증류(distillation)와 일관성 제약을 통해 조명 불변 반사율(reflectance)을 강제하는 재조명 유도 본질 안정화 전략을 도입한다. 또한 사용자가 지정한 조명 색상 및 강도와의 정렬(alignment)을 정량화하는 제어 지향 평가 지표를 제안한다. 실험 결과, FreeLit은 페어 감독 없이도 안정적이고 물리적으로 일관되며 제어 가능한 재조명을 달성하며, 저조도 실내 장면에서 견고성이 향상됨을 보여준다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.