RRM: Relightable assets using Radiance guided Material extraction
원문 초록
Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습
Memorizon: Training World Models Beyond Their Context Window
스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon
ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅
ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models
자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.