arXiv:2407.10389

Boost Your NeRF: A Model-Agnostic Mixture of Experts Framework for High Quality and Efficient Rendering

Francesco Di Sario, Riccardo Renzulli, Enzo Tartaglione, Marco Grangetto

제출 2024-07-15

원문 초록

Since the introduction of NeRFs, considerable attention has been focused on improving their training and inference times, leading to the development of Fast-NeRFs models. Despite demonstrating impressive rendering speed and quality, the rapid convergence of such models poses challenges for further improving reconstruction quality. Common strategies to improve rendering quality involves augmenting model parameters or increasing the number of sampled points. However, these computationally intensive approaches encounter limitations in achieving significant quality enhancements. This study introduces a model-agnostic framework inspired by Sparsely-Gated Mixture of Experts to enhance rendering quality without escalating computational complexity. Our approach enables specialization in rendering different scene components by employing a mixture of experts with varying resolutions. We present a novel gate formulation designed to maximize expert capabilities and propose a resolution-based routing technique to effectively induce sparsity and decompose scenes. Our work significantly improves reconstruction quality while maintaining competitive performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.09165v3cs.LG공통 태그 Mixture-of-Experts

희소 레이어는 루프형 언어 모델의 스케일링에 핵심적이다

Sparse Layers are Critical to Scaling Looped Language Models

루프형 언어 모델은 트랜스포머 레이어 집합을 깊이 방향으로 반복하여 메모리 비용을 줄이고 루프 경계에서 자연스러운 조기 종료 지점을 제공한다. 그러나 루프형 모델은 고유한 레이어를 갖는 표준 트랜스포머만큼 유리하게 스케일링되지 않는다. 우리는 루프 유무에 따라 표준 트랜스포머와 전문가 혼합(MoE) 트랜스포머를 비교하여 두 가지 주요 결과를 얻는다. 첫째, 밀집 루프형 모델은 그렇지 않은 반면 Looped-MoE 모델은 표준 기준 모델보다 더 잘 스케일링됨을 확인한다. 우리는 이를 루프 간 라우팅 발산에서 비롯된 것으로 추적한다. Looped-MoE 모델에서는 동일한 공유 레이어를 통과할 때마다 서로 다른 전문가가 활성화되어, 추가 매개변수 없이 표현력을 회복한다. 둘째, 루프형 모델은 표준 모델보다 조기 종료에서 더 나은 연산-품질 절충을 가진다. 각 루프가 최종 출력을 생성하는 동일한 레이어로 끝나므로 루프 경계는 더 우수한 종료 지점이며, 이는 이 지점에서 출력이 더 일찍 수렴한다는 사실로 확인된다. 요약하면, 우리는 루프형 모델을 스케일링하기 위한 명확한 방향을 제시한다. 조기 종료를 갖춘 Looped-MoE 모델은 대규모에서 표준 트랜스포머를 능가할 수 있을 뿐 아니라, 품질 저하를 최소화하면서 상당한 메모리 및 추론 절감도 가능하게 한다.

arXiv:2607.10796v2cs.CV공통 태그 Mixture-of-Experts

대규모 비전-언어 모델에서의 인지 전문가 혼합

Mixture of Cognitive Experts in Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.

arXiv:2607.01164v2cs.LG공통 태그 NeRF

정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델

Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes

최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.

arXiv:2610.00663v2cs.AI공통 태그 Mixture-of-Experts

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

arXiv:2606.30266v2cs.LG공통 태그 Mixture-of-Experts

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

arXiv:2607.08839v2cs.CV공통 태그 Mixture-of-Experts

프로브 혼합(Mixture of Probes): 프로빙을 통한 멀티모달 LLM의 특권 모달리티 학습

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

멀티모달 대규모 언어 모델(MLLM)은 일반적으로 학습 중 사용 가능한 모든 모달리티가 추론 시에도 접근 가능하다는 가정 하에 설계됩니다. 그러나 많은 실세계 환경에서는 이 가정이 성립하지 않아, 보조 모달리티가 학습 중에만 제공되는 특권 모달리티(privileged modality) 설정에서 모델이 동작해야 합니다. 이러한 모달리티들은 유용한 정보를 포함하고 있음에도 불구하고, 기존 MLLM은 모달리티를 상호 보완적 감독(supervision)의 원천이 아닌 교환 가능한 입력으로 취급함으로써 이를 효과적으로 활용하는 데 대체로 실패합니다. 우리는 MLLM 내에서 모달리티별 신호와 모달리티 공통 신호를 분리하는 새로운 프레임워크인 프로브 혼합(Mixture of Probes, MoP)을 제안합니다. 이를 통해 모델은 모달리티 의존적 구조를 보존하면서 모달리티 간 전이 가능한 표현을 학습할 수 있습니다. MoP의 핵심은, 기존 MLLM에서와 같이 최종 층 정렬에만 의존하는 대신, 공유 모달리티 인코더의 중간 표현에서 정보를 추출하고 조직하는 구조적 프로빙 메커니즘을 통해 이러한 분리를 달성한다는 점입니다. 이 분리를 지원하기 위해, 프로브 붕괴(probe collapse)를 방지하고 교차 모달리티 학습을 장려하는 프로브 분리 손실을 중심으로 한 MoP의 학습 전략인 MoP 교차 모달리티 학습(MoP Cross-modal Training, MoP-X)을 추가로 도입합니다. 우리는 특권 모달리티 설정에 맞춰진 포괄적인 평가 프로토콜 하에 4가지 모달리티와 8가지 과제에 걸친 두 도메인에서 MoP를 평가하며, 각 모달리티는 추론 시 유일한 입력으로 독립적으로 처리됩니다. MoP는 강력한 MLLM 기준 모델들을 일관되게 능가하여 최대 65%의 상대적 성능 향상을 달성함으로써, 보조 모달리티가 추론 시 사용 불가능하더라도 학습 중 효과적으로 활용될 경우 상당한 성능 향상을 제공할 수 있음을 보여줍니다. 코드, 모델 체크포인트 및 평가 프로토콜은 https://github.com/Sony/MoP에서 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.