Towards the Unification of Generative and Discriminative Visual Foundation Model: A Survey
원문 초록
The advent of foundation models, which are pre-trained on vast datasets, has ushered in a new era of computer vision, characterized by their robustness and remarkable zero-shot generalization capabilities. Mirroring the transformative impact of foundation models like large language models (LLMs) in natural language processing, visual foundation models (VFMs) have become a catalyst for groundbreaking developments in computer vision. This review paper delineates the pivotal trajectories of VFMs, emphasizing their scalability and proficiency in generative tasks such as text-to-image synthesis, as well as their adeptness in discriminative tasks including image segmentation. While generative and discriminative models have historically charted distinct paths, we undertake a comprehensive examination of the recent strides made by VFMs in both domains, elucidating their origins, seminal breakthroughs, and pivotal methodologies. Additionally, we collate and discuss the extensive resources that facilitate the development of VFMs and address the challenges that pave the way for future research endeavors. A crucial direction for forthcoming innovation is the amalgamation of generative and discriminative paradigms. The nascent application of generative models within discriminative contexts signifies the early stages of this confluence. This survey aspires to be a contemporary compendium for scholars and practitioners alike, charting the course of VFMs and illuminating their multifaceted landscape.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
픽셀에서 정책까지: 개입 및 지리공간 의사결정 지원을 위한 멀티 에이전트 시스템
From Pixels to Policy: A Multi-Agent System for Intervention and Geo-Spatial Decision Support
도시 환경은 건강, 안전, 삶의 질에 장기적인 영향을 미치는 디자인 선택에 의해 형성되지만, 제안된 개입(intervention) 방안을 평가하는 것은 여전히 비용과 시간이 많이 소요되며 비현실적인 경우가 많습니다. 기존의 지리공간 비전(geospatial vision) 방식은 주로 항공 및 스트리트 뷰(street-view) 영상에서 도시 지표를 모니터링하는 데 집중할 뿐, 개입을 제안하고 그러한 지표에 미치는 영향을 추정하는 데는 이르지 못했습니다. 본 연구에서는 단순 인식을 넘어, 주어진 항공 또는 스트리트 뷰 영상에서 목표 지표를 개선하는 개입 방안을 탐색하는 문제를 도입합니다. 본 논문에서는 블랙박스 지표 모델과 생성형 편집 모델을 결합하면 개입 가설을 테스트하기 위한 암시적 디지털 트윈(implicit digital twin) 역할을 수행할 수 있음을 주장합니다. 이에 따라 시각적으로 현실적이면서도 실제 정책과 부합하는 개입안을 생성하기 위해 세그멘테이션(segmentation), 확산(diffusion) 기반 인페인팅(inpainting), 지표 점수화 모델을 조율하여 이러한 개입 공간을 탐색하는 멀티 에이전트 시스템인 VIDA-Geo를 제시합니다. 항공 및 스트리트 뷰 영상 전반에서 체감 안전성 및 녹지와 같은 요소의 변화를 측정하며 8가지 지표에 대해 시스템을 평가했습니다. 본 접근 방식은 많은 사례에서 기존 베이스라인을 능가하여 최대 2배 더 높은 시각적 품질과 정책 부합도 점수를 달성했습니다. 마지막으로, 본 모델은 사용자에게 다수의 후보 개입안을 제공함으로써 전문가 도시 계획자가 참여하는 city-planner-in-the-loop 워크플로를 지원합니다.
DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성
DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.
확산 기반 세그멘테이션에 대한 재고: 모델은 언제 노이즈 상태에 의존하며, 확산 과정은 정말 중요한가?
Rethinking Diffusion Segmentation: When Does It Rely on Its Noisy State, and Does Diffusion Matter?
확산 모델(diffusion model)은 생성 모델에서 조건부 신호와 점진적으로 변화하는 타깃의 노이즈 표현(noisy representation)을 결합하는 조건부 예측으로 점차 확장 적용되고 있습니다. 그러나 완전 지도(fully supervised) 세그멘테이션에서는 조건부 이미지만으로도 이미 직접적인 타깃 예측이 가능하므로, 최종 종단(endpoint) 성능만으로는 추가된 확산 상태(diffusion state)에 대한 의존성이나 이미지 전용 예측 대비 결정론적 이점을 입증할 수 없습니다. 상태 의존성을 검증하기 위해, 저자들은 3개 데이터셋에 걸쳐 발표된 12가지 기법을 설정당 10개의 일치된 시드(seed)로 재학습하면서 타깃 유래 상태 내용 또는 올바른 이미지-상태 쌍을 교란했습니다. 평가 마스크 경로가 노이즈 수치 재구성의 하류(downstream)에 유지된 기존 기법 비교 40건 모두에서 상태 의존성이 나타난 반면, 세그멘테이션 감독 우회로(bypass)가 있는 비교 30건 모두에서는 기준 성능이 유지되었습니다. 원래 우회로 사용이 가능했던 5가지 기법에서 세그멘테이션 감독이 노이즈-마스크 재구성을 거치도록 경로를 재설정하자, 해당 비교 30건 모두에서 성능 유지 상태가 상태 의존성으로 전환되었습니다. 결정론적 유용성 측면에서는, 매칭된 이미지 전용 대조군이 전체 35개 설정 중 28개에서 유사하거나 더 우수한 성능을 달성했으며, 원본 기법이 검증 대상 상태 특성 두 가지 모두에 의존했던 20개 중 16개 설정에서도 동일한 결과가 나타났습니다. 이러한 결과는 감독 경로가 검증 대상 기법들의 상태 의존성을 결정짓는 요인임을 보여줍니다. 아울러 매칭된 이미지 전용 대조군은 검증 대상 상태 특성에 의존하는 기법을 포함하여, 확산 특화 연산이 최종 종단에서 결정론적 이점을 제공하지 못하는 경우가 많음을 보여줍니다. 보다 일반적으로, 조건부 입력이 이미 강력한 타깃 예측을 지원하는 경우 확산 특화 주장은 추가된 상태가 실제로 활용된다는 점과 확산 특화 연산이 매칭된 조건 전용 대조군을 넘어 주장된 성능을 향상시킨다는 추가적인 증거를 요구합니다.
0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습
0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.