Difference-in-Differences: Bridging Normalization and Disentanglement in PG-GAN
원문 초록
What mechanisms causes GAN's entanglement? Although developing disentangled GAN has attracted sufficient attention, it is unclear how entanglement is originated by GAN transformation. We in this research propose a difference-in-difference (DID) counterfactual framework to design experiments for analyzing the entanglement mechanism in on of the Progressive-growing GAN (PG-GAN). Our experiment clarify the mechanisms how pixel normalization causes PG-GAN entanglement during a input-unit-ablation transformation. We discover that pixel normalization causes object entanglement by in-painting the area occupied by ablated objects. We also discover the unit-object relation determines whether and how pixel normalization causes objects entanglement. Our DID framework theoretically guarantees that the mechanisms that we discover is solid, explainable and comprehensively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크
EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations
객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.
개인화 다중모달 대규모 언어 모델에서의 그룹 선호 붕괴
Group Preference Collapse in Personalized Multimodal Large Language Models
개인화 다중모달 대규모 언어 모델(MLLM)은 사용자별 맞춤 응답을 생성하는 것을 목표로 하지만, 기존 방법은 주로 프로필 수준 정보에 의존하고 다양한 사용자 선호를 간과한다. 우리는 그룹 선호 붕괴(group preference collapse)를 확인했는데, 이는 다중 사용자 개인화 MLLM이 개별 선호에 둔감해지고 생성 과정에서 억제된 선호 신호와 신뢰할 수 없는 선호 활용으로 인해 지배적인 집단 수준 선택으로 표류하는 현상이다. 우리는 안정적인 프로필 정보와 선호 관련 표현을 분리하는 선호 중심 프레임워크인 PrefMoE를 제안한다. PrefMoE는 선호를 공유 프로토타입과 개인화 잔차로 분해하고, 불균형 인식 학습, 반사실적 가상 사용자 증강, 잔차 탈상관을 통해 개별화된 잔차를 보존하며, 프로필과 선호 요인을 별도의 LoRA 적응 경로로 라우팅한다. 여러 MLLM 백본에 걸친 실험은 PrefMoE가 선호 민감 개인화를 향상시키면서 선호 붕괴를 실질적으로 줄인다는 것을 보여준다. 프로젝트 페이지: https://prefmoe.github.io/.
CV-DCLR: 강건한 제로샷 학습을 위한 인과-시각 동적 레이블 정제
CV-DCLR: Causal-Visual Dynamic Label Refinement for Robust Zero-Shot Learning
제로샷 학습(Zero-Shot Learning, ZSL)은 공유 의미 공간을 통한 지식 전이를 가능하게 한다. 그러나 이 패러다임의 핵심 병목은 의미 얽힘(Semantic Entanglement)으로, 시각적 표현이 시각적으로 유사한 의미 개념과 필연적으로 혼재되는 현상이다. 예를 들어 늑대의 고유한 특성을 허스키와 공유되는 특징(feature)으로부터 구별하는 경우가 이에 해당한다. 기존의 전역 정렬 방법은 흔히 시각 모달리티와 의미 모달리티 간의 상관관계를 무분별하게 최대화함으로써, 모델(model)이 변별적 클래스 정체성을 포착하는 대신 허위 유사성에 과적합되도록 유도한다. 이 근본적인 한계를 해결하기 위해 우리는 인과-시각 동적 레이블 정제(Causal-Visual Dynamic Label Refinement, CV-DCLR) 프레임워크를 제안한다. CV-DCLR은 피상적인 시각 통계에 의존하는 기존 방법과 달리, 이중 스트림 상호 교정 메커니즘(Dual-Stream Mutual Correction Mechanism)을 통해 시각-의미 연관관계를 재조정한다. 이는 관측 패턴을 모델링하는 시각 가능도(Visual Likelihood) 스트림과, 반사실적 개입(Counterfactual Intervention)을 통해 후보 프로토타입의 구조적 필요성을 검증하는 인과 중요도(Causal Importance) 스트림으로 구성된다. 논리적 필터 역할을 하는 적응형 게이팅 메커니즘은 특징(feature) 응답을 동적으로 조절하여 진정한 인과적 특성을 증폭하고, 시각적으로는 그럴듯하지만 구조적으로 무관한 방해 요소를 억제한다. 엄격한 의미 얽힘 주입(Semantic Entanglement Injection) 프로토콜 하에서 CUB, SUN, AWA2 벤치마크에 대한 광범위한 실험 결과, CV-DCLR은 고모호성 시나리오에서 최신 방법들을 크게 능가함을 입증한다. 구체적으로, 기존 모델(model)들이 얽힘 하에서 치명적인 성능 저하를 겪는 반면, 우리의 프레임워크는 강건한 성능을 유지하며 의미적 혼동 요인으로부터 실제 클래스 정체성을 효과적으로 분리한다.
BrainFIBRE: 뇌 미세구조를 위한 정보 분해 기반 파운데이션 모델
BrainFIBRE: A Foundation Model via Information Decomposition for Brain Microstructure
확산 MRI(Diffusion MRI)는 초기 뇌혈관 및 신경퇴행성 변화에 특히 민감하게 반응하며 뇌 미세구조를 탐색한다. 신경돌기 방향 분산 및 밀도 이미징(NODDI, Neurite Orientation Dispersion and Density Imaging)은 확산 신호를 생물물리학적으로 해석 가능한 세 가지 맵으로 분해한다: 신경돌기 밀도 지수(NDI), 방향 분산 지수(ODI), 자유수 분율(FWF). 이 세 맵은 각각 신경돌기 밀집도, 섬유 일관성, 세포외액을 포착한다. 이러한 3D 맵은 전이 가능한 미세구조 표현을 위한 풍부한 기반을 제공하지만, 통합하기가 어렵다: 표준 표현 학습은 각 맵의 고유 정보를 공유 및 시너지 상호작용으로부터 분리하는 데 한계가 있다. 우리는 UK Biobank 참가자 55,592명의 NODDI 유래 맵으로 사전학습된 뇌 미세구조 최초의 파운데이션 모델인 BrainFIBRE를 제안한다. 우리는 PID(Partial Information Decomposition) 기반 멀티모달 학습을 최초로 자기지도(self-supervised) 체계로 확장한 자기지도 부분 정보 분해(SPID, Self-supervised Partial Information Decomposition)를 제안한다. 새로운 반사실적 후보 구성(CCC, Counterfactual Candidate Construction) 패러다임은 모달리티 드롭과 스와핑을 통해 모달리티 간 정렬을 교란하여, 하류 레이블 없이 전문가 혼합(MoE) 아키텍처가 고유, 시너지, 중복 정보를 분리할 수 있는 대조 신호를 제공한다. 코카서스계 및 아시아계 코호트 모두에서 BrainFIBRE는 나이, 성별, 뇌혈관 및 신경퇴행성 마커, 인지 기능 예측 등 다양한 과제에서 최첨단 성능을 달성하며, 과제 및 코호트별 상호작용 패턴을 드러내는 신경생물학적으로 해석 가능한 표현을 제공한다. BrainFIBRE는 미세구조 수준에서의 신경영상 분석을 위한 범용 기반을 확립한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.