arXiv:2505.15822

MambaStyle: Efficient StyleGAN Inversion for Real Image Editing with State-Space Models

Jhon Lopez, Carlos Hinojosa, Henry Arguello, Bernard Ghanem

제출 2025-05-06

원문 초록

The task of inverting real images into StyleGAN's latent space to manipulate their attributes has been extensively studied. However, existing GAN inversion methods struggle to balance high reconstruction quality, effective editability, and computational efficiency. In this paper, we introduce MambaStyle, an efficient single-stage encoder-based approach for GAN inversion and editing that leverages vision state-space models (VSSMs) to address these challenges. Specifically, our approach integrates VSSMs within the proposed architecture, enabling high-quality image inversion and flexible editing with significantly fewer parameters and reduced computational complexity compared to state-of-the-art methods. Extensive experiments show that MambaStyle achieves a superior balance among inversion accuracy, editing quality, and computational efficiency. Notably, our method achieves superior inversion and editing results with reduced model complexity and faster inference, making it suitable for real-time applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.33051v2cs.LG공통 태그 Computational Efficiency, State Space Models

SketchSSM: 전체 상태에 쓰고, 간결한 스케치에서 읽기

SketchSSM: Write to the Full State, Read from a Compact Sketch

하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.

arXiv:2609.27411v1cs.LG공통 태그 Computational Efficiency, State Space Models

라벨이 희소할 때: 진동 진단을 위한 진동형 상태 공간 모델

When Labels Are Scarce: An Oscillatory State Space Model for Vibration Diagnosis

진동 기반 기계 고장 진단은 로컬 추론을 위한 엣지 디바이스의 계산 제약을 만족하면서, 라벨이 희소한 고장 녹음으로부터 학습해야 한다. 본 연구는 DualRes를 제안한다. 이는 진동의 두 가지 상보적 스펙트럼 관점을 결합하는 소형 진동형 상태 공간 모델로, 급격한 변화와 미세한 주파수 구조를 포착한다. 시간 정렬된 관점은 선택적 진동 기억(selective oscillatory memory)으로 처리되며, 시간적 패턴을 얼마나 오래 유지할지 학습한다. 인코더는 39,528개의 파라미터를 포함한다. 여섯 개의 베어링 데이터셋과 기어박스 벤치마크, 그리고 추가 기어박스 파일럿에서 지도 학습을 평가했다. 녹음 단위 분할과 라벨링된 구간에 대한 명시적 집계는 상관된 샘플에 대한 반복 노출과 데이터 효율을 구분한다. 주요 기어박스 벤치마크에서 DualRes는 일곱 가지 라벨 예산 중 여섯에서 평가된 아홉 가지 방법 가운데 최첨단 성능을 달성했다. 클래스당 약 6초의 라벨링된 데이터로, 차순위 비교 방법 대비 macro-F1을 16.1퍼센트포인트 향상시켰다. 동일 벤치마크에서 DualRes는 동일한 하드웨어 및 런타임 조건 하 선택적 상태 공간 기준선 대비 녹음 단위 속도 1.44배 향상과 체크포인트 저장량 24.8배 감소를 달성했다. 베어링 결과는 과제에 따른 trade-off를 보여준다. 이러한 결과는 제한된 라벨 노출 하에서 진동 진단을 위한 컴팩트한 접근으로서 진동 기억을 뒷받침한다.

arXiv:2609.24049v1cs.CV공통 태그 Computational Efficiency, State Space Models

U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할

U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation

정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.