FreqFLD: 주파수 변조를 통한 올인원 얼굴 랜드마크 검출
FreqFLD: Towards All-in-One Facial Landmark Detection via Frequency Modulation
한국어 초록
심층 학습의 최근 발전은 얼굴 랜드마크 검출을 크게 발전시켰다. 그러나 대부분의 기존 방법은 데이터셋 특화 학습 패러다임 하에서 공간 영역(spatial-domain) 방식으로 특징을 처리하며, 얼굴 랜드마크 검출이 본질적으로 기하학 기반(geometry-driven)이며 주파수 변화에 민감하다는 사실을 간과한다. 이로 인해 복잡한 시나리오에서의 교차 데이터셋 일반화가 제한되고 얼굴 랜드마크 검출 모델의 개발이 저해된다. 이 문제를 해결하기 위해 우리는 올인원 얼굴 랜드마크 검출을 지향하는 주파수 변조 프레임워크 FreqFLD를 제안한다. 구체적으로 FreqFLD는 저주파 및 고주파 성분을 분리·변조하여 주파수 사전정보(prior)를 명시적으로 유도하는 주파수 변조 모듈(FreqMoM)을 도입하고, 이를 후속 특징 모델링에 주입하여 전역적인 얼굴 구조와 국소적인 랜드마크 세부의 균형 잡힌 모델링을 가능하게 한다. 또한 FreqFLD는 주파수 변조 사전정보에 적응적으로 조건부화된 전문가 선택을 갖는 주파수 변조 전문가 혼합(FreqMoE)을 사용하여, 다양하고 도전적인 시나리오에서 이질적인 얼굴 랜드마크 패턴의 유연한 모델링을 가능하게 한다. 올인원 패러다임 하에서 주파수 일관성 있는 모델링을 정규화하기 위해, 우리는 주파수 인식 전문가의 라우팅 및 할당을 제약하여 다양한 얼굴 시나리오 전반에 걸친 균형 잡힌 전문가 활용을 촉진하는 주파수 일관 라우팅(FreqCR) 손실을 추가로 도입한다. 이를 통해 안정적인 전문가 특화를 가능하게 하고 견고한 얼굴 랜드마크 검출을 달성한다. 광범위한 실험을 통해 제안한 FreqFLD가 널리 쓰이는 데이터셋에서 준수한 성능을 달성함을 보인다. 코드는 https://github.com/jkj1059657014/FreqFLD 에서 이용할 수 있다.
원문 초록
Recent progress in deep learning has significantly advanced facial landmark detection. However, most existing methods process features in a spatial-domain manner under a dataset-specific training paradigm, which overlooks the fact that facial landmark detection is inherently geometry-driven and sensitive to frequency variations, thereby limiting cross-dataset generalization under complex scenarios and hindering the development of a facial landmark detection model. To address this issue, we propose \textbf{FreqFLD}, a \textbf{freq}uency-modulated framework towards All-in-One \textbf{f}acial \textbf{l}andmark \textbf{d}etection. Specifically, FreqFLD introduces a Frequency Modulation Module (FreqMoM) to explicitly induce the frequency prior by decoupling and modulating low- and high-frequency components, which is then injected into subsequent feature modeling to enable balanced modeling of global facial structure and local landmark details. Furthermore, FreqFLD employs a Frequency-Modulated Mixture-of-Experts (FreqMoE), with expert selection adaptively conditioned on frequency-modulated priors, enabling flexible modeling of heterogeneous facial landmark patterns under diverse and challenging scenarios. To regularize frequency-consistent modeling under the All-in-One paradigm, we further introduce a Frequency-Consistent Routing (FreqCR) loss, which constrains the routing and assignment of frequency-aware experts to promote balanced expert utilization across diverse facial scenarios, thereby enabling stable expert specialization and achieving robust facial landmark detection. Extensive experiments demonstrate that the proposed FreqFLD achieves comparable performance on popular datasets. The code is available at: https://github.com/jkj1059657014/FreqFLD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.10278v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.