도메인 적응형 검출 트랜스포머를 위한 시퀀스 특징 정렬 탐구
Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers
검출 트랜스포머는 최근 유망한 객체 검출 결과를 보이며 점점 더 많은 관심을 받고 있다. 그러나 교차 도메인 성능을 향상시키기 위한 효과적인 도메인 적응 기법을 어떻게 개발할 것인지는 여전히 탐구되지 않았고 불분명하다. 본 논문에서는 이 주제를 깊이 파고들어, CNN 백본에서의 직접적인 특징 분포 정렬은 트랜스포머에서 예측에 사용되는 시퀀스 특징의 도메인 불변성을 보장하지 않기 때문에 제한적인 향상만을 가져온다는 것을 실험적으로 발견한다. 이 문제를 해결하기 위해 검출 트랜스포머의 적응을 위해 특별히 설계된 새로운 시퀀스 특징 정렬(SFA) 방법을 제안한다. 기술적으로 SFA는 도메인 쿼리 기반 특징 정렬(DQFA) 모듈과 토큰 단위 특징 정렬(TDA) 모듈로 구성된다. DQFA에서는 새로운 도메인 쿼리를 사용하여 두 도메인의 토큰 시퀀스로부터 전역 문맥을 집계하고 정렬한다. DQFA는 트랜스포머 인코더와 디코더에 각각 적용될 때 전역 특징 표현과 객체 관계에서의 도메인 불일치를 줄인다. 한편 TDA는 두 도메인의 시퀀스 내 토큰 특징을 정렬하여, 트랜스포머 인코더와 디코더에서 각각 지역 및 인스턴스 수준 특징 표현의 도메인 격차를 줄인다. 또한 강건한 객체 검출을 위한 특징 변별력을 높이기 위해 새로운 이분 매칭 일관성 손실을 제안한다. 세 가지 까다로운 벤치마크에서의 실험 결과 SFA가 최신 도메인 적응형 객체 검출 방법들을 능가함을 보인다. 코드는 https://github.com/encounter1997/SFA 에서 공개되어 있다.