어텐션 유도 마스킹은 객체 중심 학습에서 객체 발견에 실제로 도움이 되는가?
Does Attention-Guided Masking Really Help Object Discovery in Object-Centric Learning?
객체 중심 학습(Object-Centric Learning, OCL)은 사람의 어노테이션 없이 이미지를 객체 단위로 분해하는 것을 목표로 한다. 주류 방법의 한 계열은 Slot Attention을 사용해 이미지 특징을 객체 수준 표현으로 집약한 뒤, 이를 바탕으로 마스킹된 이미지 내용, 즉 랜덤 마스킹(Random Masking, RM)을 재구성하여 자기지도 학습 신호를 제공한다. 최근 방법인 DIAS는 이미지 패치를 균일한 무작위성으로 단순히 마스킹함에도 경쟁력 있는 객체 발견 정확도를 달성한다. 집약 과정의 어텐션은 이미 객체 발견 능력을 갖고 있으므로, 이를 활용해 더 나은 이미지 패치 마스킹 전략, 즉 어텐션 유도 마스킹(Attention Guided Masking, AGM)을 개발하고 더 나은 자기지도 학습을 제공하는 방안을 탐구한다. 여섯 개의 널리 인정된 데이터셋에서의 결과는 AGM가 RM보다 항상 우수한 것은 아님을 보여준다. 무조건적 슬롯 초기화 하에서 AGM는 사실적인 텍스처를 가진 데이터셋(COCO 및 VOC)에서 배경 분할을 크게 개선한다. 조건부 또는 무조건적 슬롯 초기화 여부와 데이터셋을 불문하고, 전경 객체 발견은 비슷한 수준이거나 감소한다. OCL 커뮤니티의 동료 연구자들에게, 마스킹 디코딩으로 OCL을 개선하기 위해 내부 어텐션 의미를 활용하려는 시도는 위험할 수 있다고 제안한다. 소스 코드, 모델 체크포인트 및 평가 로그는 https://github.com/und-entropy/Does-Attention-Guided-Masking-Really-Help-Object-Discovery-in-Object-Centric-Learning-. 에서 이용할 수 있다.