디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
이미지로부터 객체의 자세(pose)를 추정하는 것은 3D 장면 이해(3D scene understanding)의 핵심적인 작업이며, 최근의 접근법들은 매우 큰 벤치마크(benchmark)에서 유망한 결과를 보여주었다. 그러나 이러한 방법들은 미확인 객체(unseen object)를 다룰 때 성능이 크게 저하된다. 이 문제를 해결하기 위해, 우리는 미확인 객체를 모델링할 상당한 잠재력을 지닌 디퓨전 모델(diffusion model)(예: Stable Diffusion)의 특징(feature)에 대해 심도 있는 분석을 수행하였다. 이 분석을 바탕으로, 우리는 객체 자세 추정을 위해 이러한 디퓨전 특징을 혁신적으로 도입하였다. 객체 자세 추정에 대한 디퓨전 특징의 효능을 검증하기 위해, 디퓨전 특징을 포착하고 집계하는 세 가지의 서로 다른 아키텍처(vanilla, nonlinear, context-aware 가중치 집계)를 제안하여 비교 분석을 수행하였다. 효율적인 특징 집계를 달성하기 위해, 모든 특징을 사용하는 대신 판별력 있는 특징을 자동으로 선택하는 신뢰도 적응형 집계 네트워크(confidence adaptive aggregation network)를 제안하여, 더 나은 속도-정확도 트레이드오프(trade-off)를 달성하였다. 특히, 우리의 신뢰도 적응형 집계 네트워크는 미확인 객체에서 기존 최고 성능(previous best arts)보다 더 높은 정확도를 달성하였다: Unseen LM에서 97.7% 대 93.5%, Unseen O-LM에서 85.5% 대 76.3%로, 우리 방법의 강력한 일반화 능력(generalizability)을 보여준다. 대규모 BOP 벤치마크에서도 우리의 방법은 측정 가능한 향상을 제공하여, 평균 재현율(recall)이 기존의 57.9에서 58.3으로 증가하였다. 또한, CAA는 CWA 변형(variant)에 비해 비교 가능한 정확도를 유지하면서 계산 비용을 1.3~1.5배 절감한다. 더욱이, CAA는 68 FPS 이상을 달성하며 실시간(real-time) 성능에 도달하여, 정확도-효율성 트레이드오프를 상당히 개선하였다.