당뇨병성 망막병증(DR) 병변 분할에서 입력 해상도를 높이면 미세혈관류 검출에는 유리하지만 출혈 분할 성능은 오히려 저하되는 반직관적 현상을 U-Net, UNet++, Vision Transformer, DeepLabV3+를 대상으로 실증적으로 규명하였다. 이를 해결하기 위해 1024×1024, 512×512, 256×256의 입력 피라미드를 공유 가중치 합성곱으로 병렬 처리한 뒤 UNet++ 백본에 융합하는 Multi-Resolution Feature Stem을 제안하여 DDR 데이터셋에서 해상도 트레이드오프를 효과적으로 극복하였다.
저해상도에서 고해상도로 이어지는 단계적 파이프라인을 기반으로, MrFlow는 학습 없이 플로우 매칭(flow-matching) 기반 텍스트-이미지 디퓨전 모델의 추론을 가속하는 방법으로, 저해상도 구조 생성 → 픽셀 공간 GAN 기반 초해상도 → 저강도 노이즈 주입 → 고해상도 세부 정제의 4단계로 구성된다. FLUX.1-dev와 Qwen-Image에서 생성 품질을 1% 이내로 유지하면서 10배 속도 향상을 달성했으며, 타임스텝 증류 전략과 결합 시 최대 25배 가속도 가능하다.
잔차 연결(residual connection)은 심층 트랜스포머 학습의 핵심이지만, 표준 PreNorm 잔차 스트림은 서브레이어 업데이트를 고정된 단위 가중치로 집계한다. 최근 Attention Residuals는 이러한 고정 누적을 콘텐츠 의존적 깊이 방향 라우팅으로 대체했고, Block Attention Residuals는 블록 수준 잔차 요약에 대한 라우팅을 통해 이 메커니즘을 효율적으로 만든다. 그러나 단일 블록 요약은 블록 내부의 저주파 총 잔차 변위만 저장하며, 어텐션 대 MLP 불균형 및 초기 대 후기 블록 동역학과 같은 방향성 구조를 버린다. 우리는 디코더 전용 트랜스포머를 위한 경량 다중 해상도 잔차 라우팅 방법인 WAV v1을 제안한다. 각 블록을 누적 잔차 합으로만 표현하는 대신, WAV v1은 모든 블록에 두 가지 방향성 세부 기저(directional detail basis)를 추가한다. 하나는 어텐션과 MLP 업데이트를 대비하는 phase basis이고, 다른 하나는 초기와 후기 서브레이어 업데이트를 대비하는 split basis이다. 이 기저들은 표준 블록 요약과 함께 동일한 깊이 방향 소프트맥스 혼합기를 통해 라우팅되며, 음수 세부 소스 초기화와 분리된(detached) RMS 매칭이 학습을 안정화한다. 문자 수준 TinyStories 및 Text8 언어 모델링에서 WAV v1은 명확한 깊이 의존적 이점을 보인다. 12층에서는 일관되게 유익하지 않지만, 24층에서는 경쟁력을 갖추고 48층에서는 모든 베이스라인을 능가한다. 48층에서 WAV v1은 Block AttnRes 대비 검증 손실을 TinyStories에서 0.4960에서 0.4738로, Text8에서 0.9363에서 0.9305로 줄이며, 추가 파라미터는 무시할 수 있는 수준이다. 이 결과는 블록 수준 합뿐 아니라 방향성 잔차 세부 정보도 더 깊은 트랜스포머에서 잔차 라우팅을 스케일링하는 데 중요함을 시사한다.