Improving Panoptic Segmentation at All Scales
원문 초록
Crop-based training strategies decouple training resolution from GPU memory consumption, allowing the use of large-capacity panoptic segmentation networks on multi-megapixel images. Using crops, however, can introduce a bias towards truncating or missing large objects. To address this, we propose a novel crop-aware bounding box regression loss (CABB loss), which promotes predictions to be consistent with the visible parts of the cropped objects, while not over-penalizing them for extending outside of the crop. We further introduce a novel data sampling and augmentation strategy which improves generalization across scales by counteracting the imbalanced distribution of object sizes. Combining these two contributions with a carefully designed, top-down panoptic segmentation architecture, we obtain new state-of-the-art results on the challenging Mapillary Vistas (MVD), Indian Driving and Cityscapes datasets, surpassing the previously best approach on MVD by +4.5% PQ and +5.2% mAP.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 뷰 팬옵틱 분할을 위한 대규모 뷰 합성 모델 확장
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
대규모 뷰 합성 모델은 명시적인 3D 표현 없이 교차 뷰 어텐션을 통해 새로운 뷰를 합성하며, 최근 연구들은 RGB 감독만으로도 정확한 공간 대응(spatial correspondence)을 학습한다는 것을 보여주었다. 우리는 이러한 대응이 외관(appearance)을 넘어 일반화된다는 것을 관찰한다. 이진 인코딩된 팬옵틱(panoptic) 레이블과 같은 비실사(non-photorealistic) 신호를 모델에 통과시키면, 일관된 공간 구조를 유지한 채 새로운 뷰로 전파된다. 이 결과는 RGB 뷰 합성을 위해 학습된 대응이 뷰 독립적인(view-independent) 픽셀 단위(per-pixel) 레이블도 전파할 수 있음을 시사한다. 이 관찰에 기반하여, 우리는 대규모 뷰 합성 모델을 외관 렌더링을 넘어 3D 장면 이해로 확장하는 최초의 연구를 제시한다. 우리는 3D 재구성이나 뷰 합성 모델에 대한 분할 특화 학습 없이, 동결(frozen)된 뷰 합성 모델을 재사용하여 입력 뷰의 팬옵틱 레이블을 새로운 뷰로 전파하는 팬옵틱 분할 파이프라인을 제안한다. 입력 뷰에 팬옵틱 레이블이 주어지면, 이를 이진 채널 표현으로 인코딩하고 동일한 모델에 통과시켜 타깃 뷰 분할을 렌더링한다. ScanNet에서 우리 방법은 명시적 3D 재구성을 필요로 하는 가우시안(Gaussian) 기반 접근법과 동등한 분할 품질을 달성하면서, 새로운 뷰 합성에서는 7 dB 이상 더 우수한 성능을 보인다. 레이블 전파는 데이터셋 간에도 전이되며, 미세조정 없이 Replica에서도 이러한 접근법들을 능가한다.
Nuclei Segmentation via a Deep Panoptic Model with Semantic Feature Fusion
ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.