Deep learning based fence segmentation and removal from an image using a video sequence
원문 초록
Conventional approaches to image de-fencing use multiple adjacent frames for segmentation of fences in the reference image and are limited to restoring images of static scenes only. In this paper, we propose a de-fencing algorithm for images of dynamic scenes using an occlusion-aware optical flow method. We divide the problem of image de-fencing into the tasks of automated fence segmentation from a single image, motion estimation under known occlusions and fusion of data from multiple frames of a captured video of the scene. Specifically, we use a pre-trained convolutional neural network to segment fence pixels from a single image. The knowledge of spatial locations of fences is used to subsequently estimate optical flow in the occluded frames of the video for the final data fusion step. We cast the fence removal problem in an optimization framework by modeling the formation of the degraded observations. The inverse problem is solved using fast iterative shrinkage thresholding algorithm (FISTA). Experimental results show the effectiveness of proposed algorithm.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ARGUS: 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션
ARGUS: Accelerated, Robust, General, and Unsupervised Cell Tracking Solutions
배경 및 목적: 세포 동역학의 정량적 분석은 현대 생물학 연구의 핵심으로, 면역 세포 상호작용, 질병 진행, 약물 기전에 대한 중요한 통찰을 제공한다. 타임랩스 현미경에서의 자동 세포 추적은 노이즈, 형태학적 변이, 세포 중첩, 분열 및 융합과 같은 동적 이벤트로 인해 여전히 어려운 과제로 남아 있다. 방법: 본 논문에서는 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션을 위한 프레임워크인 ARGUS를 제시한다. ARGUS는 적응형 세포 검출, 밀집 Farneback 광학 흐름 예측, 프레임 간 선형 할당, 그리고 짧은 시간적 공백에 걸쳐 궤적 단편을 재연결하는 시퀀스 수준의 트랙렛 정제 단계를 결합한다. 결과: 공개된 Cell Tracking Challenge 데이터셋에서 ARGUS는 0.905–0.971의 검출 정확도와 0.897–0.964의 추적 정확도를 달성하였으며, 실행 시간은 1분 이내(3프레임 기준 5–6초)였다. 결론: ARGUS는 학습 데이터나 GPU 인프라 없이도 다양한 이미징 모달리티 및 생물학적 응용에 적용 가능한 모듈식, 해석 가능한 프레임워크이다. 구현체는 https://github.com/Gitinc/argus 에서 공개적으로 이용 가능하다.
GenMatter: 생성 물질 모델을 이용한 물리적 객체 지각
GenMatter: Perceiving Physical Objects with Generative Matter Models
인간의 시각 지각은 움직임 기반 장면 해석의 계산 원리를 이해하는 데 귀중한 통찰을 제공한다. 인간은 희박한 움직이는 점, 질감이 있는 표면, 자연주의적 장면을 관찰하는 경우에도, 독립적으로 움직일 수 있는 물질 덩어리를 구성하는 움직이는 개체를 견고하게 탐지하고 분할한다. 이와 대비하여, 기존 컴퓨터 비전(CV) 시스템은 이러한 다양한 설정에서 작동하는 통합적 접근법을 갖추지 못한다. 인간 지각의 원리에서 영감을 받아, 우리는 저수준 움직임 단서와 고수준 외관 특징을 파티클(국소 물질을 나타내는 작은 가우시안)로 계층적으로 묶고, 파티클을 일관되게 그리고 독립적으로 움직일 수 있는 물리적 개체를 포착하는 클러스터로 묶는 생성 모델을 제안한다. 우리는 안정적인 파티클 움직임과 그룹핑을 복원하기 위해 병렬화된 블록 Gibbs 샘플링(block Gibbs sampling)에 기반한 하드웨어 가속 추론 알고리즘을 개발한다. 우리 모델은 다양한 종류의 입력(랜덤 도트, 스타일화된 질감, 자연주의적 RGB 비디오)에서 동작하며, 생물학적 시각은 성공하지만 기존 컴퓨터 비전 접근법은 그렇지 못한 설정에서도 작동할 수 있게 한다. 우리는 이 통합 프레임워크를 세 영역에서 검증한다: 2D 랜덤 도트 키네마토그램(random dot kinematogram)에서는, 우리 접근법이 모호한 조건에서의 단계적 불확실성을 포함하여 인간의 객체 지각을 포착한다; 위장된 회전 객체로 구성된 게슈탈트(Gestalt) 영감 데이터셋에서는, 우리 접근법이 움직임으로부터 올바른 3D 구조를 복원하고 이를 통해 정확한 2D 객체 분할을 이룬다; 자연주의적 RGB 비디오에서는, 우리 모델이 변형되는 객체를 구성하는 움직이는 3D 물질을 추적하여 견고한 객체 수준 장면 이해를 가능하게 한다. 이 연구는 인간 시각의 원리에 기반한 움직임 기반 지각을 위한 일반적 프레임워크를 확립한다.
ZS-VCOS: Zero-Shot Outperforms Supervised Video Camouflaged Object Segmentation with Zero-Shot Method
Micro Expression Generation with Thin-plate Spline Motion Model and Face Parsing
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별
Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning
연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.