arXiv:1710.06473

Superpixels Based Marker Tracking Vs. Hue Thresholding In Rodent Biomechanics Application

Omid Haji Maghsoudi, Annie Vahedipour Tabrizi, Benjamin Robertson, Andrew Spence

제출 2017-10-17

원문 초록

Examining locomotion has improved our basic understanding of motor control and aided in treating motor impairment. Mice and rats are premier models of human disease and increasingly the model systems of choice for basic neuroscience. High frame rates (250 Hz) are needed to quantify the kinematics of these running rodents. Manual tracking, especially for multiple markers, becomes time-consuming and impossible for large sample sizes. Therefore, the need for automatic segmentation of these markers has grown in recent years. We propose two methods to segment and track these markers: first, using SLIC superpixels segmentation with a tracker based on position, speed, shape, and color information of the segmented region in the previous frame; second, using a thresholding on hue channel following up with the same tracker. The comparison showed that the SLIC superpixels method was superior because the segmentation was more reliable and based on both color and spatial information.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2606.26631v2cs.CV공통 태그 Position

효율적인 다중 턴 반복 멀티모달 추론을 위한 적응형 시각 KV 캐시 재사용

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.

arXiv:2610.15843v1cs.CL공통 태그 Position

신경망 모델과 인간 뇌에서의 음소 정체성과 위치의 결합

Binding Phoneme Identity to Position in Neural Models and the Human Brain

인지과학과 신경 계산 분야의 근본적인 난제 중 하나는 결합 문제(binding problem)이다. 조합적 일반화(compositional generalization)는 표상을 역할(role, 예: 순서 위치나 구문적 기능과 같은 표상의 구조적 슬롯)과 필러(filler, 예: 음소나 단어와 같이 슬롯을 차지하는 내용물)로 인수분해하여 달성할 수 있으며, 이 둘을 자유롭게 재조합함으로써 새로운 조합을 표현할 수 있다. 그러나 신경계가 역할-필러 결합을 어떻게 구현하는지는 여전히 알려져 있지 않다. 가장 단순한 사례 중 하나는 음소 시퀀싱으로, /gum/과 /mug/가 서로 다르게 표현되도록 음소 정체성(필러)이 위치(역할)에 결합되어야 한다. 자연어 처리(NLP) 분야에서 제안된 '양파 가설(onion hypothesis)'(Csordas et al., 2024)은 신경 집단 상태의 방향이 토큰 정체성을 부호화하고 그 크기가 위치를 부호화한다고 주장한다. 이 가설은 무작위 토큰 시퀀스를 대상으로 정립되었으며, 본 연구에서는 이를 자연어로 확장하여 신경망 모델과 인간의 뇌에서 검증한다. 먼저 표상 기하학 분석과 인과적 개입을 활용하여 영어 단어를 반복하도록 학습된 인코더-디코더 모델에서 이를 평가했다. 그 결과 크기만으로는 불완전함이 입증되었다. 위치는 크기와 함께 상태 방향의 체계적인 회전에 의해 부호화되며, 본 연구는 이러한 기제를 '나선 가설(spiral hypothesis)'로 공식화한다. 이어 짧은 문장을 듣는 20명의 참가자의 청각 피질에서 기록된 두개내 뇌파(intracranial recordings)를 분석했다. 상측두회(superior temporal gyrus) 전극 전반에서 연속된 음소 간의 집단 반응 변화는 위치가 진행됨에 따라 크기가 감소했으며, 그 방향은 자음군 내부 및 모음군 내부에서 정렬되었으나 두 부류 간에는 거의 직교하여 두 가설이 공유하는 크기 코딩을 뒷받침했다. 이러한 결과는 신경계가 음소 정체성을 위치에 결합하는 방식에 대한 기하학적 설명을 제공하며, 신경망 모델 가설이 인간 신경 계산에 대한 검증 가능한 예측을 어떻게 도출할 수 있는지를 보여준다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.