arXiv:2212.00072

Rethinking Causality-driven Robot Tool Segmentation with Temporal Constraints

Hao Ding, Jie Ying Wu, Zhaoshuo Li, Mathias Unberath

제출 2022-11-30

원문 초록

Purpose: Vision-based robot tool segmentation plays a fundamental role in surgical robots and downstream tasks. CaRTS, based on a complementary causal model, has shown promising performance in unseen counterfactual surgical environments in the presence of smoke, blood, etc. However, CaRTS requires over 30 iterations of optimization to converge for a single image due to limited observability. Method: To address the above limitations, we take temporal relation into consideration and propose a temporal causal model for robot tool segmentation on video sequences. We design an architecture named Temporally Constrained CaRTS (TC-CaRTS). TC-CaRTS has three novel modules to complement CaRTS - temporal optimization pipeline, kinematics correction network, and spatial-temporal regularization. Results: Experiment results show that TC-CaRTS requires much fewer iterations to achieve the same or better performance as CaRTS. TC- CaRTS also has the same or better performance in different domains compared to CaRTS. All three modules are proven to be effective. Conclusion: We propose TC-CaRTS, which takes advantage of temporal constraints as additional observability. We show that TC-CaRTS outperforms prior work in the robot tool segmentation task with improved convergence speed on test datasets from different domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2610.02480v2cs.AI공통 태그 counterfactual

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2609.26142v2stat.ME공통 태그 counterfactual

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.