arXiv:2011.11201

Modular Action Concept Grounding in Semantic Video Prediction

Wei Yu, Wenxin Chen, Songhenh Yin, Steve Easterbrook, Animesh Garg

제출 2020-11-23

원문 초록

Recent works in video prediction have mainly focused on passive forecasting and low-level action-conditional prediction, which sidesteps the learning of interaction between agents and objects. We introduce the task of semantic action-conditional video prediction, which uses semantic action labels to describe those interactions and can be regarded as an inverse problem of action recognition. The challenge of this new task primarily lies in how to effectively inform the model of semantic action information. Inspired by the idea of Mixture of Experts, we embody each abstract label by a structured combination of various visual concept learners and propose a novel video prediction model, Modular Action Concept Network (MAC). Our method is evaluated on two newly designed synthetic datasets, CLEVR-Building-Blocks and Sapien-Kitchen, and one real-world dataset called Tower-Creation. Extensive experiments demonstrate that MAC can correctly condition on given instructions and generate corresponding future frames without need of bounding boxes. We further show that the trained model can make out-of-distribution generalization, be quickly adapted to new object categories and exploit its learnt features for object detection, showing the progression towards higher-level cognitive abilities. More visualizations can be found at http://www.pair.toronto.edu/mac/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39964v2cs.AI공통 태그 Mixture-of-Experts, Object Detection

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2609.23431v1cs.CV공통 태그 Object Detection, Action Recognition

HOIBlender: 효율적 사람-객체 상호작용 검출을 위한 경량 검출과 비전-언어 사전지식의 블렌딩

HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection

사람-객체 상호작용(HOI) 검출은 상호작용하는 사람-객체 쌍을 그라운딩(grounding)하고 이들을 연결하는 동사를 인식해야 하며, 종종 심각한 롱테일(long-tail) 감독 하에서 수행된다. 최근 방법들은 더 강한 검출기와 비전-언어 사전지식으로 정확도를 높이지만, 많은 방법이 여전히 검출기 위에 무거운 트랜스포머 인코더, 복잡한 디노이징 스케줄, 또는 사후(post-hoc) 의미적 보정을 쌓아 올린다. 본 논문은 핵심 설계 원칙인 블렌딩에서 이름을 따온 효율적 HOI 검출기 \textbf{HOIBlender}를 제안한다. 검출기로 그라운딩된 시각 토큰, 공간적 주체-객체 추론, BLIP-2 의미 사전지식을 하나의 경량 디코딩 파이프라인 안에서 블렌딩한다. HOIBlender는 DINOv2 백본을 갖춘 RF-DETR/LW-DETR 스타일 기반 위에 구축되며, 다중 스케일 프로젝터에서 top-$K$ 이미지 조건부 토큰을 주체 및 객체 후보로 직접 선택하여, 이전 HOI 방법들이 유지하던 전용 인코더 단계를 제거한다. 이중 단계 디코더는 먼저 사람-객체 기하를 안정화한 뒤, 점진적 BLIP-2 사전지식 융합을 통해 동사 및 HOI 분류를 수행하며, 롱테일 카테고리를 위해 분류기 가중치는 BLIP-2 텍스트 임베딩(embedding)으로 초기화한다. 그룹 쿼리(grouped-query) 학습은 추론(inference) 비용을 늘리지 않으면서 최적화(optimization)를 더 풍부하게 한다. 세 가지 모델 규모(Nano, Small, 2XL)에 걸쳐 HOIBlender는 HICO-DET에서 SOV-STG-VLA 및 Hybrid-SOV-VLA를 일관되게 능가하며, 경쟁력 있는 지연(latency)과 매개변수 예산을 유지하면서 단 $9$회 학습 epoch만으로 Default Full mAP $44.49$에 도달한다. 이러한 결과는 경량 검출, 구조화된 공간-의미 디코딩, 깊이 통합된 비전-언어 사전지식을 단일의 효율적 HOI 파이프라인으로 블렌딩할 수 있음을 보여준다.

arXiv:2609.24455v1cs.CV공통 태그 Mixture-of-Experts, Object Detection

MECAIL: 14.6 KB 시공간 전문가를 활용한 객체 검출용 통신 인식 증분 학습

MECAIL: Communication-Aware Incremental Learning for Object Detection with 14.6 KB Spatiotemporal Experts

지능형 교통 시스템은 동적 환경에서 전반적인 성능을 지속적으로 향상하기 위해 증분 학습(IL)이 필요하다. 그러나 대부분의 엣지 디바이스는 온디바이스 IL을 지원할 연산 자원이 부족하여, 업데이트를 중앙 서버에서 전송해야 한다. 우리는 이 구성을 활용하여 주차장, 주유소, 페리, 건설 현장과 같은 특정 시공간 맥락에 맞게 고정된 베이스 모델을 적응시키는 밀집적이고 특화된 모듈 커버리지를 얻는 것을 제안한다. 그러나 V2X, Wi-Fi, 2G–5G 하드웨어를 통해 TCP, UDP, BTP를 사용하여 이러한 모듈을 엣지 디바이스에 안정적으로 전송하기 위해, 첫 TCP 윈도우에 맞추고 UDP/BTP 단편화를 최소화하기 위해 모듈당 14.6 KB의 엄격한 한도를 설정한다. 또한 이 �strict한 요구를 충족하는 최초의 방법인 통신 인식 증분 학습을 위한 전문가 혼합(MECAIL)을 도입하며, 각 새로운 도메인 또는 환경은 베이스 모델을 적응시키는 소형 전문가 네트워크가 담당한다. D-RICO와 ODinW-13에서 MECAIL을 검증하였으며, 실용적이고 대역폭 효율적인 대규모 배포를 가능하게 하면서 매개변수 집약적 접근법의 성능과 대체로 일치한다. 이를 통해 고도로 구체적이고 집중적이며 일시적인 상황에 대해 전문가가 포괄적으로 커버할 수 있다.

arXiv:2609.24937v3cs.CV공통 태그 Object Detection

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2610.00663v2cs.AI공통 태그 Mixture-of-Experts

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

arXiv:2609.24492v2cs.CV공통 태그 Object Detection

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.