DAIN: 효율적이고 협력적인 멀티모달 추론을 위한 동적 에이전트 기반 상호작용 네트워크
DAIN: Dynamic Agent-Based Interaction Network for Efficient and Collaborative Multimodal Reasoning
한국어 초록
현재의 멀티모달 융합 접근법, 특히 정적 전문가 혼합(MoE) 아키텍처에 기반한 방법들은 복잡한 실제 응용에서 요구되는 적응적이고 효율적인 협력적 추론을 제공하는 데 어려움을 겪는 경우가 많다. 본 논문에서는 멀티모달 융합을 동적이고 다중 에이전트 협력 프로세스로 재개념화하는 동적 에이전트 기반 상호작용 네트워크(DAIN)를 소개한다. DAIN은 컨텍스트 인식 메타-컨트롤러(Meta-Controller)를 활용하여 특화된 상호작용 에이전트의 희소 활성화를 동적으로 스케줄링하고, 합의 형성을 위해 압축된 에이전트 간 통신을 조율한다. 이 프레임워크는 희소 활성화 및 통신 정규화를 통해 태스크 정확도, 에이전트 특화, 운영 효율성을 공동으로 최적화하는 다목적 손실 함수에 의해 guided된다. ADNI, MIMIC-IV, MM-IMDB, CMU-MOSI, ENRICO 등 다섯 가지 다양한 벤치마크에 걸친 포괄적인 평가를 통해 DAIN은 새로운 최첨단 성능을 확립하였으며, ADNI에서 2.6%의 정확도 향상을 포함한 유의미한 성능 개선을 달성하였다. ablation 연구는 동적 스케줄링과 에이전트 통신 모두의 핵심적인 역할을 검증한다. 또한 DAIN은 샘플별 희소 에이전트 활성화를 통해 계산 효율성을 유지하면서, 컨텍스트에 의존적인 에이전트 역할과 협력 패턴을 노출함으로써 향상된 해석 가능성을 제공한다. 본 연구는 멀티모달 추론을 위한 동적 에이전트 기반 패러다임의 가능성을 입증한다.
원문 초록
Current multimodal fusion approaches, particularly those based on static Mixture-of-Experts (MoE) architectures, often struggle to provide the adaptive and efficient collaborative reasoning required by complex real-world applications. We introduce the Dynamic Agent-based Interaction Network (DAIN), which reconceptualizes multimodal fusion as a dynamic, multi-agent collaborative process. DAIN employs a context-aware Meta-Controller that dynamically schedules sparse activation of specialized interaction agents and orchestrates compressed inter-agent communication for consensus-building. The framework is guided by a multi-objective loss function that jointly optimizes task accuracy, agent specialization, and operational efficiency through sparse activation and communication regularization. Comprehensive evaluations across five diverse benchmarks -- ADNI, MIMIC-IV, MM-IMDB, CMU-MOSI, and ENRICO -- establish DAIN as a new state-of-the-art, delivering significant performance improvements including a 2.6\% accuracy gain on ADNI. Ablation studies verify the critical roles of both dynamic scheduling and agent communication. Furthermore, DAIN offers enhanced interpretability by exposing context-dependent agent roles and collaboration patterns while maintaining computational efficiency through sample-wise sparse agent activation. Our work demonstrates the promise of dynamic, agent-based paradigms for multimodal reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30189v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성
Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance
복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
MOMAT: 양자화된 LLM의 저전력 탈옥 방어를 위한 다중 지도 혼합 기법
MOMAT: Mixture of Multiple Atlases for Low-Power Jailbreak Defense of Quantized LLMs
양자화된 대규모 언어 모델(qLLM)은 낮은 지연 시간과 에너지 효율성 덕분에 엣지 디바이스에 점점 더 널리 배포되고 있습니다. 그러나 모델 양자화(quantization)는 정렬(alignment) 안전장치를 약화시켜 qLLM을 탈옥(jailbreak) 공격에 매우 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 구조화된 지식 검색과 저전력 방어 가속을 결합한 하드웨어 강화 안전성(safety) 프레임워크인 MOMAT(Mixture of Multiple Atlases)을 제안합니다. 각 지도(atlas)는 유해하거나 무해한 샘플 세트 및 정책 템플릿의 의미론적 클러스터를 나타내며, 대규모의 이종 안전성 데이터베이스에서 차원의 저주와 그로 인한 의미론적 희소성(sparsity) 문제를 완화하는 도메인 국소화된 검색-증강 생성(RAG) 가드를 가능하게 합니다. MOMAT은 각 프롬프트(prompt)에 대해 모든 아틀라스로부터 상위 $k$개 유사도 특징을 검색하고 경량 전문가 혼합(MoE) 탐지기를 사용하여 이를 평가하며, CiM(Compute-in-Memory) 가속 유사도 엔진이 빠르고 전력 소모가 적은 아틀라스 국소 검색을 수행합니다. MOMAT의 CiM 기반 검색은 100개 쿼리 배치(batch) 처리를 15,052.44 ms에서 3,207.21 ns로 가속화($4.69 \times 10^6\times$ 속도 향상)하고, 에너지를 $8.1 \times 10^7$ $\mu$J에서 3.32 $\mu$J로 줄여 DRAM 기반(Raspberry Pi) 베이스라인 대비 약 $2.5 \times 10^5\times$의 에너지 절감을 달성합니다. 표준 벤치마크에 걸친 레드팀 테스팅(red-teaming) 평가 결과, MOMAT은 정상적인 입력에 대한 과잉 차단(benign overkill)을 방지하고 상당한 효율성 향상을 제공하면서도 최첨단 기법들의 방어 성능과 대등함을 보여주며, CiM 기반 모듈식 방어가 엣지에 배포된 qLLM을 더 안전하고 에너지 효율적으로 만들 수 있음을 입증합니다. 향후 연구를 촉진하기 위해 223.2k개 샘플로 구성된 전체 데이터셋(dataset)을 공개할 예정입니다.
ITC-MoE: MoE 확산 언어 모델을 위한 중요도 기반 토큰 인식 압축
ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models
전문가 혼합(MoE) 확산 언어 모델(DLM)은 유연한 병렬 디코딩과 향상된 모델 용량을 제공하지만, 방대한 수의 전문가 매개변수로 인해 상당한 계산 및 스토리지 비용이 발생합니다. 기존의 저랭크(low-rank) MoE 압축 방식은 주로 정적 인수분해와 고정된 랭크 할당에 의존하여 MoE DLM의 고유한 특성을 간과합니다. 구체적으로 본 논문에서는 두 가지 특성을 규명합니다. 첫째는 입력, 출력 및 전문가 모드 전반에 걸쳐 매개변수 중복성과 랭크 절단에 대한 민감도가 달라지는 '교차 모드 불균일 중복성'이며, 둘째는 핫(hot) 토큰과 콜드(cold) 토큰이 서로 다른 스펙트럼 특성과 전문가 활성화 패턴을 나타내는 '토큰별 활용 변동성'입니다. 이러한 문제를 해결하기 위해 본 논문에서는 MoE DLM을 위한 중요도 기반 토큰 인식 압축 프레임워크인 ITC-MoE를 제안합니다. ITC-MoE는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 첫째, 중요도 기반 적응형 터커 압축(IATC)은 활성화 및 그래디언트 중요도를 전문가 가중치 변환에 반영하고, 여러 모드에 걸쳐 전문가 가중치를 공동으로 인수분해하며, 고정된 매개변수 예산 내에서 적응적으로 랭크를 할당합니다. 둘째, 토큰 인식 보상 및 라우팅(TCR)은 압축에 민감한 핫 토큰에 경량 저랭크 보상을 적용하고, 집중된 라우팅 패턴을 보이는 콜드 토큰에 대해서는 후보 전문가 집합을 제한합니다. 매개변수 중복성과 토큰별 변동성에 맞춰 압축 용량과 추론 실행을 공동으로 적응시킴으로써, ITC-MoE는 생성 품질을 유지하면서도 MoE DLM의 계산 및 스토리지 비용을 크게 줄입니다. 예를 들어 SDAR-30B-A3B-Chat-b32에서 ITC-MoE는 30% 압축 예산 하에서도 MultiArith에서 96.33%의 정확도를 유지하는 동시에 최대 7.22배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/ITC-MoE 에서 공개되어 있습니다.
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
Semi-Supervised Graph Prototypical Networks for Hyperspectral Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.