무인 항공기(UAV) 위협은 21세기의 대표적인 보안 과제로 부상했습니다. 본 논문은 6개의 처리 계층을 통합한 통합 오픈 프레임워크인 DroneShield-AI를 제시합니다. 여기에는 RF 신호 분류, 음향 모터 서명(motor-signature) 탐지, YOLOv8 기반 시각 탐지, 증거 가중 센서 융합, 행동 의도 분류 엔진(BICE), 그리고 그래프 신경망 군집 지능 모듈(GNN-SIM)이 포함됩니다. BICE는 드론 비행 패턴에 대한 최초의 체계적인 6가지 클래스 위협 분류 체계(taxonomy)를 도입하여, 30초의 사전 경고 시계(horizon)를 통해 예측형 운영자 경고를 가능하게 합니다. GNN-SIM은 그래프 어텐션 네트워크를 사용한 적대적 다중 드론 대형 분석을 위한 최초의 오픈 프레임워크입니다. 3개의 공개된 실제 데이터셋에서 평가된 결과, 융합 파이프라인은 약 500~780 달러의 총 시스템 비용으로 범용 CPU급 하드웨어에서 96.1%의 탐지 정확도, 3.2%의 오탐율, 0.981의 AUC-ROC, 그리고 142ms의 종단 간 지연 시간을 달성했습니다. 모든 코드, 모델 가중치, 시뮬레이션 데이터셋은 제출 시점에 공개됩니다.
본 논문에서는 노드-링크 다이어그램(node-link diagram)의 시맨틱 세그멘테이션(semantic segmentation)을 위한 새로운 관련 모델 세트를 제안합니다. 이러한 다이어그램은 수학적 그래프, 개념 간의 관계, 순서도를 나타내는 데 자주 사용됩니다. 이러한 다이어그램은 비시각적으로 접근하기 어렵습니다. 노드-링크 다이어그램을 위해 설계된 일부 보조 인터페이스가 존재하지만, 이들은 다이어그램의 기계가 읽을 수 있는 표현에 의존하는 반면, 실제로는 대부분 비트맵 이미지(bitmap image) 형태로 제공됩니다. 우리의 컴팩트한 심층 학습(deep learning) 모델은 노드-링크 다이어그램의 대규모 합성 데이터셋(synthetic dataset)에서 우수한 정량적 및 정성적 성능을 보여주며, 픽셀당 정확도(per-pixel accuracy) 93% 이상을 달성했습니다.
기존 연구에서 도입된 채널 및 공간 어텐션 메커니즘은 심층 합성곱 신경망(CNN)의 표현 능력을 향상시키지만, 종종 매개변수와 계산 비용을 증가시킵니다. 최근 접근 방식들은 채널 어텐션을 위한 효율적인 특징 컨텍스트 모델링에만 초점을 맞추는 반면, 우리는 최소한의 매개변수와 감소된 연산으로 채널 및 공간 어텐션을 모두 포괄적으로 모델링하는 것을 목표로 합니다. 그래프 내 관계형 모델링의 원리를 활용하여, 우리는 채널 및 공간 어텐션을 통합하여 CNN의 표현력을 향상시키는 상수 매개변수 모듈인 \textit{STEAM: Squeeze and Transform Enhanced Attention Module}을 소개합니다. 우리의 지식에 따르면, 우리는 멀티헤드 그래프 트랜스포머의 개념을 활용하여 채널 및 공간 어텐션을 모두 모델링하는 그래프 기반 접근 방식을 최초로 제안합니다. 또한, 공간 어텐션을 더욱 향상시키기 위해 공간 컨텍스트를 효율적으로 포착하는 \textit{Output Guided Pooling} (OGP)을 소개합니다. 우리는 표준 벤치마크 데이터셋에서 대규모 이미지 분류, 객체 검출 및 인스턴스 분할을 위해 STEAM을 광범위하게 평가합니다. STEAM은 GFLOPs의 미미한 증가만으로 표준 ResNet-50 모델 대비 정확도를 2% 향상시킵니다. 더 나아가, STEAM은 GFLOPs를 3배 감소시키면서도 정확도 측면에서 선도적인 모듈인 ECA 및 GCT를 능가합니다. 코드는 수락 시 공개될 예정입니다.
지속 다이어그램(Persistence diagrams)은 위상 데이터 분석에서 널리 사용되는 표현 방식이지만, 자연스럽게 벡터 공간에 속하지 않으며, 이를 비교하기 위해 개발된 통계 도구들은 대부분 다운스트림 예측에 사용되는 도구들과는 별도로 발전해 왔습니다. 우리는 PD(지속 다이어그램)의 (집합을) 생존 데이터로 취급하는 STRAND(Survival Topological Representation ANalysis of Diagrams)를 소개합니다: 지속 값 $p = d - b$를 갖는 각 위상 특징은 완전히 관측된 사건 발생까지의 시간(time-to-event)으로 간주되며, 지속 생존 함수 $S(t) = \mathbb{P}(p > t)$는 다이어그램 비교의 핵심 대상이 됩니다. 이 단일 표현을 통해 우리는 (i) 소수의 다이어그램으로부터 보정된 제1종 오류와 높은 검정력을 제공하는 비모수 두 표본 검정, (ii) 해석 가능한 효과 크기, (iii) 다운스트림 머신러닝을 위한 1-Wasserstein 안정적 특징 벡터를 도출합니다. 우리는 위상이 제어된 합성 다양체에서 보정과 검정력을 검증하고, 14개의 그래프 및 3D 점 구름 벤치마크에서 경쟁력 있는 벡터화 성능을 입증하며, fMRI/신경과학 데이터의 기능적 뇌 연결성 연구에 이 방법을 적용합니다. 우리가 아는 한, STRAND는 단일하고 일관되며 해석 가능한 표현에서 지속 다이어그램에 대한 가설 검정과 벡터화를 제공하는 최초의 방법입니다.
대규모 언어 모델(LLM)은 구조화된 관계와 알고리즘 연산에 대한 추론이 필요한 작업인 그래프 계산(graph computation)을 위해 점점 더 많이 탐색되고 있습니다. 그러나 LLM이 언제 이러한 계산을 신뢰할 수 있게 지원할 수 있는지, 그리고 그래프 해결 파이프라인에 어떻게 통합되어야 하는지는 여전히 불분명합니다. LLM과 그래프의 교차점에 있는 기존 조사들은 주로 그래프 학습(graph learning), 텍스트 속성 그래프(text-attributed graphs), 또는 그래프-언어 모델링(graph-language modeling)에 초점을 맞추고 있습니다. 이러한 격차를 해소하기 위해, 우리는 역할 기반 분류법(taxonomy)을 통해 그래프 계산을 위한 LLM에 대한 포괄적인 리뷰를 제공합니다. 구체적으로, 우리는 두 가지 주요 패러다임을 식별합니다: i) LLM을 실행자(executor)로 사용하는 경우, 모델이 그래프 설명과 지시사항을 통해 그래프 작업을 직접 해결합니다; ii) LLM을 계획자(planner)로 사용하는 경우, 모델이 문제를 정의하고, 추론 단계를 분해하며, 실행을 위해 외부 도구나 에이전트(agent)를 호출합니다. 이 분류법을 기반으로 현재 방법들의 강점과 한계를 분석합니다. 리뷰 결과에 따르면, LLM은 단순하고 소규모 작업에는 유망하지만 대규모이고 정확성이 요구되는 작업에는 여전히 신뢰할 수 없는 것으로 나타났습니다. 마지막으로, 사용 가능한 데이터셋(dataset)을 요약하고 네 가지 향후 방향을 제안합니다.
그래프 신경망(GNN)에서의 노드 분류는 그래프 분석의 다양한 분야에 널리 적용되어 왔습니다. GNN은 동일한 클래스 레이블을 가진 노드가 연결되는 경향이 있는 동질성 그래프에서 높은 정확도의 노드 분류를 달성합니다. 그러나 서로 다른 클래스 레이블을 가진 노드가 연결될 가능성이 더 높은 이질성 그래프에서는 그 성능이 제한적입니다. 특히, 그래프 컨볼루션 신경망에서 파생된 현재의 GNN은 실제 이질성 그래프에서 자주 관찰되는 고차 클래스 레이블 연결성을 포착할 수 없습니다. 이 문제를 해결하기 위해, 우리는 방향성 그래프에서 고차 클래스 레이블 연결성을 포착하도록 설계된 새로운 분류기인 레이블 컨텍스트 분류기(LCC)를 제안합니다. LCC는 네 가지 유형의 워크를 통해 생성된 레이블 컨텍스트 임베딩을 활용하여 대상 노드의 클래스 레이블을 추정합니다. 또한, 우리의 접근 방식은 LCC와 모든 GNN의 중요도를 적응적으로 학습함으로써 이들의 통합을 가능하게 합니다. 실험 결과, LCC와 통합된 GNN은 최신 성능(SOTA) 방법론보다 우수하며, 레이블 컨텍스트 임베딩은 이질성 방향성 그래프에서 노드 분류 성능을 향상시키는 것으로 나타났습니다.
악성코드는 복잡한 구조와 행동을 나타내므로, 일상생활의 관련 서비스 및 사이버 보안 분야에서 이를 탐지하는 것은 중요한 과제입니다. 따라서 이 문제를 해결하기 위해 신뢰할 수 있고 적응형 솔루션이 필수적입니다. 수년간 개발된 여러 탐지 방법 중 가장 신뢰할 수 있는 방법 중 하나는 악성코드의 구조적 및 행동적 패턴을 연구하고 분석하는 것입니다. 정교한 악성코드의 이러한 패턴은 함수 호출 그래프(FCG)를 통해 얻을 수 있습니다. 그러나 수많은 악성코드 패밀리 그룹을 효과적으로 포괄하려면 시스템이 작동할 수 있는 충분히 큰 데이터셋이 필요합니다. 시스템의 정확성과 견고성을 보장하려면 데이터셋에 다양한 악성코드와 정상 애플리케이션의 샘플이 포함되어야 탐지 프로세스를 안전하게 수행할 수 있습니다. 본 논문에서는 악성코드의 위상 특징이 통합된 향상된 함수 호출 그래프 데이터셋인 AMD-FCG를 소개합니다. 이 프레임워크는 탐지 절차를 개선하여 사이버 보안 전문가의 워크플로우를 간소화하고, 동적 분석과 많은 처리가 필요 없도록 합니다. 따라서 이를 활용하여 더 효율적이고 혁신적인 악성코드 탐지 시스템을 개발하고 배포할 수 있습니다.
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)의 환각 현상을 줄이지만 완전히 제거하지는 못합니다. 기존 감지 방법들은 생성된 답변과 검색된 문단 간의 평면적인 유사성에 의존하여, 증거 조각과 답변 주장 간의 구조적 관계를 무시합니다. 우리는 각 응답마다 로컬 증거 그래프를 구성하고 환각 지표로서 다섯 가지 구조적 일관성 척도를 계산하는 프레임워크인 증거 그래프 일관성(EGC)을 제안합니다. 6개의 LLM(5,767개 응답)에 걸쳐 RAGTruth의 전체 질의응답 분할 데이터셋에서 평가한 결과, EGC는 일관된 모델 계열 분할을 보여주었습니다. 즉, 그래프 일관성 특징은 Llama-2 모델의 환각에 대해 예상된 진단 방향을 보이지만, GPT-4, GPT-3.5 및 Mistral-7B에서는 체계적인 반전 현상을 나타냅니다. 이러한 반전 현상은 모델 계열 간에 질적으로 다른 환각 패턴이 존재함을 시사하며, 임베딩 기반 그래프 일관성이 모델 독립적인 환각 감지 신호로 사용될 수 없음을 나타냅니다.
결측 데이터는 대기질 모니터링 및 도시 교통 관리와 같은 응용 분야에서 발생하는 시공간 시스템의 일반적인 문제입니다. 순환 신경망 및 그래프 신경망과 같은 전통적인 머신러닝 접근 방식은 반복적인 전파에 의존하는데, 이는 시간과 공간에 걸쳐 오류를 누적하는 경향이 있습니다. 최근 확산 기반 방법들은 오류 전파를 완화하지만, 반복적인 샘플링을 요구하며 종종 문제 비의존적인 가우시안 사전 분포에 의존하여 효율성과 효과성을 제한합니다. 이러한 제한 사항을 해결하기 위해, 우리는 시공간 결측치 대체를 위한 그래프 정보 기반 플로우 매칭 프레임워크인 GiFlow를 제안합니다. GiFlow는 관측 가능한 신호의 시공간 필터링을 통해 구성된 그래프 정보 기반 사전 분포로 전형적인 가우시안 사전 분포를 대체하여, 소스 분포를 타겟에 더 잘 정렬하고 생성 궤적을 단순화합니다. 플로우 필드는 공간 어텐션, 시간 어텐션 및 시공간 전파를 통합하는 하이브리드 벡터 필드 모델로 매개변수화되어, 공간 및 시간 의존성을 공동으로 모델링할 수 있습니다. 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 제안된 GiFlow가 시공간 결측치 대체에서 최첨단 접근 방식보다 우수함을 입증했습니다. 코드는 https://github.com/zepengzhang/GiFlow 에서 확인할 수 있습니다.
인터체인지는 고속도로 간 차량 이동의 핵심 노드이지만, 실시간 램프 감지기의 부재로 인해 교통량 예측에 사각지대가 발생한다. 이를 해결하기 위해 본 논문은 크로스 모달 재구성 사전학습을 활용하는 2단계 프레임워크인 시공간 분리 오토인코더(STDAE, Spatio-Temporal Decoupled Autoencoder)를 제안한다. 첫 번째 단계에서 STDAE는 본선 데이터로부터 과거 램프 교통량을 재구성하며, 이를 통해 모델이 내재적인 시공간 관계를 포착하도록 유도한다. 병렬 공간 및 시간 오토인코더로 구성된 분리 아키텍처는 이질적인 특징을 효율적으로 추출한다. 예측 단계에서는 학습된 표현을 GWNet 등의 모델과 통합하여 정확도를 향상시킨다. 세 개의 실제 인터체인지 데이터셋에 대한 실험 결과, STDAE-GWNET은 13개의 최신 베이스라인을 일관되게 능가하며, 과거 램프 데이터를 활용하는 모델과 비교 가능한 성능을 달성한다. 이는 감지기 부족 문제 극복에 있어 STDAE의 효과성과 다양한 예측 파이프라인에 대한 플러그 앤 플레이 잠재력을 입증한다.
우리는 복잡한 머신러닝 워크로드에 중점을 두고, work-conserving 시스템에서 실행 시간을 최소화하기 위해 데이터플로 그래프의 연산을 디바이스에 할당하는 문제를 연구한다. 기존 학습 기반 방법은 세 가지 핵심 한계로 인해 종종 어려움을 겪는다: (1) TensorFlow와 같은 bulk-synchronous 시스템에 의존하여 배리어 동기화(barrier synchronization)로 인해 디바이스를 과소 활용한다; (2) 학습 기반 방법을 설계할 때 하위 시스템의 스케줄링 메커니즘을 고려하지 않는다; (3) 전문가가 설계한 효과적인 휴리스틱(heuristic)의 구조를 무시하고 강화학습에만 의존한다. 본 논문에서는 연산 선택을 위한 $\mathsf{SEL}$ 정책과 선택된 연산의 디바이스 배치를 위한 $\mathsf{PLC}$ 정책으로 구성된 이중 정책 네트워크를 학습하기 위한 3단계 프레임워크인 Doppler를 제안한다. 실험 결과 Doppler는 시스템 실행 시간을 줄여 모든 작업에서 기준선 방법들을 능가하며, 에피소드당 학습 시간을 줄여 샘플 효율성(sampling efficiency) 또한 보여준다.
포인트 클라우드 분할에서의 새 클래스 발견은 알려진 클래스에서 지식을 전이하여 포인트 클라우드 내 미라벨 새 클래스를 자동으로 식별하고 분할하는 것을 목표한다. 기존 방법은 주로 클래스 할당 및 새 클래스 추론에 페어(pairwise) 연관을 사용하는데, 이는 알려진 클래스와 새 클래스 간의 복잡한 관계를 포착하는 능력을 제한하고 부정확한 의미 분할을 초래할 수 있다. 이 문제를 해결하기 위해, 우리는 클래스 간 고차 연관을 모델링하고 기존의 페어 관계를 넘어 알려진 클래스에서 새 클래스로의 협력적 추론을 가능하게 하는 하이퍼그래프 기반 프레임워크를 제안한다. 또한 기존 방법은 의미 특징 추출에 집중하는 경향이 있으며 포인트 클라우드의 기하 정보에 대한 관심이 부족하다. 공간 구조를 더 잘 활용하기 위해, 우리는 클래스 수준의 기하 단서 표현을 강화하는 기하 인식 프로토타입(Geometric-Aware Prototypes)을 제안한다. 하이퍼엣지(hyperedge)를 통해 기하 정보를 전파하여, 제안 방법은 클래스 간 공간 분포 이해를 개선하고 더 정확한 분할을 달성한다. SemanticKITTI 및 SemanticPOSS 데이터셋에서의 실험은 우리 방법의 효과성과 우수성을 입증한다.
희소 다중 뷰 카메라 리그에서의 3D 인체 자세 추정은 행동 인식, 스포츠 분석, 인간-로봇 상호작용 등 다양한 응용 분야에서 필수적인 과제이다. 벤치마크에서는 학습 기반 방법이 해당 분야를 지배하고 있지만, 대규모 주석 데이터셋이 필요하다. 3D 지도 없이 2D 검출 결과로 뷰 간 대응 문제를 풀어 3D 지도를 우회하는 학습 없는 최적화 기반 방법은 여전히 유망하다. 기존 조합론적 공식화는 이 대응 문제를 모델링하기 위해 쌍별 연관에 의존하며, 뷰 간 전역 일관성은 사후 제약으로만 강제한다. 그러나 가림과 노이즈가 있는 검출 상황에서는 국소적으로 그럴듯한 쌍별 매칭을 조화시키는 것이 취약해지며, 국소 오류가 전역적으로 전파된다. 우리는 COMPOSE를 제안하며, 이는 다중 뷰 3D 인체 자세 추정을 사람 가설들의 하이퍼그래프 위에서 가중 정확 덮개(exact cover) 최적화 문제로 재구성한다. 우리의 공식화는 쌍별 연관과 사후 일관성 강제를 단일 전역 조합론적 목적 함수로 대체한다. 지수적으로 큰 후보 공간을 다루기 위해 기하학적 가지치기 전략과 함께 두 가지 상보적 솔버를 도입한다: 정확한 정수 선형 계획(Integer Linear Programming) 공식화와 Belief Propagation을 통한 확장 가능한 완화(relaxation)이다. 3D 지도 없이 COMPOSE는 최적의 최적화 기반 방법 대비 평균 정밀도(average precision)를 최대 31포인트, 자기지도 학습 방법 대비 13포인트 향상시켜, 학습 없는 다중 뷰 3D 인체 자세 추정에서 고차 조합론적 연관의 효과를 입증한다.
개방형 어휘 오디오-비주얼 이벤트 로컬라이제이션(OV-AVEL)은 학습 중 보지 못한 카테고리를 포함하여 이벤트를 인식하고 시간적으로 로컬라이즈하기 위해 오디오-비주얼 단서를 함께 모델링한다. 기존 방법들은 주로 유클리드 공간에서 오디오-비주얼 결합 표현을 학습하지만, 여전히 두 가지 중요한 과제에 직면한다. 첫째, 미지의 카테고리에 대한 감독 신호 부재로 인해 다중 시간적 스케일에 걸쳐 오디오-비주얼 일관성을 유지하기 어렵다. 둘째, 세그먼트 수준과 비디오 수준 의미 간의 계층적 제약 부재로 인해 모델이 서로 다른 수준 간 의미적 일관성을 확립하지 못한다. 이러한 문제를 해결하기 위해, 우리는 오디오-비주얼 이벤트 로컬라이제이션 프레임워크를 위한 계층적 의미 제약 이종 그래프(HSCHG)를 제안한다. 먼저 유클리드 공간에서 이종 계층적 그래프를 구성하며, 이 그래프는 오디오 및 비주얼 세그먼트 노드와 이에 대응하는 비디오 수준 노드를 포함한다. 각 모달리티 내의 완전한 시간적 정보를 포착하기 위해 다방향 시간적 에지를 사용한다. 동시에, 정렬 신뢰도가 높을 때에만 교차 모달 정보를 도입하는 이중 임계값 필터링 게이트 융합 전략을 적용한다. 나아가, 서로 다른 수준 간 의미적 일관성을 달성하기 위해 세그먼트 수준과 비디오 수준 표현 간 양방향 의미 제약을 도입한다. 이를 기반으로, 다수준 오디오-비주얼 표현과 텍스트 프로토타입을 쌍곡선 공간에 균일하게 매핑한다. 비디오와 세그먼트 간의 계층적 관계를 특성화하기 위해 계층적 함의 정규화 손실을 사용한다. 광범위한 실험 결과는 우리의 방법이 OV-AVEL 벤치마크에서 기존 방법들을 능가함을 보여준다. 절제 연구(ablation studies)는 우리 방법의 효과성을 추가로 검증한다.