arXiv:2206.02153

HPGNN: Using Hierarchical Graph Neural Networks for Outdoor Point Cloud Processing

Arulmolivarman Thieshanthan, Amashi Niwarthana, Pamuditha Somarathne, Tharindu Wickremasinghe, Ranga Rodrigo

제출 2022-06-05

원문 초록

Inspired by recent improvements in point cloud processing for autonomous navigation, we focus on using hierarchical graph neural networks for processing and feature learning over large-scale outdoor LiDAR point clouds. We observe that existing GNN based methods fail to overcome challenges of scale and irregularity of points in outdoor datasets. Addressing the need to preserve structural details while learning over a larger volume efficiently, we propose Hierarchical Point Graph Neural Network (HPGNN). It learns node features at various levels of graph coarseness to extract information. This enables to learn over a large point cloud while retaining fine details that existing point-level graph networks struggle to achieve. Connections between multiple levels enable a point to learn features in multiple scales, in a few iterations. We design HPGNN as a purely GNN-based approach, so that it offers modular expandability as seen with other point-based and Graph network baselines. To illustrate the improved processing capability, we compare previous point based and GNN models for semantic segmentation with our HPGNN, achieving a significant improvement for GNNs (+36.7 mIoU) on the SemanticKITTI dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20535v1cs.LG공통 태그 Semantic Segmentation, Graph Neural Network

제로샷 디지털 트윈을 위한 그래프 신경망 접근법

A Graph Neural Network approach to zero-shot Digital Twins

전통적인 예측형 디지털 트윈은 종종 기하학적으로 경직되어, 기반 물리 영역이나 경계 조건이 바뀔 때마다 광범위한 재학습 또는 미세조정을 필요로 한다. 이 한계를 극복하기 위해, 우리는 실시간 시각 인식과 기하학에 무관한 물리 정보 기반 추론 엔진을 원활하게 결합하는 제로샷 디지털 트윈(Zero-Shot Digital Twins)을 위한 새로운 프레임워크를 제시한다. 우리 아키텍처의 핵심은 Thermodynamics-Informed Graph Neural Network 아키텍처로, 메트리플렉틱(metriplectic) 열역학 형식론에 기반한 기하 심층 학습(Geometric Deep Learning) 솔버이며, 그래프 메시지 전달을 통해 국소적으로 에너지 보존과 비음 엔트로피 생성을 강제한다. 이 프레임워크는 보조 그래프 신경망을 통합하여 희소한 초기 시각 경계로부터 직접 관측 불가능한 필드(응력 텐서, 속도 및 에너지 분포 등)를 추론함으로써 수치적 시작 과도 현상을 완화한다. 시뮬-실제(sim-to-real) 격차를 메우기 위해, 우리는 연속적인 폐루프 데이터 동화 메커니즘을 구현한다. 파이프라인은 심층 분할 신경망과 희소 광학 흐름을 결합하여 거시적 변형과 자유 표면 유체 경계를 실시간으로 추적하고, 자기회귀 시뮬레이션 롤아웃을 동적으로 보정하여 수치적 드리프트를 제거한다. 우리 접근법의 타당성을 검증하기 위해, 우리는 두 가지 이질적인 물리 체제에서 접근법의 극단적인 일반화 능력을 입증한다: 점탄성 보의 대변형과 점성 유체의 비선형 슬로싱(sloshing). 두 시나리오 모두에서, 통합 프레임워크는 사례별 재학습 없이 새로운, 보지 못한 기하학에서 물리적으로 정확한 시뮬레이션을 생성하며, 실시간 지연(latency) 예산(프레임당 약 25ms) 내에서 동작하고 증강 현실(AR)을 통해 잠재 기계 변수의 직접 투영을 가능하게 한다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Neural Network

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2609.27710v3cs.CV공통 태그 Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.