Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin
원문 초록
Recent research in representation learning has shown that hierarchical data lends itself to low-dimensional and highly informative representations in hyperbolic space. However, even if hyperbolic embeddings have gathered attention in image recognition, their optimization is prone to numerical hurdles. Further, it remains unclear which applications stand to benefit the most from the implicit bias imposed by hyperbolicity, when compared to traditional Euclidean features. In this paper, we focus on prototypical hyperbolic neural networks. In particular, the tendency of hyperbolic embeddings to converge to the boundary of the Poincar\'e ball in high dimensions and the effect this has on few-shot classification. We show that the best few-shot results are attained for hyperbolic embeddings at a common hyperbolic radius. In contrast to prior benchmark results, we demonstrate that better performance can be achieved by a fixed-radius encoder equipped with the Euclidean metric, regardless of the embedding dimension.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제
What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates
모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.
퓨샷 예시는 대규모 언어 모델(LLM)의 문맥 내 세계 표현 활용을 유도한다
Few-Shot Demonstrations Elicit the Use of In-Context World Representations in LLMs
대규모 언어 모델(LLM)이 에이전트로 동작할 때, 문맥 내에서 관측된 데이터를 바탕으로 세계 기저의 잠재 상태 공간(latent state space)을 추론하고 이를 다운스트림 예측에 활용할 것으로 기대된다. 그러나 기존 연구에 따르면, 데이터 생성 과정을 관장하는 그래프 표현을 구축하고 이를 후속 예측에 활용해야 하는 그래프 추적 태스크에서 LLM이 문맥 내에서 학습된 표현을 사용하는 데 어려움을 겪는 것으로 나타났다. 본 논문에서는 동일하거나 서로 다른 그래프 위상(topology)을 지닌 서로 다른 세계에서 각 데모(demonstration)가 생성되는 퓨샷(few-shot) 설정으로 이를 확장할 경우, 4개 모델 계열의 6개 모델에서 예측 성능이 향상됨을 보인다. 이러한 개선을 이해하기 위해, 본 연구는 은닉 상태(hidden states)에서 그래프 정보를 인코딩하는 저차원 세계 표현을 선형 탐침(linear probe)한다. 주목할 점은, 퓨샷 예시가 세계 표현을 재배치하고 해당 표현의 예측적 활용을 증가시킨다는 것이다. 구체적으로 각 모델에서 이러한 세계 표현은 원래의 부분공간과 거의 직교하는 방향으로 이동하며, 이 표현에 대한 개입은 다른 부분공간에 대한 개입보다 성능을 선택적으로 더 저하시킨다. 이러한 통찰과 일치하게, 서로 다른 세계로부터 얻은 관측치를 포함하는 퓨샷 예시가 ARC-AGI-1&2, 웹 에이전트 태스크 및 Othello에서 성능을 향상시킴을 보인다. 본 연구 결과는 문맥 내 세계 모델링에서 퓨샷 예시의 역할과 내부 메커니즘을 규명한다. 더 나아가, 본 연구는 LLM 에이전트가 문맥 내 관측치로부터 어떻게 학습하는지에 대한 이해를 넓히고 추가적인 개선을 위한 시사점을 제공한다.
NeuIDO: 물리 정보 기반 4D 월드 모델을 위한 신경 내재 역학 연산자
NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models
월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.
건축 도면의 원샷 해치 패턴 인식을 위한 커넥톰 제약 초파리 모델 기반 능동적 시각 샘플링
Active Visual Sampling with a Connectome-Constrained Fly Model for One-Shot Hatch Recognition in Architectural Drawings
건축 도면은 반복되는 해치(hatch) 패턴을 통해 재료 분류를 부호화합니다. 본 연구에서는 모션에 대해 사전학습(pre-training)된 커넥톰(connectome) 제약 초파리 시각 신경망을 태스크 맞춤형 가중치(weight) 업데이트 없이 원샷(one-shot) 해치 매칭을 위한 기술자(descriptor)로 용도 변경할 수 있는지 테스트합니다. 각 64 x 64 패치는 8개의 스캔 궤적에 걸쳐 이동(translate)되며 57개 세포 유형에 걸쳐 요약됩니다. 이후 쿼리 기술자는 클래스당 하나의 범례 스트립과 매칭됩니다. CubiCasa5K 형상을 기반으로 구축된 합성 벤치마크(benchmark)의 400개 개발 시트에서, 동결된 초파리 파이프라인은 0.857의 면적 가중 정확도에 도달하고 확장된 범례를 사용할 경우 0.910에 도달합니다. 동일 밝기 방향 조건에서는 11개 픽셀 통계량이 0.299를 기록한 데 반해 0.840에 도달하며, 가보르 뱅크(Gabor bank)는 0.900에 도달합니다. 드리프트(drift)를 반복되는 정지 프레임으로 대체하면 결합된 동일 조건 점수가 0.089 [0.066, 0.112] 감소합니다. 그러나 수용체 전용 기술자가 0.891에 도달하고, 태스크 학습된 5,888개 매개변수(parameter)의 CNN이 평균 0.959를 기록하므로, 현재의 증거는 전이(transfer) 및 능동적 샘플링의 유용성을 뒷받침하지만 생물학적 배선의 이점을 뒷받침하지는 못합니다. 저자들은 프로젝트 기록 결과와 재계산된 검증 결과를 구분하고 소규모 실제 도면 감사(audit)를 보고합니다. 따라서 뒷받침되는 주장은 좁은 범위에 한정됩니다. 즉, 모션 지향적 생물학적 비전은 건축 해치 매칭을 위한 유용한 텍스처 표현으로 용도 변경될 수 있으나, 위상수학적 기여와 엔드투엔드(end-to-end) BIM 유용성은 여전히 미해결 과제로 남아 있습니다.
Multi-modal Siamese Network for Entity Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.