PyTorchKR Papers

최신 논문

총 18편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22597v1cs.AI

HyCE-RAG: 설명 가능한 다중 홉 질의응답을 위한 하이퍼그래프 증거 연쇄 검색-증강 생성

HyCE-RAG: Hypergraph Chain-of-Evidence Retrieval-Augmented Generation for Explainable Multi-hop Question Answering

다중 홉 질의응답은 시스템이 여러 문서에서 증거를 검색하고 흩어진 사실들을 일관된 추론 과정으로 연결해야 한다. 표준 검색-증강 생성(RAG)은 주로 쿼리와 텍스트 청크 간의 의미적 유사성에 의존하므로, 엔티티, 사실, 증거 단위 간의 구조적 관계를 모델링하는 데 자주 실패한다. 그래프 기반 RAG는 그래프 구조 지식을 도입하여 이를 개선하지만, 쌍wise 엣지는 여러 엔티티와 맥락을 포함하는 고차 연관을 표현하는 데 여전히 한계가 있다. 우리는 설명 가능한 다중 홉 질의응답을 위한 하이퍼그래프 증거 연쇄 검색-증강 생성(HyCE-RAG) 프레임워크를 제안한다. HyCE-RAG는 엔티티, 관계, 맥락적 증거를 하이퍼엣지로 구성하고, 쿼리 인식 증거 하이퍼그래프를 구축하며, 엔티티–하이퍼엣지 incidence 구조에 대한 신뢰도 전파를 수행한다. 이어서 답변 생성 전에 신뢰도 기반 증거 조립을 통해 증거 경로를 선택, 연결, 순위화한다. 점수화 과정은 의미적 관련성, 엔티티 연결성, 증거 커버리지, 관계 신뢰도, 추출 신뢰도, 전파된 신뢰도를 공동으로 고려한다. 평탄한 검색 구절이 아닌 구조화된 증거 연쇄를 언어 모델에 제공함으로써, HyCE-RAG는 더 충실하고 해석 가능한 추론을 지원한다. HotpotQA, 2WikiMultihopQA, MuSiQue 및 GraphRAG-Bench의 두 하위 집합에 대한 실험에서 HyCE-RAG는 답변 정확도, 맥락 관련성, 충실성 측면에서 표준 RAG 및 그래프 기반 RAG 베이스라인을 지속적으로 능가한다. 이 결과는 하이퍼그래프 기반 증거 구성이 복잡한 질의응답에서 검색 후 추론(post-retrieval reasoning)의 유망한 방향임을 시사한다.

arXiv:2607.21922v1cs.LG

MissHyper: 결측 안내 하이퍼그래프 예측에서 임상 동기성 복원

MissHyper: Restoring Clinical Synchronicity in Missingness-Guided Hypergraph Forecasting

임상 불규칙 다변량 시계열은 생리학적 역학뿐 아니라 언제 무엇을 관측할지를 결정하는 측정 과정에 의해서도 형성된다. 그러나 이벤트 중심 모델에서는 동일 타임스탬프 구조가 너무 이른 시점에 평탄화될 수 있다. 같은 타임스탬프에 획득된 측정값이 고립된 노드로 임베딩되면, 이후 메시지 전달(message-passing) 계층에 이르기까지 지역적 환자 상태 문맥을 사용할 수 없게 된다. 우리는 이러한 전파 전(pre-propagation) 표현 병목을 연구하고, 메시지 전달이 시작되기 전에 동일 타임스탬프 문맥을 복원함으로써 이를 해결한다. 전파 전 동기성 복원을 갖춘 결측 안내 하이퍼그래프 예측 모델인 MissHyper를 제안한다. MissHyper는 각 이벤트에 지역적 지원 밀도(support-density) 단서를 보강하고, 동일 타임스탬프 기록을 집계하여 환자 상태 문맥을 복구하며, 결측 안내 게이트를 사용해 노드별 증거와 복구된 문맥을 적응적으로 융합한다. PhysioNet 2012, MIMIC-III, MIMIC-IV에서 MissHyper는 다단계 예측에서 일관된 성능 향상을 달성하고 강력한 하이퍼그래프 기준선을 능가한다. 이 결과는 이벤트 초기화를 개선하는 것이 하류 전파 아키텍처를 재설계하지 않고도 희소 임상 예측에 도움이 될 수 있음을 시사한다. 어블레이션(ablation)은 스냅샷 복원, 적응적 융합, 지원 밀도 인코딩이 모두 기여함을 보여주며, 희소 임상 예측에서 이벤트 초기화가 핵심 설계 축임을 가리킨다.

arXiv:2607.20506v1cs.AI

하이퍼그래프 기반 RAG 최적화: 향상된 사실 추출 및 청크 검색

Optimizing Hypergraph-Based RAG: Toward Better Fact Extraction and Chunk Retrieval

GraphRAG는 지식을 그래프로 구조화하여 더 깊은 추론을 가능하게 하지만, n-ary 사실을 처리하는 데 어려움이 있다. HyperGraphRAG는 하이퍼그래프를 사용하여 더 풍부한 의미론을 제공하고 정확도를 개선하지만, 오류가 발생하기 쉬운 LLM 추출과 비효율적인 표준 청크 검색에 의존한다. 본 연구는 추출 성능을 개선하기 위해 self-consistency prompting(자기 일관성 프롬프팅)을 적용하고, 하이퍼그래프 상의 Personalized PageRank 알고리즘을 통해 청크 검색을 향상시킴으로써 이 문제를 해결한다.

arXiv:2607.14350v1cs.CV

HAR를 위한 동적 조작 하이퍼그래프: 쌍wise 관계를 넘어서: 비전 기반 인간 활동 인식을 위한 동적 조작 하이퍼그래프

Dynamic Manipulation Hypergraphs for HAR: Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition

세밀한 조작 인식은 손, 객체, 도구 및 지지면 사이의 진화하는 관계를 모델링해야 한다. 기존 그래프 기반 방법은 쌍wise 엣지를 사용하며, 이는 조율된 이벤트를 분리된 이진 관계로 단편화할 수 있다. 우리는 다중 엔터티 구성을 고차 관계 단위로 표현하는 동적 조작 하이퍼그래프 프레임워크를 제안한다. 각 시간 단계에서 관련 엔터티는 외형, 공간, 운동 및 의미적 역할 특징으로 인코딩된다. 하이퍼엣지 후보는 근접성, 접촉 및 운동 결합 술어를 사용해 인스턴스화되고 순위가 매겨진다. 하이퍼그래프 추론 네트워크는 노드-하이퍼엣지 및 하이퍼엣지-노드 메시지 패싱을 수행한 뒤, 진화하는 상호작용 구조에 대한 시간적 어텐션을 적용한다. 이 프레임워크는 모델이 강조하는 엔터티 구성과 시간 구간을 식별하는 클래스 무관 하이퍼엣지 중요도 점수를 제공하되, 이를 인과적 설명으로 취급하지는 않는다. 정량적 평가는 주석 보조 엔터티 국소화 프로토콜 하에 EPIC-KITCHENS-100/VISOR 및 Assembly101에서 수행된다. 비디오 전용 및 엔터티 기반 방법은 맥락적 비교를 제공하고, 동일한 엔터티 입력과 유사한 관계 설정을 사용하기 때문에 매칭된 쌍wise 그래프와 정적 하이퍼그래프가 주요 통제 기준선으로 사용된다. 제안 방법은 EPIC-KITCHENS-100/VISOR에서 매칭된 쌍wise 그래프 대비 HO-F1을 6.9%p 향상시키고 Assembly101에서는 9.5%p 향상시키며, 정적 하이퍼그래프보다 각각 4.4%p 및 5.8%p 높다. ARCTIC에 대한 정성 분석은 순위가 높은 하이퍼엣지와 접촉이 풍부한 조작 구간 간의 대응 관계를 추가로 보여준다. 이러한 결과는 세밀한 조작 활동 인식을 위한 시간 가변적 고차 관계 모델링의 가치를 보여준다.

arXiv:2607.10194v1cs.CL

하이퍼그래프를 위한 명령어 집합 및 언어

Instruction Set and Language for Hypergraphs

우리는 유한하고 연결된 임의의 하이퍼그래프로서 유계 하이퍼에지 항수(bounded hyperedge arity)를 가지는 것의 구조를 컴팩트한 명령어 알파벳 $Σ_{\mathrm{HG}}$ 위의 문자열로 표현하는 방법인 IsalHG를 제시한다. 인코딩은 희소 하이퍼그래프, 노드 참조의 원형 이중 연결 리스트(CDLL), 그리고 하이퍼에지 항수의 상한인 $k$개의 순회 포인터로 구성된 소형 가상 머신(virtual machine)에 의해 수행된다. 명령어는 포인터를 CDLL을 통해 이동시키거나, 선택적으로 새 노드와 함께 하이퍼에지를 하이퍼그래프에 삽입한다. $Σ_{\mathrm{HG}}$ 위의 모든 문자열은 유효한 하이퍼그래프로 디코딩되며, 알파벳은 닫혀 있다. 탐욕적 \emph{HypergraphToString} (h2s) 알고리즘은 연결된 임의의 하이퍼그래프를 문자열로 인코딩하며, 사전순으로 최대인 구조적 튜플을 가진 노드에서 시드된 역추적 변형은 \emph{정준 문자열(canonical string)} $w^{*}$를 생성한다. 우리는 이것이 완전한 동형 불변량(isomorphism invariant)임을 추정한다. 정준 문자열 동치는 Levi 입사 그래프로의 표준 환원과 그래프 동형 엔진을 사용하지 않고 하이퍼그래프 동형을 직접 결정한다. 우리는 150개의 연결된 무작위 균일 하이퍼그래프와 명명된 조합 설계(combinatorial designs)에서 왕복 속성(round-trip property) $s2h(h2s(H)) \cong H$를 검증하고, 셀당 10개의 시드를 갖는 $(n, c)$ 격자에서 2색 Levi 그래프에 적용된 세 가지 실질적으로 이용 가능한 정확한 기준선인 nauty, Traces, bliss에 대해 정준 알고리즘을 벤치마크한다. 네 방법 모두 600개의 동형 판정에서 전부 일치하며, 이는 완전성 추정과 일치한다. 실제 경과 시간(wall-clock time) 측면에서 Levi 기준선은 테스트된 모든 셀에서 3~5자릿수 차이로 우위를 보이며(기하 평균 비율 $311\times$에서 $117{,}672\times$), 이를 측정값으로 보고한다. 우리는 표현 프레임워크, 정준 완전성 추정, 그리고 하이퍼그래프 동형에 대한 최초의 직접 방식 대 Levi 기준선 벤치마크를 기여한다.

arXiv:2511.10260v2cs.CV

H3Former: 세립 시각 분류를 위한 쌍곡 계층적 대조 손실 기반 하이퍼그래프 의미 인식 집계

H3Former: Hypergraph-based Semantic-Aware Aggregation via Hyperbolic Hierarchical Contrastive Loss for Fine-Grained Visual Classification

세립 시각 분류(FGVC)는 미묘한 클래스 간 차이와 큰 클래스 내 변동으로 인해 여전히 어려운 과제이다. 기존 접근법은 일반적으로 의미 분석을 위한 변별적 영역 지역화를 위해 특징 선택 메커니즘이나 영역 제안 전략에 의존한다. 그러나 이러한 방법들은 상당한 카테고리 비인식 중복성을 도입하는 동시에 변별적 단서를 포괄적으로 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 H3Former을 제안한다. 이는 고차 의미 관계를 활용하여 구조화된 영역 수준 모델링으로 지역 세립 표현을 집계하는 새로운 토큰-영역 프레임워크이다. 구체적으로, 다중 스케일 문맥 단서를 활용하여 토큰 간 가중 하이퍼그래프를 동적으로 구성하는 의미 인식 집계 모듈(SAAM)을 제안한다. 하이퍼그래프 합성곱을 적용함으로써 SAAM은 고차 의미 의존성을 포착하고 토큰 특징을 컴팩트한 영역 수준 표현으로 점진적으로 집계한다. 또한, 비유클리드 임베딩 공간에서 계층적 의미 제약을 부과하는 쌍곡 계층적 대조 손실(HHCL)을 도입한다. HHCL은 세립 카테고리 간 내재적 계층 관계를 보존하면서 클래스 간 분리성과 클래스 내 일관성을 향상시킨다. 네 가지 표준 FGVC 벤치마크에서 수행된 포괄적인 실험을 통해 H3Former 프레임워크의 우수성을 검증하였다.

arXiv:2607.03049v1cs.CL

정렬 유도 최대 테이블 중복 크기 추정

Alignment-Guided Largest Table Overlap Size Estimation

테이블 간 최대 중복 크기를 빠르게 추정하면 대규모 테이블 저장소에서 블로킹(blocking)과 쿼리-바이-테이블(query-by-table) 검색이 가능해진다. 최초이자 최신 추정기인 Armadillo는 각 테이블을 독립적으로 임베딩하고 임베딩 유사도를 통해 중복 비율을 근사함으로써 효율성을 높인다. 그러나 이질적인 저장소에서의 정확한 추정은 세 가지 과제로 인해 제한된다: (C1) 중복은 행-열 구조에 의존하는데, 즉 매칭된 각 셀은 두 테이블의 공동 정렬(joint alignment) 하에서 행과 열 소속을 모두 보존해야 하지만, 기존 인코딩은 이 구조를 간접적으로만 추론하도록 남겨둔다; (C2) 독립적 인코딩은 테이블 간 정렬 신호를 위한 명시적 채널을 제공하지 않아 예측이 전역적 유사도 쪽으로 편향된다; (C3) 단순한 값 인코딩은 코퍼스별 분포에 과적합되어 교차 도메인 성능 저하를 유발한다. 이에 우리는 세 가지 원칙에 기반한 확장 가능하고 도메인 견고한 중복 비율 추정기 ALORE를 제안한다: (P1) 행-열 구조를 명시적으로 표현; (P2) 비용이 큰 정렬 탐색 없이 학습 중 테이블 간 정렬 신호를 노출; (P3) 코퍼스별 값 분포에 대한 민감도 감소. ALORE는 이 원칙들을 투뷰 행-열 하이퍼그래프(Two-View Row-Column Hypergraph) 인코더, 저비용 상호작용 신호를 활용한 정렬 유도 목적 함수, 도메인 견고한 값 매핑으로 구현한다. 기존 벤치마크를 넘어서는 대규모 실세계 코퍼스를 포함하여 다양한 도메인과 규모에 걸친 여러 데이터셋에 대한 실험에서 ALORE는 최신 기술을 능가한다. ALORE는 전체 MAE를 최대 55%, 제로샷 전이에서 최대 69% 감소시키는 동시에 최대 89배의 속도 향상을 달성한다. 또한 쿼리-바이-테이블 검색에서의 효과성도 추가로 검증한다.

arXiv:2607.03156v1cs.CV

DistillH-Mamba: 효율적인 충격 낙상 감지를 위한 하이퍼그래프-Mamba 기반 지식 증류 모델

DistillH-Mamba: A Hypergraph-Mamba-Based Knowledge Distillation Model for Efficient Impact Fall Detection

노인 낙상은 그 발생 빈도, 결과, 사회적 부담으로 인해 중요한 공중 보건 문제입니다. 심층 학습(deep learning)이 낙상 감지를 개선했지만, 충격 순간(개인이 지면에 닿는 시점)을 정확히 식별하는 것은 여전히 어려운 과제입니다. 또한 현재 알고리즘들은 높은 계산 요구량을 가진 복잡한 모델에 의존하는 경우가 많아 실시간 배포 가능성이 제한됩니다. 본 연구에서는 세 가지 핵심 혁신을 통해 이러한 문제를 해결하는 충격 낙상 감지용 새로운 아키텍처 DistillH-Mamba를 제안합니다. 첫째, 여러 관절 간의 고차 관계를 동시에 포착하는 하이퍼그래프 기반 접근법을 도입하여 충격 낙상 시 복잡한 상호작용을 보다 정확하게 모델링합니다. 둘째, 충격 감지를 위해 Mamba 아키텍처와 하이퍼그래프를 통합하여 처리 속도를 크게 향상시키면서 장기 의존성과 갑작스러운 골격 동작 변화를 모두 효율적으로 포착합니다. 셋째, 실시간 충격 낙상 감지를 위한 계산 요구량을 줄이면서 중요한 공간-시간적 관계를 보존하는 관계형 지식 증류(knowledge distillation)를 적용합니다. 3D Skeletons UP-Fall 및 UMAFall 데이터셋에서 평가한 결과, DistillH-Mamba 모델은 낙상 이벤트 내 충격 감지에서 97.38%의 정확도를 달성했으며, 교사 모델(teacher model) 대비 추론(inference) 시간을 73.8% 단축하여 정밀도(precision)와 효율성 모두에서 최신 기법들을 능가했습니다.

arXiv:2607.01901v1cs.LG

SABER: A Semantic-Aligned Brain Network Analysis Framework via Multi-scale Hypergraphs

LLM에서 추출한 의미론적 지식을 뇌 질환 분류의 의사결정 단계까지 직접 통합하는 SABER 프레임워크를 제안하며, ROI 수준의 시맨틱 임베딩 주입, 다중 스케일 하이퍼그래프 기반 고차 상호작용 모델링, 환자별 텍스트 임베딩을 그래프 표현에 선택적으로 주입하는 결정 수준 정렬 메커니즘을 계층적으로 설계하였다. ABIDE 및 ADHD-200 데이터셋 실험에서 기존 방법 대비 최고 성능을 달성하였으며, 특히 소량 데이터 환경에서의 안정성과 해석 가능성이 향상되었다.

arXiv:2607.01785v1cs.LG

EHHN: An Event-driven Heterogeneous Hypergraph Network for Object-Centric Next Activity Prediction

객체 중심 이벤트 로그(OCEL)에서 다음 활동 예측 시 발생하는 다중 객체 바인딩 손실, 이벤트-객체 역할 비대칭, 시간 정보 누락 문제를 해결하기 위해, EHHN은 이벤트-객체 하이퍼엣지와 이중 스트림 아키텍처(미시 공간 스트림 + 거시 진화 스트림)로 구성된 이종 하이퍼그래프 네트워크를 제안한다. 4개의 공개 OCEL 벤치마크에서 9개의 베이스라인 대비 정확도와 매크로 F1-score 모두 최고 성능을 달성하였으며, 최대 8.1 및 12.4 퍼센트포인트 향상과 함께 피크 GPU 메모리를 최대 24배 절감하였다.

arXiv:2607.00716v1cs.CV

행동 인식을 위한 부분 스켈레톤 가시성: 제한된 시야각 접근법

Partial Skeleton Visibility for Action Recognition: A Constrained Field-of-View Approach

제한된 시야각(FoV)으로 인한 관절 가시성 저하 문제를 해결하기 위해, 학습 가능한 가상 하이퍼에지와 가시성 사전을 활용하는 하이퍼그래프 프레임워크 PartialVisGraph를 제안한다. NTU RGB+D 60 및 120 벤치마크에서 심각한 FoV 제한 환경 기준 기존 방법 대비 최대 68.8% 성능 향상을 달성하였다.

arXiv:2606.27413v1q-bio.GN

GRAFT: Arabidopsis thaliana에서 연계된 유전자 발현 및 표현형 형질 예측을 위한 생물학적 그래프 및 하이퍼그래프 벤치마크

GRAFT: Biological Graph and Hypergraph Benchmarks for Linked Gene Expression and Phenotypic Trait Prediction in Arabidopsis thaliana

생물체에서 어떤 유전자가 어떤 형질을 조절하는지 이해하는 것은 여전히 생물학의 핵심 과제 중 하나이다. 데이터 수집 기술의 상당한 발전에도 불구하고, 유전자를 형질에 매핑하는 능력은 여전히 제한적이다. 이 게놈-표현형(genome-to-phenome, G2P) 과제는 식물 육종을 포함한 여러 문제 영역에 걸쳐 있으며, 고차원적이고 이질적(heterogeneous)이며 생물학적으로 구조화된 데이터에 대해 추론할 수 있는 방법을 필요로 한다. 그러나 현재의 데이터셋과 데이터 저장소는 이 작업에 잘 대비되어 있지 않다. 현재 연구들은 유전자 발현과 형질 데이터를 연계하지 않으며, 대부분 매우 특정한 형질에만 초점을 맞춰 가능한 상관관계의 폭을 제한한다. 이 공백을 해소하기 위해, 우리는 식물 생물학의 모델 생물인 Arabidopsis thaliana에서 유전자 발현 프로파일과 표현형 형질 측정치를 연계한, 큐레이션된 다중 모달(multimodal) 데이터셋인 Gene-Graph Regression for Arabidopsis Functional Traits(GRAFT) 데이터셋을 제시한다. GRAFT는 표현형 예측 및 해석 가능한 그래프 학습과 같은 작업을 지원한다. 또한 우리는 유전자-형질 연관성을 검증하기 위해 생물학적 정보를 반영한 하이퍼그래프 기준선을 포함한 기존 회귀 및 설명형 기준선을 벤치마크한다. 우리가 아는 한, 이는 동일한 Arabidopsis thaliana 개체에 대해 다중 모달 유전자 정보와 이질적 형질 또는 표현형 데이터를 제공하는 최초의 데이터셋이다. GRAFT를 통해 우리는 유전자 정보, 고차 유전자 쌍(higher-order gene pairings), 다양한 출처의 형질 데이터를 활용하여 유전형과 표현형 간의 관계를 정확히 이해하는 연구를 촉진하고자 한다.

arXiv:2606.25112v1cs.LG

A Framework for Directed Hypergraph Signal Processing via tensor t-SVD

Directed Hypergraph Signal Processing(DHGSP)는 t-SVD와 t-product 대수로 방향성과 고차(다항) 관계를 동시에 다루는 통합 그래프 신호 처리 프레임워크로, 방향 하이퍼그래프용 인접 텐서·위상적으로 충실한 시프트 연산자·무손실 Directed Hypergraph Fourier Transform(t-DHGFT)를 정의한다. 실제 교통망 데이터의 스펙트럼 디노이징 실험에서 행렬 기반 그래프·방향 그래프 및 무방향 텐서 하이퍼그래프 기준 방법보다 우수한 성능을 보였다.

arXiv:2606.22261v1cs.LG

퓨샷 경계 보정 비정상 탐지를 위한 정상 월드 모델 학습

Learning a Normal World Model for Few-Shot Boundary-Calibrated Abnormality Detection

복잡한 시스템에서의 비정상 탐지는 두 가지 실무적 장벽에 직면한다. 비정상 라벨은 희소하고, 이진 라벨은 사건이 정상 행동에서 얼마나 벗어났는지를 정량화하지 못한다. 우리는 이 설정을 위한 정상-월드 모델링(normal-world modeling) 공식화를 연구한다. 불완전한 비정상 클래스의 방대한 공간을 학습하는 대신, 모델은 풍부한 정상 사건으로부터 정상 세계를 학습하고, 소수의 비정상 예시만으로 정상성의 경계를 보정한다. 우리는 이 아이디어를 Hypergraph Entropic Normal-World Model로 구체화한다. 모델은 다변량 센서 윈도우를 컨텍스트 조건부 하이퍼그래프로 표현하고, 하이퍼엣지는 변수 그룹 간 고차 관계를 포착한다. 이어서 시간적 예측 서프라이즈, 하이퍼그래프 일관성 서프라이즈, 잠재 정상 매니폴드 이탈을 결합한 엔트로피 인식 정상-월드 에너지로 비정상성을 정의한다. NASA C-MAPSS turbofan degradation 벤치마크에서 제안된 전체 에너지는 네 부분집합 모두에서 강력한 제로샷 및 퓨샷 성능을 달성하고, 다중 운영 조건과 고장 모드를 갖는 가장 복잡한 설정 FD004에서 AUROC 0.9983에 도달한다. 표준 탐지 지표를 넘어, 에너지가 피상적인 입출력 매핑이 아니라 정상-월드 구조를 인코딩하는지를 탐색하는 메커니즘 검증 테스트를 도입한다. 학습된 에너지는 보지 못한 정상 엔진을 수용하고, 열화 궤적을 따라 증가하며, 컨텍스트 불일치 교차 변수 결합 파괴에 급격한 페널티를 부여한다. 이러한 결과는 정상-월드 에너지가 심각한 비정상 라벨 희소성 하에서 이상 점수, 등급화된 위험 측정, 검증 가능한 정상 시스템 행동의 표현으로 기능할 수 있음을 시사한다.

arXiv:2606.22383v1cs.CV

비전 트랜스포머의 매개변수 효율적 미세조정을 위한 구조적 초간선 적응

Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers

매개변수 효율적 미세조정(PEFT)은 소수의 매개변수만 갱신하면서 대규모 사전학습 비전 트랜스포머(ViT)를 다운스트림 태스크에 적응시키는 실용적 해법이 되었다. 그러나 기존 어댑터 기반 방법은 각 토큰에 대해 독립적으로 적응을 수행하며, 토큰 정제가 고립된 상태에서 학습되어야 한다는 가정을 암묵적으로 내포한다. 이러한 토큰 단위 공식화는 시각적 장면에서 자연스럽게 나타나는 토큰 간 구조적 관계를 간과하여, 중복된 갱신과 공간적으로 비일관적인 특징 정제로 이어질 수 있다. 본 연구에서는 매개변수 효율적 어댑터의 설계를 재검토하고, 토큰 공간이 아닌 초간선(hyperedge) 공간에서 적응을 수행할 것을 제안한다. 우리는 HyperAdapter를 도입한다. 이는 소프트 토큰 라우팅을 통해 구조적이고 그룹 인식(group-aware) 적응을 가능하게 하는 초간선 그래프(hypergraph) 기반 어댑터 아키텍처이다. HyperAdapter는 프로토타입 기반 할당을 이용해 ViT 토큰 위에 소프트 초간선 그래프를 구성하고, 토큰 특징을 잠재 초간선 표현으로 집계한 뒤, 초간선 수준에서 경량 병목(bottleneck) 적응을 적용하고, 초간선 그래프 incidence 구조를 통해 결과 갱신을 토큰으로 다시 확산(diffuse)한다. 이 설계는 표준 어댑터의 모듈성과 효율성을 유지하면서 PEFT에 명시적인 구조적 귀납적 바이어스를 주입한다. 다양한 시각 벤치마크에 걸친 광범위한 실험은 구조적 초간선 적응이 유사한 매개변수 예산 하에서 강력한 PEFT 베이스라인을 일관되게 능가함을 보여주며, 구조적 추론이 요구되는 태스크에서 특히 두드러진 향상을 보인다. 우리의 결과는 적응 공간의 선택이 ViT에 대한 매개변수 효율적 전이에서 중요하지만 아직 충분히 탐구되지 않은 차원임을 시사한다.

arXiv:2606.13142v1cs.CL

HyPE: 페르소나 그라운딩 대화를 위한 Persistent Edge Embeddings를 활용한 카테고리 인식 하이퍼그래프 인코딩

HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue

페르소나 속성 간의 고차 관계를 포착하기 위해 페르소나 요소를 하이퍼그래프로 구성하고 Persistent Edge Embeddings를 활용하는 HyPE 프레임워크를 제시한다. 이 방법은 PersonaChat에서 GPT-2, LLaMA-3.2-3B, Qwen2.5-3B 백본을 통해 문장 수준 풀링 기준선을 일관되게 능가하는 성능을 보여준다.

arXiv:2606.07218v2cs.IR

HKVM-RAG: 멀티홉 검색-증강 생성(RAG)을 위한 키-값 분리 하이퍼그래프 증거 조직

HKVM-RAG: Key-Value-Separated Hypergraph Evidence Organization for Multi-Hop RAG

멀티홉 RAG에서 증거 단위 조직의 문제를 해결하기 위해 캐시된 LLM 증거 튜플로부터 하이퍼엣지를 조립하여 검색 키로 활용하는 키-값 분리 하이퍼그래프 증거 조직 방법인 HKVM-RAG를 제안한다. 이 방법은 기존 방법론보다 향상된 F1 점수를 보이며, ColBERTv2와 결합된 컨트롤러를 통해 다중 홉 질의 응답 벤치마크에서 성능을 크게 개선했다.

arXiv:2606.07280v1cs.CV

포인트 클라우드 분할에서 새 클래스 발견을 위한 기하 인식 하이퍼그래프 추론

Geometric-Aware Hypergraph Reasoning for Novel Class Discovery in Point Cloud Segmentation

포인트 클라우드 분할에서의 새 클래스 발견은 알려진 클래스에서 지식을 전이하여 포인트 클라우드 내 미라벨 새 클래스를 자동으로 식별하고 분할하는 것을 목표한다. 기존 방법은 주로 클래스 할당 및 새 클래스 추론에 페어(pairwise) 연관을 사용하는데, 이는 알려진 클래스와 새 클래스 간의 복잡한 관계를 포착하는 능력을 제한하고 부정확한 의미 분할을 초래할 수 있다. 이 문제를 해결하기 위해, 우리는 클래스 간 고차 연관을 모델링하고 기존의 페어 관계를 넘어 알려진 클래스에서 새 클래스로의 협력적 추론을 가능하게 하는 하이퍼그래프 기반 프레임워크를 제안한다. 또한 기존 방법은 의미 특징 추출에 집중하는 경향이 있으며 포인트 클라우드의 기하 정보에 대한 관심이 부족하다. 공간 구조를 더 잘 활용하기 위해, 우리는 클래스 수준의 기하 단서 표현을 강화하는 기하 인식 프로토타입(Geometric-Aware Prototypes)을 제안한다. 하이퍼엣지(hyperedge)를 통해 기하 정보를 전파하여, 제안 방법은 클래스 간 공간 분포 이해를 개선하고 더 정확한 분할을 달성한다. SemanticKITTI 및 SemanticPOSS 데이터셋에서의 실험은 우리 방법의 효과성과 우수성을 입증한다.