HyPE: 페르소나 그라운딩 대화를 위한 Persistent Edge Embeddings를 활용한 카테고리 인식 하이퍼그래프 인코딩
HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue
한국어 초록
페르소나 그라운딩 대화 시스템은 화자의 페르소나와 일치하는 응답을 생성하는 것을 목표로 하지만, 기존 방법들은 페르소나를 평면적인 문장 집합으로 취급하여 페르소나 속성 간의 고차(high-order) 관계, 예를 들어 여러 페르소나 문장이 하나의 주제 카테고리를 공유한다는 점 등을 모델링하지 못합니다. 우리는 HyPE(Hypergraph Persona Encoder)를 제안합니다. 이 프레임워크는 (i) 각 페르소나 포함 텍스트를 (Core, Expression, Sentiment, Category) 4중항(quadruple)으로 분석하고, (ii) 공유된 카테고리 라벨에 의해 하이퍼엣지가 유도되는 하이퍼그래프로 페르소나 요소를 구성합니다. HyperGCN 하이퍼그래프 신경망은 이 구조를 페르소나 요약 벡터와 소프트 메모리 뱅크(soft-memory bank)로 전파하여 응답 생성기를 조건화(condition)합니다. 또한 우리는 Persistent Edge Embeddings (PEE)를 제안하는데, 이는 HyperGCN 메시지 전달(message-passing) 단계에 융합되는 카테고리별 경량 학습 가능한 사전(priors)입니다. 탐욕적 디코딩(greedy decoding) 환경의 PersonaChat에서 HyPE는 GPT-2, LLaMA-3.2-3B, Qwen2.5-3B 백본(backbone) 전반에서 문장 수준 풀링(sentence-level pooling) 기준선(baselines)을 일관되게 능가하며, 구조화된 하이퍼엣지 수준 페르소나 인코딩이 모델 규모 전반에 걸쳐 전이 가능한 이점을 제공함을 입증했습니다.
원문 초록
Persona-grounded dialogue systems aim to produce responses consistent with a speaker's persona, yet existing methods treat personas as a flat set of sentences and fail to model the high-order relations among persona attributes-e.g., that several persona sentences share a topical category. We propose HyPE (Hypergraph Persona Encoder), a framework that (i) analyzes each persona-bearing text as a (Core, Expression, Sentiment, Category) quadruple, and (ii) organizes persona elements into a hypergraph whose hyperedges are induced by shared category labels. An HyperGCN hypergraph neural network propagates this structure into a persona summary vector and a soft-memory bank that condition the response generator. We further propose Persistent Edge Embeddings (PEE), lightweight per-category learnable priors fused into the HyperGCN message-passing step. On PersonaChat under greedy decoding, HyPE consistently outperforms sentence-level pooling baselines across GPT-2, LLaMA-3.2-3B, and Qwen2.5-3B backbones by demonstrating that structured hyperedge-level persona encoding provides a transferable advantage across model scales.
요약
페르소나 속성 간의 고차 관계를 포착하기 위해 페르소나 요소를 하이퍼그래프로 구성하고 Persistent Edge Embeddings를 활용하는 HyPE 프레임워크를 제시한다. 이 방법은 PersonaChat에서 GPT-2, LLaMA-3.2-3B, Qwen2.5-3B 백본을 통해 문장 수준 풀링 기준선을 일관되게 능가하는 성능을 보여준다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13142v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MissHyper: 결측 안내 하이퍼그래프 예측에서 임상 동기성 복원
MissHyper: Restoring Clinical Synchronicity in Missingness-Guided Hypergraph Forecasting
임상 불규칙 다변량 시계열은 생리학적 역학뿐 아니라 언제 무엇을 관측할지를 결정하는 측정 과정에 의해서도 형성된다. 그러나 이벤트 중심 모델에서는 동일 타임스탬프 구조가 너무 이른 시점에 평탄화될 수 있다. 같은 타임스탬프에 획득된 측정값이 고립된 노드로 임베딩되면, 이후 메시지 전달(message-passing) 계층에 이르기까지 지역적 환자 상태 문맥을 사용할 수 없게 된다. 우리는 이러한 전파 전(pre-propagation) 표현 병목을 연구하고, 메시지 전달이 시작되기 전에 동일 타임스탬프 문맥을 복원함으로써 이를 해결한다. 전파 전 동기성 복원을 갖춘 결측 안내 하이퍼그래프 예측 모델인 MissHyper를 제안한다. MissHyper는 각 이벤트에 지역적 지원 밀도(support-density) 단서를 보강하고, 동일 타임스탬프 기록을 집계하여 환자 상태 문맥을 복구하며, 결측 안내 게이트를 사용해 노드별 증거와 복구된 문맥을 적응적으로 융합한다. PhysioNet 2012, MIMIC-III, MIMIC-IV에서 MissHyper는 다단계 예측에서 일관된 성능 향상을 달성하고 강력한 하이퍼그래프 기준선을 능가한다. 이 결과는 이벤트 초기화를 개선하는 것이 하류 전파 아키텍처를 재설계하지 않고도 희소 임상 예측에 도움이 될 수 있음을 시사한다. 어블레이션(ablation)은 스냅샷 복원, 적응적 융합, 지원 밀도 인코딩이 모두 기여함을 보여주며, 희소 임상 예측에서 이벤트 초기화가 핵심 설계 축임을 가리킨다.
PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습
PrefReward: Learning User Preference Matrix for Personalized Text Generation
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.