대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.
대안적인 후속 생성을 탐색하면 대규모 언어 모델(LLM)이 추론 단계를 확정하기 전에 이후의 결과를 비교할 수 있지만, 수많은 분기를 확장하고 평가하는 과정은 추론 비용을 크게 증가시킵니다. 중간 단계를 점수화하도록 가치 모델을 학습하더라도 추론 시점에 여전히 후보들을 순위화해야 하므로 이러한 비용을 피할 수 없습니다. 본 논문에서는 추론을 쌍곡 공간(hyperbolic space)에 임베딩된 상태 트리 상에서의 이동으로 다루는 프레임워크인 HyperGuide를 제안합니다. HyperGuide는 먼저 푸앵카레 공(Poincaré ball) 상에서 상태 인코더를 학습한 다음, 현재 상태로부터 최소 비용 전이의 방향을 예측하도록 유도 헤드(guidance head)를 학습합니다. 예측된 방향은 각 추론 단계 이후 가상 토큰으로 디코더에 삽입되므로, 후보를 확장하거나 재순위화하지 않고도 단일 자기회귀 궤적을 따라 추론이 진행됩니다. 또한 지도 방식이 이진이 아닌 순서형(ordinal)이므로 신뢰할 수 있으면서도 짧은 후속 생성을 선호하여 생성이 성공적이고 간결한 해결책을 향하도록 유도합니다. 경시 수학 및 코드 생성에 대한 실험 결과, HyperGuide는 탐색 및 검증기 기반 베이스라인보다 훨씬 적은 토큰을 생성하면서도 이들 베이스라인과 일치하거나 이를 능가하는 정확도를 달성하며, 퓨샷(few-shot) 프롬프트와 거의 비슷한 수준의 토큰만을 생성함을 보여줍니다.
3D 포인트 클라우드에서 고곡률 영역은 중요한 세밀한 기하학적 의미를 담고 있지만, 공간 분포에서 뚜렷한 롱테일 희소성을 보인다. 유클리드 공간에서 다항식 부피 증가의 본질적 한계로 인해, 이러한 복잡한 기하학적 특징을 균일한 스케일의 특징 공간 내에서 충분히 해석하기 어렵게 되는 경우가 많다. 결과적으로 이러한 영역은 저곡률 영역이 지배하는 매끄러운 전역 특징에 자주 가려져 네트워크의 판별력을 제한한다. 이 문제를 해결하기 위해 포인트 클라우드 분석을 위한 곡률 인식 쌍곡 정류(curvature-aware hyperbolic rectification, CHR)인 PointCHR을 제안한다. CHR은 쌍곡 다양체(hyperbolic manifold) 근처에서 지수적 부피 확장이라는 성질을 활용하여, 학습 가능한 곡률 유도 방사형 정류 메커니즘을 제시한다. PointCHR은 고곡률 포인트를 더 큰 유효 임베딩 용량을 갖춘 경계 영역으로 적응적으로 투영함으로써, 유클리드 설정에 내재된 표현 혼잡(representation crowding) 문제를 효과적으로 완화한다. 광범위한 실험을 통해 PointCHR이 백본(backbone)이 세밀한 기하학적 세부 정보를 포착하는 능력을 크게 향상시키며, 여러 벤치마크에서 최첨단(state-of-the-art) 성능을 달성함을 보였다.
세립 시각 분류(FGVC)는 미묘한 클래스 간 차이와 큰 클래스 내 변동으로 인해 여전히 어려운 과제이다. 기존 접근법은 일반적으로 의미 분석을 위한 변별적 영역 지역화를 위해 특징 선택 메커니즘이나 영역 제안 전략에 의존한다. 그러나 이러한 방법들은 상당한 카테고리 비인식 중복성을 도입하는 동시에 변별적 단서를 포괄적으로 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 H3Former을 제안한다. 이는 고차 의미 관계를 활용하여 구조화된 영역 수준 모델링으로 지역 세립 표현을 집계하는 새로운 토큰-영역 프레임워크이다. 구체적으로, 다중 스케일 문맥 단서를 활용하여 토큰 간 가중 하이퍼그래프를 동적으로 구성하는 의미 인식 집계 모듈(SAAM)을 제안한다. 하이퍼그래프 합성곱을 적용함으로써 SAAM은 고차 의미 의존성을 포착하고 토큰 특징을 컴팩트한 영역 수준 표현으로 점진적으로 집계한다. 또한, 비유클리드 임베딩 공간에서 계층적 의미 제약을 부과하는 쌍곡 계층적 대조 손실(HHCL)을 도입한다. HHCL은 세립 카테고리 간 내재적 계층 관계를 보존하면서 클래스 간 분리성과 클래스 내 일관성을 향상시킨다. 네 가지 표준 FGVC 벤치마크에서 수행된 포괄적인 실험을 통해 H3Former 프레임워크의 우수성을 검증하였다.