arXiv:2611.24567v1 cs.CL

다양체 제약 하이퍼 연결에서의 목적 특화 잔차 스트림

Objective-Specialized Residual Streams in Manifold-Constrained Hyper-Connections

Shantanu Agarwal, Ruchita V. Maitri, Zhiqi Huang, Vivek Datla, Alfy Samuel

제출 2026-11-19

한국어 초록

다양체 제약 하이퍼 연결(mHC)은 트랜스포머의 잔차 스트림을 학습된 스트림 간 연결을 가진 여러 병렬 스트림으로 확장한다. 기존 연구는 모든 스트림을 공통 목적을 향해 학습시킨다. 반면 우리는 서로 다른 스트림에 서로 다른 학습 목적을 부여하면 과제 성능을 향상시키고 목적별 특화를 유도할 수 있는지 연구한다. 상호 보완적인 어휘적(희소) 검색 목적과 의미적(밀집) 검색 목적을 사례로 사용하여, 목적 특화 mHC가 2개 및 4개 스트림 모델과 두 가지 모델 규모 모두에서 희소-밀집 융합의 전 범위에 걸쳐 비특화 mHC 모델을 일관되게 능가함을 확인한다. 이어서 스트림 표현, 잔차 혼합, 목적별 그래디언트 흐름, 읽기/쓰기 게이트에 대한 프로브를 사용하여 특화가 모델 내부를 어떻게 변화시키는지 살펴본다. 특화 모델과 비특화 모델은 네트워크 대부분에서 유사하게 동작하지만 마지막 층에서 갈라진다. 특화 모델은 점차 목적에 특화된 그래디언트 흐름, 뚜렷한 읽기/쓰기 라우팅 패턴, 감소된 스트림 간 혼합을 보이며, 서로 다른 목적을 부여받은 스트림은 점점 더 달라지는 반면 같은 목적으로 학습된 스트림은 매우 유사하게 유지된다. 잔차 혼합을 항등으로 고정해도 특화의 이점이 그대로 유지되는데, 이는 그 이점이 학습된 스트림 간 혼합이 아니라 목적별 읽기/쓰기 라우팅에서 비롯됨을 시사한다. 이러한 결과는 mHC 스트림에 서로 다른 목적을 부여하면 잔차 연산에 구조화된 깊이 의존적 특화를 유도하면서 다목적 검색을 향상시킬 수 있음을 보여 준다.

원문 초록

Manifold-constrained Hyper-Connections (mHC) extend a Transformer's residual stream into multiple parallel streams with learned cross-stream connections. Prior work trains all streams toward a shared objective. We instead study whether assigning distinct learning objectives to different streams can improve task performance and induce objective-specific specialization. Using complementary lexical (sparse) and semantic (dense) retrieval objectives as a test case, we find that objective-specialized mHC consistently outperforms a non-specialized mHC model across the full sparse--dense fusion range, for both two- and four-stream models and at two model scales. We then examine how specialization changes the model internally using probes of stream representations, residual mixing, objective-specific gradient flow, and read/write gates. The specialized and non-specialized models behave similarly through most of the network but diverge in the final layers: the specialized model develops increasingly objective-specific gradient flow, distinct read/write routing patterns, and reduced cross-stream mixing, and streams assigned to different objectives become increasingly dissimilar while those trained toward the same objective remain highly similar. Fixing the residual mixing to the identity leaves the specialization benefit intact, indicating that the benefit stems from objective-specific read/write routing rather than learned cross-stream mixing. These results show that assigning distinct objectives to mHC streams can improve multi-objective retrieval while inducing structured, depth-dependent specialization in the residual computation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24567v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.