TNLearn: 태스크 기반 뉴런을 위한 오픈소스 Python 패키지
TNLearn: An Open Source Python Package for Task-based Neurons
한국어 초록
뇌는 모든 종류의 작업을 수행하기 위해 단일 유형의 뉴런에 의존하지 않으며, 대신 작업마다 서로 다른 뉴런을 설계한다. 태스크 기반 뉴런(task-based neurons) 개념은 태스크 기반 아키텍처(task-based architectures)와 비교할 때 패러다임 전환에 해당한다. 특정 문제를 해결하려면 맞춤형 뉴런이 필요하며, 태스크 기반 뉴런은 작업 관련 데이터에서 유용한 사전 지식(prior knowledge)을 포착한다는 주장이다. 과학 연구와 산업 응용에서 태스크 기반 뉴런 사용을 돕기 위해, 태스크 기반 뉴런과 네트워크의 자동 구축을 제공하고 태스크 기반 네트워크의 원활한 학습을 가능하게 하는 오픈소스 Python 패키지 TNLearn을 제안한다. 기술 설명, API 참조, 대표 예제를 포함한 포괄적 문서는 온라인에서 제공된다. TNLearn은 https://github.com/NewT123-WM/tnlearn 에서 오픈소스로 공개되었으며 PyTorch 생태계 프로젝트가 되었다.
원문 초록
The brain does not rely on a single type of neuron to perform all kinds of tasks; instead, it designs different neurons for different tasks. The concept of task-based neurons represents a paradigm shift compared to task-based architectures. It argues that solving a specific problem requires customized neurons, as task-based neurons capture useful prior knowledge from task-related data. To facilitate the use of task-based neurons in scientific research and industrial applications, we introduce TNLearn, an open-source Python package that provides automated construction of task-based neurons and networks, enabling smooth training of task-based networks. Comprehensive documentation, including technical exposition, API reference, and representative examples, is available online. TNLearn is open-sourced at https://github.com/NewT123-WM/tnlearn and has become a PyTorch ecosystem project.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27564v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공유 표상이 어떻게 특화되는가: 형성, 유지 및 잠재적 취약성
How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility
여러 예측이 동일한 내부 표상(representation)을 사용할 때, 특정 타깃에 대한 정보는 다른 타깃에 대한 정보보다 복원하기 더 쉬운 상태로 남아 있을 수 있습니다. 본 연구에서는 최소 인공 학습자(minimal artificial learners)에서 이러한 특화(specialization)가 어떻게 형성되고 지속되며 변화하는지 조사합니다. 학습 과정에서 재구성 오차(reconstruction error)에 동일한 가중치가 부여되더라도, 어떤 타깃이 관측되는지를 변경하면 선호되는 타깃이 정밀하게 선택되고 이미 특화된 학습자의 방향을 재지정할 수 있습니다. 현재의 지지(support)를 제거하면 형성된 바이어스(bias)를 줄일 수 있는 반면, 상태 추종 업데이트 피드백(state-following update feedback)은 이를 유지할 수 있습니다. 이어 관측 및 업데이트 조건은 서로 다르지만 지정된 재구성 측정값은 일치하도록 형성된 학습자들을 비교합니다. 두 학습자는 동일한 짧은 반대 개입(opposing intervention) 하에서 모두 변화하지만 반응은 서로 다릅니다. Adam을 리셋하면 10회 업데이트 시점의 차이가 대부분 제거되며, 2차 모멘트(second moment)를 교환하면 어느 경로가 더 취약한지가 역전됩니다. 새로운 개입을 통해 평균 2차 모멘트 스케일링을 균등화하면 차이가 줄어들기는 하지만 완전히 제거되지는 않음을 보여줍니다. 즉, 좌표별(coordinate-wise) 패턴 또한 중요합니다. 새로운 Adam 또는 보정된 SGD를 사용하면 더 작은 경로 차이가 나중에 나타나는 반면, 500회의 공통 반대 업데이트는 선택된 할당 종점을 가깝게 만듭니다. 추가적인 대조군 실험에서는 획득 조건이 동일하고 평균 손실 가중치가 같더라도, 결합된 가중치 변동성과 실현된 시퀀스가 다를 경우 반응 차이가 발생함을 보여줍니다. 획득에 의해 선택되는 형성은 대칭적인 3개 타깃 설정으로도 확장됩니다. 이러한 개입들은 특화의 형성, 현재의 지지, 그리고 시간에 의존하는 잠재적 취약성을 구별해 줍니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
작은 수학적 세계를 활용한 과제 다양성의 효과 연구
Studying the Effects of Task Diversity Using Small Mathematical Worlds
모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.
MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험
MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis
주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
방보다 더 조용하게: 음성 인코더의 표현 드리프트와 태스크 견고성
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
비음성 간섭은 그에 상응하는 태스크 성능 저하 없이도 음성 표현을 변화시킬 수 있다. 우리는 고정된(frozen) 인코더 8개를 4가지 태스크에서 시험하며, 녹음 전체에 걸쳐, 발화 중에, 또는 휴지(pause) 구간에 비음성 소리를 추가한다. 녹음 전체에 간섭을 가한 경우, 임베딩 드리프트(embedding drift)는 7가지 소리에 걸쳐 태스크 손실과 함께 변하며, 평균 스피어만 상관계수는 0.81-0.88이다. 동일한 소리를 발화 구간과 휴지 구간 사이에서 옮기면 이러한 양상이 달라진다. 조용한 수준에서 중간 수준의 간섭에서는 휴지 구간 간섭이 더 큰 드리프트를 일으키는 반면, 발화 구간 간섭은 의도 인식, 화자 검증, 음성 인식에서 대체로 더 큰 손실을 초래한다. 감정 인식에서는 삽입 위치의 효과가 더 약하게 나타난다. 또한 휴지 구간 간섭은 간섭이 삽입된 구간을 넘어 음성 프레임 표현까지 변화시킨다. 추정된 녹음 배경 소음 수준보다 낮은 간섭이라 하더라도, 반복 발화 녹음(repeated speech takes) 사이의 차이만큼 임베딩을 크게 변화시킬 수 있다. 드리프트는 서로 다른 소리가 미치는 영향의 순위를 매기는 데에는 도움이 되지만, 더 큰 드리프트가 항상 더 큰 태스크 손실을 의미하는 것은 아니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.