Product-Unit Residual Networks를 이용한 비선형 특징 상호작용 모델링
Modeling Nonlinear Feature Interactions with Product-Unit Residual Networks
한국어 초록
비선형 특징 상호작용(nonlinear feature interactions)을 이해하는 것은 과학 및 공학에서 매우 중요하지만, 표준 다층 퍼셉트론(MLP)은 종종 이러한 상호작용을 암묵적으로만 포착하여 강건성과 해석 가능성을 저해할 수 있는 얽힌 표현을 초래합니다. 우리는 최적화를 안정화하면서 특징 간 결합을 명시적으로 모델링하기 위해 곱셈형 product units와 잔차 연결(residual connections)을 통합하는 product-unit residual networks (PURe)를 조사합니다. 우리는 상호작용 기반 합성 벤치마크와 두 개의 실제 데이터셋에서 체계적인 평가를 수행하여 예측 정확도, 가우시안 특징 노이즈에 대한 강건성, 제한된 학습 데이터 하의 성능을 평가하고, 일치된 매개변수 예산 하에서 실수 및 복소수 변형을 비교합니다. 정확도를 넘어, SHAP 기반 상호작용 분석은 PURe가 MLP 기준 모델보다 더 집중되고 구조적으로 일관된 상호작용 패턴을 학습함을 보여줍니다. 전반적으로, PURe는 경쟁력 있거나 개선된 성능, 데이터 부족 환경에서의 더 나은 강건성 및 샘플 효율성, 그리고 향상된 상호작용 수준의 해석 가능성을 달성합니다.
원문 초록
Understanding nonlinear feature interactions is crucial in science and engineering, yet standard multilayer perceptrons (MLPs) often capture such interactions only implicitly, leading to entangled representations that can impair robustness and interpretability. We investigate product-unit residual networks (PURe) that integrate multiplicative product units with residual connections to explicitly model cross-feature couplings while stabilizing optimization. We conduct a systematic evaluation on an interaction-driven synthetic benchmark and two real-world datasets, assessing predictive accuracy, robustness to Gaussian feature noise, and performance under limited training data, and we compare real- and complex-valued variants under a matched parameter budget. Beyond accuracy, SHapley Additive exPlanations (SHAP)-based interaction analyses show that PURe learns more concentrated and structurally coherent interaction patterns than MLP baselines. Overall, PURe achieves competitive or improved performance, better robustness and sample efficiency in low-data regimes, and enhanced interaction-level interpretability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06861v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
귀납적 학습에서 구성적 귀납, 지식 및 노이즈 필터링의 가치 정량화
Quantifying the Value of Constructive Induction, Knowledge, and Noise Filtering on Inductive Learning
학습 연구의 핵심 목표 중 하나는 학습 문제의 특성이 평균적인 학습 성능에 미치는 영향을 측정, 모델링 및 이해하는 것이다. 예를 들어, 구성적 귀납(constructive induction), 노이즈 필터링, 배경 지식의 가치를 정량화하고자 한다. 본 논문에서는 문제 특성과 학습 성능을 연결하는 데 도움을 주는 새로운 학습 척도인 유효 차원(effective dimension)을 소개한다. 바프닉-체르보넨키스(VC) 차원과 마찬가지로 유효 차원은 종종 문제 특성과 단순 선형 관계를 가진다. 하지만 VC 차원과 달리 유효 차원은 경험적으로 추정할 수 있으며 평균적인 경우(average-case)에 대한 예측을 제공한다. 따라서 기계 및 인간 학습 연구에 더 폭넓게 적용할 수 있다. 이 척도는 역전파를 포함한 여러 학습 시스템에서 검증된다. 마지막으로, 특징 생성 시스템인 FRINGE를 사용할 때의 이점을 정밀하게 예측하는 데 이 척도를 활용한다. 그 결과 목표 개념의 복잡성이 증가할수록 이점이 감소하는 것으로 나타났다.
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
TNLearn: 태스크 기반 뉴런을 위한 오픈소스 Python 패키지
TNLearn: An Open Source Python Package for Task-based Neurons
뇌는 모든 종류의 작업을 수행하기 위해 단일 유형의 뉴런에 의존하지 않으며, 대신 작업마다 서로 다른 뉴런을 설계한다. 태스크 기반 뉴런(task-based neurons) 개념은 태스크 기반 아키텍처(task-based architectures)와 비교할 때 패러다임 전환에 해당한다. 특정 문제를 해결하려면 맞춤형 뉴런이 필요하며, 태스크 기반 뉴런은 작업 관련 데이터에서 유용한 사전 지식(prior knowledge)을 포착한다는 주장이다. 과학 연구와 산업 응용에서 태스크 기반 뉴런 사용을 돕기 위해, 태스크 기반 뉴런과 네트워크의 자동 구축을 제공하고 태스크 기반 네트워크의 원활한 학습을 가능하게 하는 오픈소스 Python 패키지 TNLearn을 제안한다. 기술 설명, API 참조, 대표 예제를 포함한 포괄적 문서는 온라인에서 제공된다. TNLearn은 https://github.com/NewT123-WM/tnlearn 에서 오픈소스로 공개되었으며 PyTorch 생태계 프로젝트가 되었다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.