저자원 개체명 인식을 위한 후각 영감 희소 조합 코딩
Olfactory-Inspired Sparse Combinatorial Coding for Low-Resource Named Entity Recognition
한국어 초록
저자원 언어에서의 개체명 인식(NER)은 제한된 감독과 고품질 사전학습 임베딩의 부족으로 어려움을 겪는다. 수용체와 glomerular 조직을 통한 희소 조합 코딩에 의존하는 생물학적 후각은 불확실성 하에서 강건한 표현을 학습하기 위한 설득력 있는 패러다임을 제공한다. 본 논문에서는 표준 토큰 임베딩과 BiLSTM-CRF 시퀀스 모델 사이에 수용체-glomerular 병목(receptor-glomerular bottleneck)—새로운 생물학적 후각 영감 아키텍처—을 제안한다. 사전학습 임베딩 없이 처음부터 완전히 학습한 6개 다국어 데이터셋에 대해, 엄격한 1k 문장 저자원 대조군을 포함한 다양한 데이터 규모 조건에서 아키텍처를 평가한다. 결과는 표현 병목을 도입하면 심각한 데이터 부족 상황에서 강력한 정규화(regularizer) 역할을 함으로써 주로 F1 점수가 향상됨을 보여준다. 1k 상한 학습 조건에서 후각 영감 구성 중 최소 하나가 6개 데이터셋 전체에서 최고 평균 F1 점수를 달성한다. 대부분의 언어에서는 이러한 향상이 일반 병목 대조군과 거의 동률에 해당하지만, 일반 병목이 성능을 저하시키는 벵골어(Bangla) 같은 언어에서는 후각 아키텍처가 유의미한 이점을 제공한다(표준 기준선 대비 F1 +6.23%, 최고 대조 기준선 대비 F1 +8.47%). 또한 초저자원 텔루구어(Telugu) 설정에서 전체 규모 기준 F1 +4.43% 향상을 관찰했으며, 수용체 층 내에서 희소 특화가 자연스럽게 출현함을 확인한다. 연구 결과는 후각 네트워크에서 영감을 받은 구조화된 희소 코딩이, 제한적이거나 노이즈가 있는 감독으로부터 표현을 학습해야 할 때 효과적인 귀납적 바이어스와 정규화(regularizer) 역할을 한다는 것을 시사한다.
원문 초록
Named Entity Recognition (NER) in low-resource languages suffers from limited supervision and a lack of high-quality pretrained embeddings. Biological olfaction, which relies on sparse combinatorial coding through receptor and glomerular organization, offers a compelling paradigm for learning robust representations under uncertainty. In this paper, we introduce a receptor-glomerular bottleneck - a novel, biologically-inspired olfactory architecture - between standard token embeddings and a BiLSTM-CRF sequence model. We evaluate our architecture across six multilingual datasets trained entirely from scratch (without pre-trained embeddings) under varied data-scale conditions, including a strict 1k-sentence low-resource control. Our results demonstrate that introducing a representation bottleneck yields F1 score improvements under severe data scarcity, primarily by acting as a powerful regularizer. Under the 1k capped training condition, at least one olfactory-inspired configuration achieves the highest mean F1 score across all six datasets. While these improvements represent near-ties with generic bottleneck controls for most languages, the olfactory architecture provides a significant advantage in languages like Bangla (+6.23% F1 over standard baseline and +8.47% F1 over the best control baseline) where generic bottlenecks degrade performance. We also observe improvements in the ultra-low-resource Telugu setting (+4.43% F1) at full-scale, and find that sparse specialization naturally emerges within the receptor layer. Our findings suggest that structured sparse coding inspired by olfactory networks serves as an effective inductive bias and regularizer when representations must be learned from limited or noisy supervision.
요약
저자원 개체명 인식(NER)을 위해 토큰 임베딩과 BiLSTM-CRF 사이에 후각 수용체-glomerular 병목 구조를 넣어, 사전학습 임베딩 없이 6개 다국어 데이터셋에서 희소 조합 코딩 기반 표현을 학습한다. 심각한 데이터 부족(1k 문장)에서 표현 병목이 강력한 정규화(regularizer)로 작용해 F1을 높였고, 벵골어·텔루구어 등 저자원 설정에서 일반 병목 대비 유의미한 이득과 수용체 층의 희소 특화가 관찰되었다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21895v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화
COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation
대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.
초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구
Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods
본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.
TNLearn: 태스크 기반 뉴런을 위한 오픈소스 Python 패키지
TNLearn: An Open Source Python Package for Task-based Neurons
뇌는 모든 종류의 작업을 수행하기 위해 단일 유형의 뉴런에 의존하지 않으며, 대신 작업마다 서로 다른 뉴런을 설계한다. 태스크 기반 뉴런(task-based neurons) 개념은 태스크 기반 아키텍처(task-based architectures)와 비교할 때 패러다임 전환에 해당한다. 특정 문제를 해결하려면 맞춤형 뉴런이 필요하며, 태스크 기반 뉴런은 작업 관련 데이터에서 유용한 사전 지식(prior knowledge)을 포착한다는 주장이다. 과학 연구와 산업 응용에서 태스크 기반 뉴런 사용을 돕기 위해, 태스크 기반 뉴런과 네트워크의 자동 구축을 제공하고 태스크 기반 네트워크의 원활한 학습을 가능하게 하는 오픈소스 Python 패키지 TNLearn을 제안한다. 기술 설명, API 참조, 대표 예제를 포함한 포괄적 문서는 온라인에서 제공된다. TNLearn은 https://github.com/NewT123-WM/tnlearn 에서 오픈소스로 공개되었으며 PyTorch 생태계 프로젝트가 되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.