Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models
원문 초록
We introduce equi-tuning, a novel fine-tuning method that transforms (potentially non-equivariant) pretrained models into group equivariant models while incurring minimum $L_2$ loss between the feature representations of the pretrained and the equivariant models. Large pretrained models can be equi-tuned for different groups to satisfy the needs of various downstream tasks. Equi-tuned models benefit from both group equivariance as an inductive bias and semantic priors from pretrained models. We provide applications of equi-tuning on three different tasks: image classification, compositional generalization in language, and fairness in natural language generation (NLG). We also provide a novel group-theoretic definition for fairness in NLG. The effectiveness of this definition is shown by testing it against a standard empirical method of fairness in NLG. We provide experimental results for equi-tuning using a variety of pretrained models: Alexnet, Resnet, VGG, and Densenet for image classification; RNNs, GRUs, and LSTMs for compositional generalization; and GPT2 for fairness in NLG. We test these models on benchmark datasets across all considered tasks to show the generality and effectiveness of the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기
Tutoring Large Language Models to be Domain-adaptive, Precise and Safe
본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.
QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇
QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.
지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.
Evaluating the Performance of TAAF for image classification models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.