arXiv:2605.21292v2 stat.ML

불편 그래디언트, 이동하는 안정성 경계: 선형 셀프 어텐션에서의 정확한 미니배치 기하학

Unbiased Gradients, Moving Stability Boundaries: Exact Mini-Batch Geometry in Linear Self-Attention

Krishnakumar Balasubramanian

제출 2026-09-23

한국어 초록

불편 확률적 그래디언트(unbiased stochastic gradient)는 기댓값상 전체 그래디언트와 일치할 수 있지만 유한 스텝 안정성을 변화시킵니다. 본 논문에서는 문맥 내 선형 회귀(in-context linear regression)를 위한 단일 층 선형 셀프 어텐션에서 이러한 효과를 연구하며, 여기서 공유 모드 미니배치 학습은 무작위 2-인자 사상(random two-factor map)으로 정확히 축소됩니다. 풀배치 사상은 타원형 영역을 보존하는 반면, 표본 추출된 곡률과 타깃 상관관계는 배치에 의존적인 안정성 경계를 형성합니다. 이들의 결합된 변동은 매개변수 업데이트 수준에서는 중심화되어 있지만 풀배치 경계 좌표의 엄격한 외향 표류(strictly outward drift)를 유도합니다. 저자들은 정확한 단일 스텝 교차 기준, 적응형 집중 한계, 조건부 표류 항등식을 도출하고, 균형 전환 모델에서 거의 확실한 이탈을 증명합니다. 독립적인 긴 프롬프트의 경우, 모드 누출은 프롬프트 길이의 제곱근 역수로 감쇠합니다. 유한 토큰 소프트맥스 어텐션의 경우, 어텐션 점수가 집중됨에 따라 줄어드는 유효 컨텍스트 길이에 의해 지배되는 명시적 경계 교차 법칙을 도출합니다. 주변 어텐션 목적 함수에 대한 실험을 통해 축소된 예측을 검증하였으며, 학습된 네 개의 인과적 소프트맥스 트랜스포머는 더 작은 첫 스텝 배치에 대해 더 큰 평균 곡률 이동을 보여 예측된 비선형 외향 바이어스와 일치함을 확인했습니다.

원문 초록

Unbiased stochastic gradients can match the full gradient in expectation while changing finite-step stability. We study this effect in one-layer linear self-attention for in-context linear regression, where shared-mode mini-batch training reduces exactly to a random two-factor map. The full-batch map preserves an elliptic region, whereas sampled curvature and target correlation create batch-dependent stability boundaries. Their combined fluctuation is centered at the parameter-update level but induces a strictly outward drift of the full-batch boundary coordinate. We derive an exact one-step crossing criterion, adaptive concentration bounds, and conditional drift identities, and prove almost-sure escape in a balanced switching model. For independent long prompts, mode leakage decays at the inverse square root of prompt length. For finite-token softmax attention, we derive an explicit boundary-crossing law governed by an effective context length that shrinks as attention scores concentrate. Experiments in ambient attention objectives verify the reduced predictions, and four trained causal softmax Transformers show larger mean curvature shifts for smaller first-step batches, consistent with the predicted nonlinear outward bias.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.21292v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10761v1stat.ML공통 태그 regression, In-Context Learning

선형 어텐션은 비선형 교사로부터 문맥 내에서 무엇을 학습할 수 있는가?

What can linear attention learn from nonlinear teachers in-context?

선형 어텐션(linear attention)은 트랜스포머의 문맥 내 학습(ICL)을 지배하는 메커니즘을 이해하기 위한 다루기 쉬운 모델이다. 선형 회귀 태스크의 경우, 최근의 점근적 분석을 통해 그 학습 및 일반화 동작이 규명된 바 있다. 본 연구에서는 이 이론을 비선형 단일 인덱스 타깃 $y=f(x^\top w)+\varepsilon$으로 확장한다. 본 연구의 주요 결과는 비선형성-노이즈 등가성(nonlinearity-noise equivalence)을 확립한다. 즉, 선형 어텐션은 $f$의 선형 에르미트(Hermite) 성분만을 추출하며, 나머지 비선형 구조는 유효 노이즈로서 일반화 오차에 기여한다. 이러한 축소를 통해 해당 선형 이론의 결과들을 비선형 태스크로 이전할 수 있다. 본 연구에서는 유한한 사전학습(pre-training) 데이터 환경과 태스크 다양성 증가에 따른 태스크 암기에서 태스크 일반화로의 전이에 대해 이것이 갖는 함의를 보여준다. 이러한 결과는 축소된 선형 어텐션 모델의 한계를 규명하고, 비선형 문맥 내 학습을 연구하기 위한 다루기 쉬운 출발점을 제공한다.

arXiv:2609.23139v1cs.CV공통 태그 regression, In-Context Learning

QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇

QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation

대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.

arXiv:2609.22329v1cs.NE공통 태그 regression, Stochastic Optimization

블랙박스 최적화에서 대리 모델로서의 인공 신경망

Artificial Neural Networks as Surrogate Models in Black Box Optimization

블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.

arXiv:2607.22906v1cs.LG공통 태그 regression, Stochastic Optimization

하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법

Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity

연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.