PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.15806v2cs.CL

REAL: 긴 컨텍스트 KV 캐시 압축을 위한 검색-추론 및 논리 기반 어텐션 행동 분석

REAL: REtrieval-reAsoning and Logic-constructed Attention Behaviors for Long-Context KV Cache Compression

대규모 언어 모델의 시퀀스 길이가 증가함에 따라 키-값(KV) 캐시에 상당한 어려움이 발생하고 있다. 기존의 최신 캐시 제거 방법들은 주로 검색-추론 성공 사례에서의 어텐션 헤드 추론 행동을 분석하며, 바이어스나 주의 분산과 같은 실패 사례의 다양한 행동은 간과하는 경우가 많다. 이러한 간과는 이질적인 헤드 행동을 활용하여 제거 성능을 향상시킬 수 있는 잠재력을 제한한다. 혼동 행렬에서 영감을 받아, 우리는 성공 및 실패 시나리오 모두에서 어텐션 헤드 행동을 포괄적으로 분석하기 위한 어텐션 행동 행렬(Attention Behavior Matrix)을 제안한다. 성공 사례에서는 유효한 추론 경로를 강화하고 실패 사례에서는 바이어스와 주의 분산으로 인한 노이즈를 억제함으로써 신호 대 잡음비를 최대화하는 방식으로, 우리는 다중 행동 분석을 활용하는 최초의 방법인 REAL(REtrieval-reAsoning and Logic-constructed) KV 캐시 제거 기법을 제안한다. 포괄적인 평가 결과, REAL은 다양한 모델과 벤치마크에서 뛰어난 성능을 달성했으며, 특히 LongBench v2에서 가장 강력한 기준선인 HeadKV-R2와 비교 가능한 정확도를 달성하면서도 32배 적은 공간만을 필요로 한다(Figure 1). 행동 분석에 대한 새로운 관점을 제공함으로써, 우리는 긴 컨텍스트 모델링에서 성공 사례만을 고려하는 방식에서 실패를 인식하는 포괄적인 방법으로의 전환을 위한 길을 열고 있다. 코드는 https://github.com/yonseicasl/REAL 에서 확인할 수 있다.

arXiv:2508.14817v2cs.CL

EHR 기반 임상 추론을 위한 검색-증강 생성 vs. 긴 컨텍스트 입력 평가

Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs

목적: 검색-증강 생성(RAG)이 전자 건강 기록(EHR) 기반 임상 추론에서 긴 컨텍스트 프롬프팅의 효율적 대안으로 기능할 수 있는지 평가한다. 방법: 의료 시스템 전반에 걸쳐 재현 가능하며 추론 복잡도가 서로 다른 세 가지 EHR 기반 과제를 정의하였다: 1) 영상 검사 절차(촬영 방식, 날짜, 해부학적 부위) 추출, 2) 치료 목적 항생제 사용 타임라인 생성, 3) 입원의 핵심 진단 식별. 미국 학술 의료 기관의 실제 입원 임상 노트를 사용하여 세 가지 대규모 언어 모델(LLM)(GPT-4o-mini, Mistral Medium 3, DeepSeek V3.1)을 다양한 컨텍스트 양 조건에서 평가하였으며, 타깃 검색 방식과 최근 임상 노트 활용 방식을 비교하였다. 결과: 영상 검사 절차 과제에서 RAG는 최근 노트 입력 방식을 크게 상회하였으며, 8K 토큰 미만을 사용하면서도 긴 컨텍스트 성능을 초과하였다(모든 모델에서 F1 기준 0.17–9.83 향상). 항생제 타임라인 과제에서도 유사한 이점이 관찰되어, 검색된 8K 미만의 토큰이 긴 컨텍스트 최근 노트 방식의 성능에 필적하였다(Jaccard 기준 −3.26~+3.24). 오류 분석 결과, 임상 노트 내 정보 누락—주로 병원 간 전원으로 인한—이 성능을 일정 부분 제한하는 것으로 나타났다. 그러나 진단 생성 과제의 성능은 방법 및 모델에 관계없이 대체로 정적으로 유지되었다. 논의: RAG는 전 과제에 걸쳐 강력한 토큰 효율성을 보였으며, 영상 추출 및 항생제 타임라인 재구성 과제에서 가장 명확하고 일관된 성능 향상이 관찰되었다. 진단 생성은 가장 어려운 과제로, 문서화 가변성과 평가 제약으로 인한 상한 효과(ceiling effect)가 존재함을 시사한다. 결론: 본 연구 결과는 신규 모델이 점점 더 긴 텍스트를 처리할 수 있게 되는 추세에도 불구하고, RAG가 대량의 EHR에 대한 임상 과제에서 경쟁력 있고 효율적인 접근법으로 유효함을 시사한다.

arXiv:2507.18043v2cs.CL

GrAInS: LLM 및 VLM의 추론 시간 조정을 위한 그래디언트 기반 어트리뷰션

GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs

추론 시간 조정(inference-time steering) 방법은 모델 가중치를 업데이트하지 않고 테스트 시간에 내부 활성화를 수정함으로써 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 미세조정에 대한 경량 대안을 제공한다. 그러나 기존 접근법의 대부분은 고정된 전역 개입 벡터에 의존하고, 개별 입력 토큰의 인과적 영향을 간과하며, 특히 시각적 입력과 텍스트 입력이 불균등하게 기여하는 멀티모달 환경에서 모델 로짓(logits)의 유익한 그래디언트를 활용하지 못한다. 이러한 한계를 해결하기 위해, 우리는 언어 전용 모델과 비전-언어 모델 및 태스크 모두에 걸쳐 작동하는 추론 시간 조정 접근법인 GrAInS를 제안한다. GrAInS는 통합 그래디언트(Integrated Gradients)를 통한 대조적(contrastive) 그래디언트 기반 어트리뷰션을 사용하여, 선호 출력 대비 비선호 출력에 대한 기여도를 기준으로 긍정적 및 부정적으로 귀속된 상위-k개의 가장 영향력 있는 토큰을 식별한다. 이 토큰들은 바람직하지 않은 행동에서 바람직한 행동으로의 의미론적 전환을 포착하는 방향성 조정 벡터(directional steering vector)를 구성하는 데 사용된다. 추론 과정에서 GrAInS는 토큰 수준 어트리뷰션 신호에 따라 트랜스포머 레이어의 은닉 활성화를 조정하고, 표현적 스케일을 보존하기 위해 활성화를 정규화한다. 이를 통해 재학습이나 보조 지도(auxiliary supervision) 없이 모델 행동에 대한 세밀하고 해석 가능하며 모듈식 제어가 가능해진다. 실험적으로, GrAInS는 미세조정 및 기존 조정 기준선 모두를 지속적으로 능가한다: Llama-3.1-8B를 사용하여 TruthfulQA에서 13.22%의 정확도 향상을 달성하고, LLaVA-1.6-7B를 사용하여 MMHal-Bench의 환각 비율을 0.624에서 0.514로 감소시키며, SPA-VL에서 정렬 승률을 8.11% 향상시키면서 모델의 유창성과 일반적 능력을 보존한다.

arXiv:2504.07459v2cs.CL

대규모 언어 모델을 넘어서: 내러티브 텍스트에서 인과 그래프 생성을 위한 언어학적 접근법

Beyond LLMs: A Linguistic Approach to Causal Graph Generation from Narrative Texts

본 논문에서는 내러티브 텍스트로부터 인과 그래프를 생성하는 새로운 프레임워크를 제안한다. 이 프레임워크는 고수준의 인과관계와 세부적인 사건별 관계를 연결한다. 제안 방법은 먼저 대규모 언어 모델(LLM) 기반 요약을 활용하여 에이전트(agent) 중심의 간결한 정점을 추출한다. 이어서 언어학적으로 설계된 7가지 특징으로 구성된 "Expert Index"를 도입하고, 이를 상황-과제-행동-결과(STAC) 분류(classification) 모델에 통합한다. RoBERTa 임베딩과 Expert Index를 결합한 이 하이브리드 시스템은 순수 LLM 기반 접근법에 비해 인과 링크 식별에서 우수한 정밀도(precision)를 달성한다. 또한 구조화된 5회 반복(iteration) 프롬프팅 과정을 통해 연결된 인과 그래프를 정제하고 구성한다. 100개의 내러티브 챕터 및 단편 소설을 대상으로 한 실험에서, 제안 방법은 가독성을 유지하면서 인과 그래프 품질 면에서 GPT-4o와 Claude 3.5를 일관되게 능가함을 보인다. 오픈소스 도구로 제공되는 본 시스템은 내러티브 속 미묘한 인과 연쇄를 포착하기 위한 해석 가능하고 효율적인 솔루션을 제공한다.

arXiv:2502.12446v3cs.CL

타깃 개입을 통한 언어 모델의 다중 속성 조향

Multi-Attribute Steering of Language Models via Targeted Intervention

추론(inference) 시점 개입(ITI)은 대규모 언어 모델(LLM)의 매개변수(parameter)를 비용이 큰 방식으로 업데이트하지 않고 토큰(token) 표현에 개입함으로써 LLM의 행동을 특정 방향(예: 유용성 향상)으로 조향하는 유망한 방법으로 부상했다. 그러나 기존 ITI 접근법은 유용성을 높이면서 동시에 독성을 줄이는 것처럼 충돌이 발생하는 다중 속성 설정으로 확장하는 데 한계가 있다. 이를 해결하기 위해 우리는 여러 속성에 걸쳐 선택적 토큰 수준 개입을 위해 설계된 새로운 조향 프레임워크인 다중 속성 타깃 조향(MAT-Steer)을 제안한다. MAT-Steer는 바람직하지 않은 출력의 모델(model) 내부 표현을 바람직한 출력의 표현에 가깝게 이동시키는 정렬(alignment) 목적 함수를 사용하여 조향 벡터를 학습하며, 서로 다른 속성 간의 벡터에 희소성(sparsity)과 직교성을 부여함으로써 속성 간 충돌을 줄인다. 우리는 MAT-Steer를 두 가지 설정에서 평가한다: (i) 진실성, 바이어스(bias), 독성 등의 속성 간 균형을 맞추는 질의응답(QA) 태스크, (ii) 유용성, 정확성, 일관성 등의 속성을 동시에 개선하는 생성 태스크. MAT-Steer는 두 태스크 유형 모두에서 기존 ITI 및 매개변수 효율적 미세조정(fine-tuning) 접근법을 능가한다(예: QA 태스크 전반에 걸쳐 평균 정확도 3% 향상, 최고 ITI 기준선(baseline) 대비 55.82%의 승률).

arXiv:2407.21082v3cs.CL

자기지도 조기 종료를 활용한 대규모 언어 모델 추론 가속화

Accelerating Large Language Model Inference with Self-Supervised Early Exits

본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.

arXiv:2607.09641v1cs.LG

Semantic Pareto-DQN: 금융 이상 탐지를 위한 다목적 강화학습 프레임워크

Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection

금융 이상 탐지는 극심한 클래스 불균형 문제로 인해 전통적인 단일 목적 알고리즘이 '사기 붕괴(fraud collapse)' 현상을 보이며, 다수 클래스로 기본값을 설정하여 이상 차단과 고객 마찰 간의 균형을 맞추지 못한다. 왜곡적인 데이터 리샘플링 없이 이를 극복하기 위해, 우리는 다목적 강화학습 프레임워크인 Semantic Pareto-DQN을 제안한다. 우리의 접근법은 이질적인 거래 특징을 일관된 자연어 내러티브로 합성하고, 대규모 언어 모델(LLM)로 인코딩함으로써 견고하고 스케일 불변적인 상태 표현을 생성한다. 에이전트는 금융 효과, 운영 마찰, 의미론적 발견을 명시적으로 분리하는 벡터 보상을 최적화한다. 연속적인 파레토 프론티어(Pareto frontier)를 매핑함으로써, 시스템은 놓친 이상 탐지와 거짓 양성의 비대칭적 비용을 동적으로 탐색한다. E-Commerce 사기 및 UCI Credit 데이터셋에 대한 실증 평가에서 Semantic Pareto-DQN은 제로 재현율 함정(zero-recall trap)을 성공적으로 극복함을 보여준다. 이 모델은 스칼라화된 기준선 대비 소수 클래스 재현율에서 우수한 성능을 달성하며, 제한된 운영 마찰을 금융 이상 탐지로 교환하는 대안적 방법을 제공한다.

arXiv:2607.09616v1cs.ET

프론트엔드 설계에서 EDA를 위한 LLM: 도전과 기회

LLM for EDA in Front-End Design: Challenges and Opportunities

칩 복잡성이 증가하고 시장 출시 기간에 대한 압박이 커짐에 따라, 프론트엔드 설계는 칩 개발의 핵심 병목 지점이 되었다. 최근 대규모 언어 모델(LLM)은 전자 설계 자동화(EDA) 분야에서 큰 잠재력을 보여주고 있다. LLM은 사양 이해를 넘어, 하드웨어 기술 언어(HDL) 생성, 테스트벤치 구성, 설계 공간 탐험을 위한 통합 지능형 인터페이스로서의 가능성을 보인다. OpenClaw과 같은 선구적 시스템으로 대표되는 에이전트 AI의 부상은 차세대 EDA를 위한 전략적 로드맵을 제시한다. 이러한 관점에서, 본 논문은 EDA의 발전 과정을 국소적 보조에서 자율 에이전트 실행으로의 진화라는 측면에서 논의한다. 이어서 프론트엔드 설계에서 LLM의 대표적 발전을 검토하며, 공유 사양으로부터의 회로 및 테스트벤치 생성, 고수준 합성(high-level synthesis)과 같은 확립된 워크플로우에서의 설계 품질 향상 등 핵심 과제에 초점을 맞춘다. 마지막으로, LLM을 EDA에 통합하는 데 있어 핵심적인 도전과 한계를 논의하고, LLM 기반 프론트엔드 설계 발전을 위한 미래 기회를 제시하며, EDA를 위한 에이전트 AI 기술 활용에 관심 있는 연구자들에게 체계적인 시각을 제공한다.

arXiv:2607.09502v1cs.LG

모든 설명은 틀렸지만 많은 설명은 유용하다: 대규모 언어 모델을 활용한 라쇼몽 설명 집합 탐색

All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models

머신러닝 모델을 설명하는 일은 의사결정과 소비자 신뢰 측면에서 점점 더 중요해지고 있으나, 기존의 설명 가능한 AI(XAI) 방법들은 정확도-설명가능성 트레이드오프라는 고질적인 문제를 안고 있다고 널리 알려져 있다. 우리는 이 트레이드오프가 근본적인 것이 아니라, 설명과 예측을 별개의 목표로 취급한 데서 비롯된 부산물임을 주장한다. 둘을 적절히 결합하면 상호 보완적이 되어, 모델이 스스로를 설명할 수 있도록 갖추는 것이 정확도를 저하시키는 것이 아니라 오히려 향상시킨다. 우리는 라쇼몽 설명(Rashomon Explanation) 패러다임을 제안하는데, 이는 단일 설명 대신 충실하고 예측을 안내하는 설명들의 집합을 구성하며, 이 집합이 일반적으로 비어 있지 않음을 증명하고 설명 충실도가 그것이 안내하는 모델의 성능에 상한을 부여함을 증명한다. 이 집합을 탐색하기 위해 우리는 RashomonLLM을 제안한다. 이는 설명-예측-반성(Explanation-Prediction-Reflection) 에이전트 워크플로우로, 자연어로 설명을 생성하면서 예측과 반복적으로 정렬시키며, 이것이 수렴하고 전체 집합을 복원함을 증명한다. 대규모 라이브 스트리밍 로그에 대한 고객 이탈 분류, 임상 생존 회귀, 산업용 클릭률 예측 전반에 걸쳐, RashomonLLM은 정확도와 설명 품질 모두에서 최신 예측 및 XAI 베이스라인을 크게 능가하며, 이 성능 향상은 설명 충실도에 의해 주도되고 분포 이동, 시간적 분할, 시드에 대해 강건하다. 따라서 우리의 프레임워크는 비즈니스 성능을 향상시키는 동시에 소비자 신뢰의 토대를 마련한다.

arXiv:2607.09487v1cs.LG

신경 붕괴는 금지된다: 언어 모델의 정보 하한

Neural Collapse Is Forbidden: Information Floors in Language Models

언어 모델 표현에서의 클래스 내 분산은 흔히 불완전한 신경 붕괴(neural collapse)로 해석된다. 우리는 이것이 할당된 정보 저장이며, 그 할당이 하나의 법칙을 따른다고 주장한다. 단 한 줄의 중심화 항등식이 심플렉스 등각 타이트 프레임(simplex equiangular-tight-frame) 주장들의 한 계열을 무효화하는데, 여기에는 우리 자신의 이전 연구도 포함된다. 14개 모델에 걸친 무차원 분산 점유율에서, 매크로 카테고리 구조는 표현 분산의 4~12%만을 차지하고 토큰 내 컨텍스트(within-token context)는 79~91%를 차지하며, 이는 100배의 매개변수 범위에 걸쳐 안정적이다. 이론적 측면에서, 토큰 수준의 가중치 감쇠는 카테고리를 발생 빈도가 아닌 타입 수에 비례하여 불이익을 주어, 다음 토큰 예측을 불균형한 K-클래스 문제로 환원시키며, 그 최적해는 카테고리 노름(norm)을 타입 수에 따라 순서화한다. 이진 카테고리에 대해 증명된 역방향 하한(converse floor)은, 클래스 내 분산이 조건부 상호 정보량 I(토큰; 컨텍스트 | 카테고리)에 적어도 비례하도록 강제한다. 이 법칙은 성립한다: 항등 분산도(identity dispersion)가—총 분산이 아니라—테스트된 모든 모델과 파티션에 걸쳐 이 정보를 추적하며, 이는 모델 비의존적 추정 하에서도, 심지어 모델 간에서도 성립하여 한 모델의 정보가 다른 모델의 분산도를 예측한다. 또한 사전학습 과정에서 카테고리 점유율은 과잉 상승하고 감소한 뒤 부분적으로 회복되는데, 이는 그것이 담아야 할 정보가 사라지지 않기 때문이다.

arXiv:2607.09375v1cs.LG

Mach-Mind-4-Flash 기술 보고서

Mach-Mind-4-Flash Technical Report

우리는 3B개의 활성화 매개변수를 가진 35B-매개변수 전문가 혼합(MoE) 에이전트 모델인 Mach-Mind-4-Flash를 제시한다. 사전학습 컴퓨팅을 확장하지 않고 사후 학습 최적화만으로, 이 모델은 100B-매개변수 급 모델과 동등하거나 이를 능가하는 성능을 달성한다. 대규모 강화학습을 위한 확장 가능한 에이전트 상호작용 환경을 도입함으로써, 실세계 응용 작업에서 상당한 성능 향상을 달성한다. 우리의 파이프라인은 세 단계로 구성된다: (1) 동적 다중 교사 스케줄링과 연산자 수준 가속을 갖춘 통합 RL/OPD 학습 인프라로, 종단간 학습 속도를 17% 향상; (2) 추론(Reasoning), 일반(General), 에이전트(Agent) 트랙에 걸쳐 병렬로 학습된 여러 도메인별 RL 전문가를, 다중 교사 온-정책 증류(MOPD, Multi-Teacher On-Policy Distillation)를 통해 단일 범용 모델로 융합 -- 이는 혼합 보상 RL의 시소 성능 저하를 제거하는 라우팅된 역방향 KL 목적함수를 사용; (3) 추론 사슬을 ≤0.7 퍼센트포인트 정확도 손실로 19--46% 압축하는 단일 단계 토큰 효율 기법인 하이브리드 중간 길이 정책 최적화(HMPO, Hybrid Median-length Policy Optimization). Mach-Mind-4-Flash는 AIME'26에서 92.70, IFBench에서 82.82, Behavioral-SafetyBench에서 80.74, BFCL-v4에서 75.80, BrowseComp-zh에서 72.31, ClawBench에서 84.20을 기록하며, 활성화 크기의 10--30배에 달하는 모델과 동등하거나 이를 앞서면서도 추론 비용은 훨씬 적다.

arXiv:2607.09287v1cs.LG

Super-Tuning: 활성화 인식 가지치기에서 희소 미세조정으로

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

대규모 언어 모델(LLM)은 전체 매개변수 업데이트에 상당한 메모리, 연산, 그리고 태스크별 저장 공간이 필요하기 때문에 미세조정 비용이 여전히 높다. 우리는 원래 가지치기를 위해 개발된 현저성 신호를 모델이 적응해야 할 위치를 선택하는 데 재활용할 수 있는지 연구한다. 우리는 캘리브레이션 패스에서 계산된 Wanda 방식의 활성화 가중 크기 점수[Sun et al., 2023]를 사용하여 소규모의 학습 가능한 서포트를 고정하는 희소 파라미터 효율적 미세조정(PEFT) 방법인 Super를 제안한다. 이후 간단한 예산 분할 규칙을 통해 일치하는 학습 가능한 매개변수 예산을 유지하면서 이 희소 업데이트와 LoRA를 결합하는 하이브리드 어댑터인 Supra를 소개한다. Llama-3.2-1B 및 Meta-Llama-3-8B에 대한 단일 시드 Math17K 산술 실험에서, 최적의 Super/Supra 변형은 테스트된 스케줄 선택 어댑터 구성 중 가장 높은 평균 정확도를 달성한다. 또한 학습 불필요 희소 기준선으로서 가장 근접한 PaFi 방식의 크기 전용 서포트를 포함하며, 크기 순서와 Wanda 방식 순서 모두에서 낮은 점수의 서포트가 효과적일 수 있음을 발견한다. 이러한 결과는 단순한 가지치기에서 영감을 받은 순서가, 특히 저랭크 어댑터와 결합될 때 PEFT를 위한 유용한 고정 희소 서포트를 제공할 수 있음을 시사한다.

arXiv:2607.09236v1cs.LG

좁게 잊고, 넓게 유지하라: 비대칭 일반화 문제로서의 언러닝

Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem

대규모 언어 모델(LLM)에서의 머신 언러닝(machine unlearning)은 다른 모든 능력을 보존하면서 특정 지식을 표적 제거하는 기술로, 프라이버시와 안전성에 있어 핵심적이다. 그러나 기존 벤치마크들은 이를 신뢰성 없이 측정한다. 기존 벤치마크는 바꿔 쓴 표현이나 간접적인 질의에서 재등장하는 지식을 포착하지 못하는데, 우리는 이를 불완전 망각(under-forgetting)이라 부른다. 또한 무관한 지식이 보존되는지 검증하는 데 필요한 의미적·구문적·어휘적 프로브(probe)가 부족한데, 우리는 이를 과잉 망각(over-forgetting)이라 부른다. 두 실패 모두 비대칭 일반화 문제를 반영한다. 망각 평가는 동일한 목표 사실에 대한 다양한 질의 형식을 포괄하여, 정확한 학습 프롬프트를 넘어서도 망각이 유지되는지 검증해야 한다. 유지 평가는 훨씬 크고 암묵적으로 정의된 집합, 즉 망각 대상과 교집합이 없는 모든 사실을 탐색해야 한다. 따라서 유지 집합이 실질적인 망각 집합을 규정하지만, 현재 데이터셋들은 이 망각-유지 경계에 대한 세밀한 어노테이션을 제공하지 않는다. 우리는 실세계 사실적 도메인에 대한 망각-유지 구조를 포착하는 평가 프로토콜 및 학습 코퍼스인 SUITE로 이 문제를 해결한다. SUITE로 학습된 방법들은 실질적으로 향상되며, 이는 학습 데이터가 알고리즘 설계만큼 중요함을 보여 준다. 이를 통해 얻은 통찰을 바탕으로, 우리는 순차적 및 결합 언러닝 설정 모두에서 세 가지 LLM에 걸쳐 최상의 망각-유지 유용성 균형을 달성하는 언러닝 알고리즘 JensUn++를 제안한다. 코드와 데이터셋은 https://amitpeleg.github.io/forget-narrowly-retain-broadly 에서 이용 가능하다.

arXiv:2607.09156v1cs.LG

존재하되 재조정됨: 가산적 활성화 조향의 챗-에이전트 전이

Present but Rescaled: Chat-to-Agent Transfer of Additive Activation Steering

가산적 활성화 조향(생성 중 스케일된 잔차 스트림 방향을 주입하는 것)은 거의 전적으로 단일 턴 챗에서 보정되지만, 그 대상 모델들은 점점 더 도구를 사용하는 ReAct 에이전트로 배포되고 있다. 우리는 가산적 조향의 최초 체계적인 챗-에이전트 전이 연구를 제시하며, 매칭된 정보 설계 하에서 행동 측정과 표현 판독을 결합한다: 동일한 항목을 평문 챗 또는 ReAct 도구 사용 에피소드로 렌더링하고, 노름이 매칭된 랜덤 방향 제어와 함께 KV 캐시 오염을 배제하기 위해 매 턴마다 트랜스크립트를 재인코딩하였다. 전이는 실재하지만 재조정되며, 적절한 설명은 해리(dissociation)이다: 주입된 방향은 모든 설정과 테스트된 모델에서 후반 레이어에 거의 완전한 강도로 도달하는 반면(세 모델 패밀리에 걸쳐 설치 지점의 에이전트-대-챗 비율 0.83–1.16), 행동적 연결은 모델과 컨텍스트별로 초기화된다. Qwen2.5-7B에서 거부 우회 벡터는 에이전트에서 증폭되며(T = 1.45, CI [1.20, 1.78], N = 300), 균등 프로토콜 분포 전반에 걸쳐 연결은 증폭(Gemma-2-9B T = 2.00)에서 감쇠(Yi-1.5-9B T = 0.43, CI [0.29, 0.60])까지 범위를 가지며, 보편적 상수가 없고 보편적 부호에 대해 단 하나의 명확한 감쇠기가 존재한다. 동일한 축의 방향적 절제는 증폭되지 않지만(T = 0.93, CI에 1 포함), 가산적 주입은 증폭되어(T = 1.50) 20.1 포인트의 이득 차이(CI [13.4, 26.8])를 보이며, 이는 가산적 특이 메커니즘을 확인한다. 사전 등록된 두 도구는 재조정을 희석 설명이 예측하는 관찰 경계가 아니라 도구 관찰 이전의 ReAct 형식 스캐폴드에 국소화하는 데 수렴한다. 안전성 함의는 즉각적이며 예측 불가능하다: 에이전틱 배포는 일부 모델에서 조향 기반 거부 우회를 최대 2.00배까지 증폭시키는 반면 다른 모델들은 감쇠시키므로, 배포 시 특정 모델이 가산적 조향 하에서 안전하다고 가정할 수 없다.

arXiv:2607.09084v1cs.LG

대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지

A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design

대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.

arXiv:2607.09052v1cs.LG

COBS: 누적량 차수 블록 희소 어텐션

COBS: Cumulant Order Block Sparse Attention

블록 희소 어텐션(block sparse attention)은 대규모 언어 모델(LLM)에서 키-값(KV) 캐시 읽기 병목을 완화하는 하드웨어 친화적인 방법이다. 그러나 이는 밀집 어텐션 또는 세밀한 선택 방식에 의존하는 주요 오픈 가중치 LLM들 사이에서 널리 쓰이지 않아, 본 분석의 동기를 제공한다. 우리는 대표적인 방법으로 DeepSeek의 Native Sparse Attention(NSA)을 연구하며, 그 세 가지 브랜치 설계를 통해 가장 어렵고 결과에 큰 영향을 미치는 단계인 블록 선택을 분리하여 분석한다. 우리는 선택을 형식화하고, 이를 어텐션 질량(attention mass)—블록의 어텐션 스코어 합계—이라는 단일 수치로 블록을 순위 매기는 문제로 환원한다. 선택이 가장 큰 어텐션 질량을 가진 블록을 검색하면 블록 희소 어텐션이 밀집 어텐션의 품질과 동등한 수준을 달성할 수 있음을 보인다. 그러나 정확한 어텐션 질량을 계산하려면 모든 키를 읽어야 하므로, 블록 선택 문제는 결국 전체 키 대신 압축된 요약으로부터 이 질량을 근사하는 문제로 귀결된다. 누적량 전개(cumulant expansion)를 통해 기존 방법들이 왜 실패하는지 보인다: 이들의 선택 전략은 어텐션 질량을 추정하려 하지만 1차 근사에 국한된다. 따라서 우리는 NSA를 기반으로, 블록당 압축된 2차 통계량을 저장하는 새로운 선택기를 도입한 어텐션 방법 COBS(Cumulant Order Block Sparse Attention)를 제안한다. 32k RULER 장문맥 검색 벤치마크에서 COBS는 NSA 기준선의 평균 점수를 0.2999에서 0.8195로 향상시켜, 밀집 어텐션의 0.9040에 근접하고 격차의 약 86%를 해소하였다. 이는 NSA 기준선 대비 KV 캐시 읽기 트래픽을 단 1.21배만 사용하며, 밀집 어텐션 대비로는 15.15배 적은 읽기 트래픽을 사용한다. 동일한 모델은 단문맥 동작을 유지하며, 본 비교에서 밀집 어텐션보다 낮은 위치별 음의 로그 가능도(NLL)를 달성한다.

arXiv:2607.09015v1cs.LG

LLM 라우팅을 위한 대리 보상 기반 상관관계 인식 문맥적 밴딧

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

우리는 기계 학습 모델이 생성하는 대리 보상(surrogate reward) 신호에 접근 가능하고 상관된 암(arm)을 갖는 문맥적 밴딧(contextual bandit) 문제를 연구하며, 대규모 언어 모델(LLM) 라우팅과 같은 응용에서 동기를 얻었다. 밴딧 피드백에만 의존하고 암 간 조건부 독립성을 가정하는 고전적 문맥적 밴딧과 달리, 우리의 설정은 문맥 의존적인 암 간 상관관계와 잡음이 있거나 잘못 명세될 수 있는 보조 보상 정보를 허용한다. 우리는 두 가지 상보적 설계를 통해 이러한 대리 보상을 활용하는 알고리즘을 제안한다. 결합 보상 혼합(coupled reward-mixing) 방식은 대리 신호가 신뢰할 수 있을 때 학습을 가속화하기 위해 실제 보상과 대리 보상을 통합하며, 분리 예측 혼합(decoupled prediction-mixing) 방식은 밴딧 피드백과 대리 보상에 대한 별도의 추정기를 유지하고 그 예측을 적응적으로 결합한다. 이러한 분리는 대리 보상의 잘못된 명세에 대한 견고성을 제공하여 최악의 경우 보상만 사용하는 밴딧 방법에 필적하는 후회(regret) 보장을 회복하면서, 대리 예측이 충분히 유익한 경우 개선된 후회를 달성한다. 우리는 두 방식에 대한 이론적 후회 분석을 제공하고, 다양한 정확도 대 비용 트레이드오프 하에서 LLM 라우팅 벤치마크를 대상으로 평가한다. 결과는 표준 문맥적 밴딧 기준선 및 강력한 정적 라우팅 방법과 비교하여 향상된 샘플 효율성과 일관되게 더 나은 정확도-비용 트레이드오프를 보여준다.

arXiv:2607.08991v1cs.LG

대규모 언어 모델의 활성화 희소화를 위한 민감도 인식 임계값 설정 및 토큰 라우팅

Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models

대규모 언어 모델(LLM)에서의 효율적인 추론은 모델 품질을 유지하면서 연산을 줄일 수 있는 지점을 결정하는 것을 필요로 한다. 우리는 다층 퍼셉트론(MLP) 활성화 희소화와 토큰 수준의 조건부 라우팅을 통해 이 문제를 연구한다. 먼저, 활성화 백분위수로부터 임계값을 직접 보정하는 대신 지역적 MLP 출력 민감도 프록시를 사용하여 층별 게이트 임계값을 선택하는 임계값 보정 방법인 희소성을 위한 민감도 인식 임계값 설정(SATS)을 제안한다. SATS는 게이트 활성화에 임계값을 적용해 MLP 활성화를 희소화하는 기존 메커니즘을 유지하면서, 백분위수 기반 보정을 민감도 인식 선택 규칙으로 대체한다. 이어서, 수정된 연산을 모든 토큰에 균일하게 적용하는 대신 토큰별로 기본 경로와 수정된 경로를 동적으로 선택하는 경량 토큰 라우팅 프레임워크를 제시한다. 두 방법을 최근의 여러 오픈 가중치 LLM에서 평가한 결과, SATS는 동일한 실제 희소성에서 임계값 기반 희소화 기준선보다 성능이 향상되며, 토큰 라우팅은 정적 활성화 수정 기준선보다 더 유리한 품질-처리량 트레이드오프를 나타냄을 확인하였다. 전반적으로, 본 연구의 결과는 개선된 임계값 보정과 토큰 라우팅이 LLM의 품질-처리량 트레이드오프를 향상시킬 수 있음을 시사한다.

arXiv:2607.08961v1cs.LG

NL-PAC: LLM 매개 감독에서의 명세 모호성과 인증된 미니맥스 리스크 하한

NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

대규모 언어 모델(LLM)은 자연어로 명세된 작업에 대해 레이블, 평가, 피드백을 점점 더 많이 제공하고 있다. 명세가 여러 해석을 허용하지만 감독 채널이 어떤 해석이 실제로 작동하는지 드러내지 않을 때, 추가적인 레이블은 이로 인해 발생하는 식별 문제를 해결하지 못한 채 표본 오차만 줄인다. 우리는 고정된 모델의 임계값 기반 디코딩 법칙을 사용하여 허용 가능한 레이블과 후보 타겟을 정의하는 프레임워크인 Natural Language PAC(NL-PAC)를 제안한다. 여러 레이블이 허용 가능할 확률은 점별 허용 가능한(pointwise-admissible) 타겟 클래스의 지름과 같으며, 타겟-불가시(target-blind) 감독 하에서 모든 학습자는 모든 표본 크기에서 이 지름의 절반 이상의 최악의 경우 리스크를 부담한다; 이 클래스에 대한 정확한 무작위화 미니맥스 리스크는 데이터 독립적 전략에 의해 달성된다. 유한 표본 신뢰 구간은 이러한 양들을 보류된 비레이블 입력으로부터 인증 가능하게 만든다. 고정된 Qwen 2.5-3B 감사에서, 사전 지정된 프롬프트 하나는 양의 모델 상대적 인증서를 산출하는 반면, 패러프레이즈와 정확한 규칙 대조군은 영을 산출한다. 보류된 브리지 감사에서는 제공된 후보 해석 절들이 인증서를 일관된 해석으로 이전하는 데 필요한 허용 가능성 조건을 충족하지 못하는 것으로 나타난다. 이 보장은 감사된 모델, 프롬프트, 임계값, 및 입력 분포에 특정되며, 이를 인간의 해석으로 확장하려면 외부 검증이 필요하다.

arXiv:2607.08946v1cs.LG

판독 가능한 트랜스포머의 학습, 판독, 및 편집

Training, Reading, and Editing Legible Transformers

트랜스포머는 구조적으로 판독 가능한 연산자들로 구성될 수 있다 -- 밀집 활성화가 아닌 퍼지 집합 연산처럼 읽히는, 경계가 있고 이름이 붙은 단위들로 -- 그러나 판독성은 학습 중에 적극적으로 추구해야 하며, 이 압력에는 실패 양상이 존재한다. 경계 연산자를 결정적인 감지기로 날카롭게 만들기 위한 선명도 페널티가 오히려 그것을 죽은 상수로 붕괴시킨다. 항등식 E[v(1-v)] = mu(1-mu) - var이 그 이유를 보여준다 -- 이 페널티는 살아있는 감지기와 상수의 차이를 구분하지 못하는 분산 최소화기이다 -- 그리고 해결책을 명명한다: 채널별 분산 하한, 즉 손실로 작성된 목표 판독성 지표로, 이는 판독성과 품질을 모두 회복시킨다. 학습된 단위별 비율은 이후 기존 연구의 수동 설정 예약-GELU 파티션을 대체한다: 선택권이 주어졌을 때 모델은 어떤 단위도 순수 GELU로 유지하지 않으며, 핵심 연산의 87%를 선명한 연산자를 통해 라우팅한다. 그 결과는 우리가 구축한 가장 판독 가능한 트랜스포머이다 -- 피드포워드 피연산자의 78%와 어텐션 값 채널의 50%가 선명하고 문맥적인 감지기이며, 헤드별 판독성은 얕은 층에서 18%에서 깊은 층에서 78%로 상승한다. 올바른 회전된 층별 프레임에서 읽으면, 이 단위들은 깔끔한 감지(단위가 반응하는 대상)를 더 어려운 명명(그 출력이 디코딩되는 대상)으로부터 분리한다; 목적함수가 각 단위를 선명하고 희소하게 만들기 때문에 편집이 훨씬 더 국소적이다 -- 편집 지점이 집중되는 깊은 층에서 50-184배 -- 그리고 단일 뉴런이 표현할 수 없는 명시적 결합을 타겟으로 할 수 있다. 마지막으로, 단위 간 탈상관 압력은 판독성 조절 다이얼을 드러낸다: 품질 비용 없이 회로의 재사용을 독립성으로 교환하여, 개념을 단일하고 정밀하게 편집 가능한 단위로, 예측을 소수의 명명된 연산으로 읽히는 짧은 설명으로 전환한다. 품질은 전반적으로 기존 기준선과 동등한 수준을 유지한다.