PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12039v2cs.CL

SkillGraph: 진화하는 스킬 그래프를 통한 에이전트용 스킬-증강 강화학습

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 과거 상호작용의 경험을 재사용할 수 있게 하지만, 기존의 대부분의 라이브러리는 스킬을 고립된 항목으로 저장하고 의미론적 유사도만을 기준으로 검색합니다. 이는 조합적 태스크에서 두 가지 주요 문제를 야기합니다. 첫째, 에이전트는 관련 스킬뿐만 아니라 이들이 어떻게 상호 의존하고 서로를 기반으로 구축되는지도 파악해야 합니다. 둘째, 스킬을 언제 병합, 분할, 또는 제거해야 하는지 결정하기 위한 구조적 단서가 시스템에 부족하여 라이브러리 유지 관리도 어렵게 만듭니다. 우리는 재사용 가능한 스킬을 유향 그래프의 노드로 표현하고 유형화된 엣지로 선수 조건, 향상, 공존 관계를 부호화하는 프레임워크인 SKILLGRAPH를 제안합니다. 새로운 태스크가 주어지면 SKILLGRAPH는 개별 스킬뿐만 아니라 다단계 의사 결정을 안내할 수 있는 순서화된 스킬 서브그래프를 검색합니다. 이 그래프는 에이전트 궤적과 강화학습 피드백을 통해 지속적으로 업데이트되어 스킬 라이브러리와 에이전트 정책이 함께 개선될 수 있도록 합니다. ALFWorld, WebShop 및 7개의 검색-증강 QA 태스크에 대한 실험은 SKILLGRAPH가 메모리-증강 강화학습 방법들과 비교하여 최고 수준(state-of-the-art)의 성능을 달성하며, 특히 여러 스킬을 조합해야 하는 복잡한 태스크에서 큰 폭의 향상을 보임을 입증합니다.

arXiv:2605.08348v3cs.CL

서킷은 우리에게 얼마나 많은 것을 말해주는가? 언어 모델 서킷의 일관성과 특이성 측정

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

기계론적 해석가능성(mechanistic interpretability)의 서킷(circuit) 프레임워크는 특정 동작의 인과적 원인이 되는 모델 컴포넌트의 희소 하위 그래프를 식별하는 것을 목표로 하며, 일반적으로 필요성과 충분성을 측정하여 평가합니다. 그러나 이러한 기준은 서킷이 모델이 과업을 수행하는 방식을 일관되게 포착하는지, 또는 해당 과업에 특이적인지(specific)에 대해서는 거의 설명하지 못합니다. 본 연구에서는 6개 과업과 5개 모델에 걸쳐 일관성(consistency)과 특이성(specificity)이라는 두 가지 특성을 조사하며, 컴포넌트 수준(어텐션 헤드 및 MLP 블록)과 개별 MLP 뉴런 수준에서 서킷을 추출합니다. 그 결과 컴포넌트 수준의 서킷은 대부분의 과업에서 높은 일관성을 보이고 인과적으로 중요하지만, 특이적이지는 않다는 점을 발견했습니다. 즉, 주어진 과업에서 자체 서킷을 절제(ablation)했을 때의 정확도 하락은 다른 과업의 서킷을 절제했을 때와 거의 비슷했습니다. 반면 뉴런 수준 서킷은 과업 간에 더 높은 특이성을 보이지만, 과업 내 일관성은 훨씬 낮았습니다. 이는 서킷의 중첩으로 설명됩니다. 컴포넌트 수준 서킷은 관련 여부와 무관하게 과업 전반에 걸쳐 대부분의 컴포넌트를 공유하지만, 뉴런 수준 서킷은 밀접하게 관련된 과업 간에만 중첩됩니다. Llama-3.2-3B의 과업 서킷이 공유하는 컴포넌트에 대한 사례 연구를 통해, 이들이 주로 MLP 블록으로 구성되어 있으며 소수의 어텐션 헤드는 범용적인 역할을 수행함을 보입니다. 전반적으로 본 연구 결과는 서킷이 모델 동작에 대한 표적화된 이해와 개입을 얼마나 뒷받침할 수 있는지에 대해 의문을 제기합니다.

arXiv:2605.06213v3cs.AI

고정 벤치마크와 최악의 경우 공격을 넘어서: 언어 모델을 위한 동적 경계 평가

Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models

오늘날 대규모 언어 모델(LLM) 평가는 모든 모델에 동일한 문항 집합을 적용하는 고정 벤치마크에 기반하며, 이는 천장 효과와 바닥 효과를 발생시켜 능력 차이를 가린다. 우리는 가장 유익한 평가 신호가 경계, 즉 무작위 샘플링 디코딩 전략 하에서 프롬프트별 통과 확률이 $0.5$에 가까운 지점에 존재한다고 주장하며, 각 모델의 경계를 능동적으로 찾아내어 전역적으로 비교 가능한 난이도 척도 위에 배치하는 동적 경계 평가(Dynamic Boundary Evaluation, DBE)를 제안한다. DBE는 세 가지 결과물을 제공한다: (i) 안전성, 능력, 진실성을 포괄하며 $9$개의 참조 LLM에 걸쳐 검증된 문항별 난이도 레이블을 갖춘 보정된 문항 은행; (ii) API 수준의 질의 접근만을 사용하여 주어진 대상 LLM의 경계 문항을 찾는 탐색 알고리즘인 스킬 가이드 경계 탐색(Skill-Guided Boundary Search, SGBS); 그리고 (iii) 새로운 LLM을 통합된 능력 척도 위에 배치하고, 대상이 문항 은행의 커버리지를 벗어날 경우 평가 집합을 적응적으로 확장하는 평가 프로토콜이다. 우리는 안전성(유해 요청 거부, 과도한 거부), 능력(제약된 지시 따르기), 진실성(다중 턴 아첨 저항성)에 걸친 네 가지 범주에 DBE를 구체적으로 적용한다. 그 결과로 얻어진 평가는 기존 데이터셋과의 호환성을 유지하면서도 포화 없이 더 넓은 모델 스펙트럼을 포괄한다.

arXiv:2604.12440v2cs.CV

IAD-Unify: 산업용 이상 탐지 이해, 분할 및 생성을 위한 태스크별 인터페이스

IAD-Unify: Task-Specific Interfaces for Industrial Anomaly Understanding, Segmentation, and Generation

산업용 이상(anomaly) 검사는 관측된 결함을 설명하고, 해당 픽셀을 위치 특정(localizing)하며, 제어된 편집을 합성하는 상호보완적인 능력을 요구합니다. 본 논문에서는 태스크별 토큰(token) 인터페이스를 통해 멀티모달 언어 모델(MLLM), 고밀도(dense) 비전 전문가 및 디퓨전 에디터를 연결하는 통합 아키텍처인 IAD-Unify를 제안합니다. 다중 참조 DINOv2 경로는 고밀도 이상 필드를 형성하고 1,369개의 셀을 81개의 구조화된 증거 토큰으로 압축합니다. Qwen3.5는 그라운딩(grounding)된 답변을 위해 이 토큰들을 사용하며, 32개의 태스크 토큰과 함께 이를 조밀한 마스크 상의 의미론적 잔차(semantic residual)로 변환합니다. 별도의 256개 쿼리 인터페이스는 Qwen 상태를 Stable Diffusion의 완전한 크로스 어텐션(cross-attention) 컨텍스트로 리샘플링하는 한편, 에디터는 소스 잠재(latent) 및 하드 마스크 입력을 유지합니다. 이러한 태스크 경로들은 모든 태스크가 동일한 시각적 병목을 거치도록 강제하지 않으면서 하나의 Qwen 어댑테이션을 공유하며, 특히 증거 토큰은 생성 경로에서 제외됩니다. 단계별 최적화(optimization)는 고밀도 증거를 초기화하고, 이를 언어와 정렬(alignment)하며, 분할(segmentation)을 보정(calibrate)한 후 이전 능력을 보존하면서 디퓨전 에디터를 사전학습(pre-training) 및 특화합니다. 또한 중복 제거된 54,501개의 산업용 이미지에 걸쳐 Anomaly Evidence를 구축합니다. 품질 제어된 Anomaly Evidence Compiler 및 Industrial Edit-Pair Compiler는 독립적인 기하학, 의미론적 그라운딩 및 편집 일관성 검사를 통해 패밀리 간 분리되고 검증된 지도 신호를 생성합니다. 이러한 설계는 입력, 지도 신호 또는 출력을 혼동하지 않으면서 이해, 분할 및 국소적 생성을 위한 하나의 고정된 공유 매개변수(parameter) 세트를 제공합니다. 결과 모델은 73.02%의 MMAD Macro$_7$, 단일 참조 기준 공개된 최고 분할 AP 평균(57.10%), 가장 낮은 Controlled masked DINO 거리(0.3765)를 달성하여 추론, 픽셀 랭킹 및 의미론적 편집 충실도 전반에 걸쳐 상호보완적인 강점을 보입니다.

arXiv:2604.05716v2cs.AI

대규모 언어 모델은 기초 알고리즘을 재발명할 수 있는가?

Can Large Language Models Reinvent Foundational Algorithms?

대규모 언어 모델(LLM)은 과학적 발견을 진전시킬 강력한 잠재력을 보여주었습니다. 그러나 모델이 기초적인 혁신을 이룰 역량을 갖추고 있는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 기초 혁신의 전제 조건인 'LLM이 컴퓨터 과학의 기초 알고리즘을 재발명할 수 있는가?'에 초점을 맞춥니다. 우리는 LLM 언러닝(unlearning) 기법을 사용하여 대상 알고리즘의 직접적인 상기를 억제하고, 모델이 남아 있는 지식을 바탕으로 추론하여 이를 복원하도록 유도했습니다. 언러닝이 완전한 지식 제거를 보장하지는 않음에도 불구하고, LLM은 대상 알고리즘의 절반 가까이를 복원하지 못했습니다. 특히 언러닝 없이 디코딩(decoding) 과정에서 알고리즘 이름 언급을 억제하기만 해도 모델의 복원율이 급격히 떨어져(19~39%), 모델이 암기된 지식에 과도하게 의존하고 있음을 시사했습니다. 우리는 복원 가능한 알고리즘이 구조나 핵심 아이디어 면에서 단순한 경향이 있는 반면, 그렇지 않은 알고리즘은 덜 직관적이라는 점을 관찰했습니다. 또한 모델의 추론 능력을 유지하여 '사고 붕괴(thought collapse)' 현상을 방지하는 데 도움을 주는 생성형 검증기(generative verifier)를 도입했습니다. 종합적으로 언러닝된 모델의 복원율을 대략적인 상한선으로 간주할 때, 본 실증적 연구 결과는 현재의 LLM 시스템이 기초 알고리즘 혁신을 이뤄내는 데 여전히 제한적인 능력을 가지고 있음을 시사합니다. 코드 링크: https://github.com/Algo-Reinvention/algo-reinvention

arXiv:2604.00050v3cs.LG

언어 모델의 작업 중심 개인화 연합 미세조정

Task-Centric Personalized Federated Fine-Tuning of Language Models

연합학습(Federated Learning, FL)은 다양한 작업에 대한 분산되고 비공개적인 데이터셋을 이용해 언어 모델을 학습시키는 유망한 기법으로 부상했다. 그러나 이질적인 작업에서 학습된 모델들을 집계하면 개별 클라이언트의 전체 성능이 저하되는 경우가 많다. 이 문제를 해결하기 위해 개인화 연합학습(Personalized FL, pFL)은 각 클라이언트의 데이터 분포에 맞춘 모델을 만드는 것을 목표로 한다. 이러한 접근법들은 로컬 성능을 향상시키지만, 일반적으로 다음 두 가지 측면에서 견고성이 부족하다: (i) 일반화(generalization): 클라이언트가 보지 못한 작업에 대해 예측을 수행해야 하거나 데이터 분포의 변화에 직면하는 경우, (ii) 클라이언트 내 작업 간섭(intra-client tasks interference): 단일 클라이언트의 데이터가 로컬 학습 중 서로 간섭할 수 있는 여러 분포를 포함하는 경우. 이 두 가지 과제를 해결하기 위해, 우리는 각 클라이언트가 아니라 각 작업에 대해 특화된 모델을 구축하는 클러스터링 기반 pFL인 FedRouter를 제안한다. FedRouter는 어댑터(adapter)를 특정 작업과 연결하기 위해 두 가지 클러스터링 메커니즘을 사용하여 모델을 개인화한다. 로컬 클러스터링은 어댑터를 작업 데이터 샘플과 연관시키고, 글로벌 클러스터링은 서로 다른 클라이언트의 유사한 어댑터들을 연관시켜 작업 중심의 개인화된 모델을 구성한다. 또한, 우리는 생성된 클러스터를 기반으로 테스트 샘플을 최적의 어댑터로 라우팅하는 평가 라우터(evaluation router) 메커니즘을 제안한다. 멀티태스크 데이터셋에서 기존 접근법들과 우리의 방법을 비교하는 실험에서, FedRouter는 이러한 어려운 시나리오에서 강한 복원력을 보여주며, 작업 간섭 상황에서는 최대 6.1%, 일반화 평가에서는 최대 136%의 상대적 성능 향상을 달성했다.

arXiv:2603.27141v2cs.CL

전문가 혼합(MoE) 언어 모델에서 라우팅 재가중치를 통한 제한적인 고정관념 제어

Limited Stereotype Control Through Routing Reweighting in MoE Language Models

인구통계학적 프롬프트는 전문가 혼합(MoE) 언어 모델에서 중립적인 프롬프트와 다르게 라우팅되며, 이는 라우팅 수준에서의 고정관념 제어에 대한 실험 동기를 부여합니다. 우리는 인구통계학적 라우팅 프로파일, 경험적 층(layer) 선택, 고정된 추론 시점 재가중치를 결합한 진단 프레임워크인 FARE(Fairness-Aware Routing Equilibrium)를 도입하고, 영어 환경에서 5개의 MoE 아키텍처를 평가합니다. 선택된 작동 지점에서 CrowS-Pairs 선호도 변화는 최대 1.3%포인트에 불과하며, DeepSeekMoE는 개입을 선택하지 않습니다. 쌍체 95% 신뢰구간은 개입이 이루어진 각 모델에서 2.2포인트를 초과하는 감소를 배제하며, 유일하게 명목상 유의미했던 변화(Qwen1.5, p = 0.015)도 다중 비교 보정을 거치면 유의성을 유지하지 못합니다. 그럼에도 불구하고 OLMoE와 Qwen3는 거의 모든 상위 k개(top-k) 전문가 집합을 변경합니다. 노이즈 대조군, 무작위 및 절단된 합성 프로파일, 하드 마스킹 또한 선호도를 최대 1.5포인트만 변화시킵니다. OLMoE, Mixtral, Qwen1.5, Qwen3에 대한 4가지 생성 프로토콜은 측정된 독성, 어휘 또는 참조 중복 지표에서 일관된 변화를 보이지 않습니다. 선택 항목과 평가 항목이 겹치므로 이러한 비교는 독립적인 평가가 아닙니다. 테스트된 재가중치 절차는 제한적인 고정관념 제어만을 제공합니다.

arXiv:2603.25015v2cs.CL

명령형 간섭: 사회적 레지스터가 대규모 언어 모델의 지시 토폴로지를 형성한다

Imperative Interference: Social Register Shapes Instruction Topology in Large Language Models

영어에서는 협력적으로 작동하는 시스템 프롬프트(prompt) 지시가 스페인어에서는 동일한 의미 내용을 가지고도 경쟁적으로 작동하며, 상호작용 토폴로지(topology)가 반대로 나타난다. 우리는 네 가지 언어와 네 가지 모델에 걸친 지시 수준(instruction-level) 제거(ablation) 실험을 제시하며, 이러한 토폴로지 반전이 사회적 레지스터(social register)에 의해 매개됨을 보인다: 명령형 어법(imperative mood)이 언어 공동체마다 서로 다른 강제력을 가지며, 다국어 데이터로 학습(training)된 모델들이 이러한 관습을 학습했다는 것이다. 단일 지시 블록을 평서형(declarative)으로 다시 작성하면 언어 간 분산이 81% 감소한다(p = 0.029, 순열 검정). 11개의 명령형 블록 중 3개를 다시 작성하면 스페인어 지시 토폴로지가 경쟁적에서 협력적으로 전환되며, 다시 작성하지 않은 블록에도 파급 효과(spillover effect)가 나타난다. 이러한 결과는 모델이 지시를 기술적 명세가 아니라 사회적 행위로 처리함을 시사한다: "절대 X를 하지 마라"는 그 강제력이 언어에 따라 달라지는 권위의 행사이지만, "X: 비활성화"는 언어 간에 그대로 전달되는 사실적 기술이다. 레지스터가 추론(inference) 시점의 지시 따르기(instruction-following)를 매개한다면, 학습(training) 중에도 그렇게 작용할 가능성이 있다. 우리는 이를 검증 가능한 예측으로 제시한다: 명령형 어법으로 작성된 헌법적 AI(constitutional AI) 원칙은 언어에 따라 달라지는 정렬(alignment)을 만들어낼 수 있다. 말뭉치(corpus): 56개 블록으로 분해된 실제 운영 시스템 프롬프트에 대해 수작업으로 작성한 22개의 프로브(probe).

arXiv:2603.11331v4cs.LG

대규모 언어 모델(LLM)을 위한 탈옥(Jailbreak) 스케일링 법칙: 다항-지수 교차

Jailbreak Scaling Laws for Large Language Models: Polynomial-Exponential Crossover

적대적 공격(adversarial attack)은 안전성에 맞춰 정렬된(safety-aligned) 대규모 언어 모델(LLM)을 안전하지 않은 행동으로 안정적으로 유도할 수 있다. 실증적으로, 우리는 적대적 프롬프트 주입(prompt-injection) 공격이 추론(inference) 시점 샘플 수에 따른 공격 성공률의 증가 양상을, 주입이 없을 때 관찰되는 느린 다항적(polynomial) 증가에서 지수적(exponential) 증가로 증폭시킬 수 있음을 발견했다. 우리는 먼저 맥락(context)에 따른 안전한 생성(generation)의 분포에 대한 소수의 가정을 제시함으로써, 이 두 가지 스케일링 법칙이 모두 성립하는 두 레짐(regime)에 대한 최소한의 통계적 메커니즘을 규명한다. 이 현상을 더 설명하기 위해, 우리는 복제 대칭성 깨짐(replica-symmetry-breaking) 영역에서 작동하는 스핀 글래스(spin-glass) 시스템의 관점에서 대리 언어(proxy language)에 대한 이론적 생성 모델(generative model)을 제안하며, 이 모델에서 생성은 연관된 깁스 측도(Gibbs measure)로부터 추출되고 저에너지이면서 크기에 편향된(size-biased) 클러스터의 부분집합이 안전하지 않은 것으로 지정된다. 우리는 이 모델이 앞서의 최소 가정들을 어떻게 자연스럽게 구현하는지 해석적으로(analytically) 보인다. 짧게 주입된 프롬프트(prompt)는 안전하지 않은 클러스터 중심 방향으로 정렬된 약한 자기장(magnetic field)에 대응하며 추론 시점 샘플 수에 따른 공격 성공률의 거듭제곱 법칙(power-law) 스케일링을 낳는 반면, 길게 주입된 프롬프트, 즉 강한 자기장은 지수적 스케일링을 낳는다. 우리는 30억(3B)에서 700억(70B)에 이르는 매개변수(parameter) 규모에 걸친 광범위한 대규모 언어 모델(LLM)들에서 질적으로 일관된 거동을 관찰한다. 특히, 주요 경향은 GCG 및 AutoDAN과 같은 다양한 공격 기법뿐만 아니라 AdvBench 및 HarmBench와 같은 벤치마크(benchmark) 데이터셋(dataset)에서도 안정적으로 유지된다.

arXiv:2603.08993v2cs.SE

Arbiter: LLM 에이전트 시스템 프롬프트의 간섭 탐지

Arbiter: Detecting Interference in LLM Agent System Prompts

LLM 기반 코딩 에이전트(agent)의 시스템 프롬프트(prompt)는 에이전트의 동작을 관장하는 소프트웨어 아티팩트이지만, 기존 소프트웨어에 적용되는 테스팅 인프라가 부족합니다. 본 논문에서는 시스템 프롬프트 내 간섭 패턴을 탐지하기 위해 정식 평가 규칙과 다중 모델(model) LLM 탐색(scouring)을 결합한 프레임워크인 Arbiter를 제시합니다. 세 가지 주요 코딩 에이전트 시스템 프롬프트인 Claude Code(Anthropic), Codex CLI(OpenAI), Gemini CLI(Google)에 적용한 결과, 비방향성 탐색 단계에서 152개의 발견 사항을 식별하고 특정 벤더에 대한 방향성 분석에서 직접 라벨링한 21개의 간섭 패턴을 식별했습니다. 우리는 프롬프트 아키텍처(모놀리식, 플랫, 모듈형)가 심각도와는 관련이 없으나 관찰된 장애 유형과 강한 상관관계가 있으며, 다중 모델 평가가 단일 모델 분석과는 범주적으로 다른 취약점 클래스를 발견한다는 점을 보여줍니다. 탐색기가 발견한 한 가지 사례인 Gemini CLI 메모리 시스템의 구조적 데이터 손실(loss) 문제는 Google이 접수하고 패치한 이슈와 일치했으나, 해당 패치는 탐색기가 식별한 스키마 수준의 근본 원인을 해결하지 않고 증상만 완화한 것이었습니다. 벤더 간 교차 분석의 총비용은 0.27달러(USD)였습니다.

arXiv:2603.08706v2cs.AI

에이전트 비판적 학습

Agentic Critical Training

모방 학습(IL)은 언어 모델 에이전트가 전문가의 행동을 재현하도록 가르치지만, 그 행동을 그럴듯한 실수와 구별하도록 가르치지는 못합니다. 자기 반성(self-reflection) 기법은 대안적 선택지에 모델을 노출시키지만, 고정된 근거(rationale)와 행동을 모방하기 위해 지도 미세조정(SFT)을 사용합니다. 본 논문에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 통해 모델이 행동을 직접 판단하도록 학습시키는 '에이전트 비판적 학습(ACT)'을 제안합니다. ACT는 전문가 궤적의 각 상태에서 전문가 행동과 초기 정책에서 샘플링된 대안 행동을 짝지어 그 순서를 무작위로 섞습니다. 모델은 자체적인 추론 과정을 생성하지만 전문가 행동을 선택했을 때만 보상을 받습니다. ACT는 시연(demonstration) 데이터를 재사용하고, 참조 근거를 요구하지 않으며, 모델 크기 전반에 걸쳐 쌍(pair)의 재사용을 허용합니다. ACT는 IL 이전의 웜업 단계로 적용되며, 선택적으로 이후에 강화학습을 거칠 수 있고, 추론 시에는 후보군 비교를 요구하지 않습니다. ALFWorld-ID, WebShop, ScienceWorld 전반에서 Qwen3-8B 및 Olmo-3-7B-Instruct를 대상으로 평가한 결과, ACT는 IL 대비 평균 5.85점, ACT를 적용하지 않은 IL$\to$RL 대비 4.12점의 성능 향상을 기록하는 동시에 ALFWorld-OOD 성능도 개선했습니다. ScienceWorld에서 Olmo 모델을 사용했을 때 전체 파이프라인은 CoT 프롬프팅 대비 15.36점, ACT를 적용하지 않은 IL$\to$RL 대비 9.23점 향상되었습니다. ACT$\to$IL과 전체 파이프라인 모두 지도 반성(supervised reflection) 베이스라인을 능가했습니다. 고정된 쌍이나 동일한 학습 시간을 적용한 대조군 실험은 이러한 성능 향상이 추가 데이터나 학습량이 아닌 ACT 목적 함수 자체에서 기인함을 보여줍니다. 추론 특화 사후 학습을 거치지 않고도 독립형 ACT 체크포인트는 MATH-500 및 GPQA-Diamond에서 평가된 모델 중 가장 높은 평균 점수를 달성하여, 행동 비교가 생성을 보완함을 입증합니다.

arXiv:2603.01376v2cs.LG

3BASiL: LLM의 희소 플러스 저랭크 압축을 위한 알고리즘 프레임워크

3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs

대규모 언어 모델(LLM)의 희소 플러스 저랭크($\mathbf{S} + \mathbf{LR}$) 분해는 사전 학습된 모델 가중치를 희소 행렬과 저랭크(low-rank) 행렬의 합($\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$)으로 분해하는 것을 목표로 하며, 모델 압축에서 유망한 방향으로 떠올랐습니다. 최근의 진전에도 불구하고, 기존 방법들은 조밀(dense) 모델에 비해 상당한 성능 저하를 겪는 경우가 많습니다. 본 연구에서는 이러한 격차를 해결하는 LLM의 $(\mathbf{S} + \mathbf{LR})$ 분해를 위한 효율적인 원샷(one-shot) 사후 학습 방법인 3BASiL-TM을 소개합니다. 우리의 접근 방식은 먼저 수렴이 보장되는 상태에서 층별 재구성 오차를 최소화하기 위해 3BASiL이라 명명된 새로운 3-블록 교차 방향 승수법(ADMM)을 도입합니다. 그런 다음 트랜스포머 층 전반에 걸쳐 희소 성분과 저랭크 성분을 공동으로 최적화하는 효율적인 트랜스포머 매칭(TM) 정제 단계를 설계합니다. 이 단계는 트랜스포머 수준에서 출력을 정렬하는 메모리 효율적인 새로운 손실을 최소화합니다. 특히, TM 절차는 순수 희소성을 포함하여 모든 $(\mathbf{S} + \mathbf{LR})$ 분해를 향상시킬 수 있어 범용적입니다. 수치 실험에 따르면, 3BASiL-TM은 (2:4 희소 + 64 저랭크) 구성에서 기존 방법과 비교하여 조밀 LLaMA-8B 모델 대비 WikiText2 퍼플렉시티 격차를 30% 이상 줄입니다. 또한, 본 연구의 방법은 SOTA $(\mathbf{S} + \mathbf{LR})$ 방법과 비교하여 A100 GPU에서 2.5배 이상 빠른 압축 런타임을 달성합니다. 코드는 https://github.com/mazumder-lab/3BASiL 에서 확인할 수 있습니다.

arXiv:2602.07878v2cs.CR

지연 시간 서비스 거부 재고: 모델이 아닌 LLM 서빙 프레임워크 공격

Rethinking Latency Denial-of-Service: Attacking the LLM Serving Framework, Not the Model

대규모 언어 모델(LLM) 추론(inference)은 본질적으로 비용이 많이 들기 때문에 약간의 지연만으로도 상당한 운영 비용과 심각한 가용성 위험으로 이어질 수 있습니다. 최근 지연 시간 공격(latency attacks)으로 알려진 연구들이 점차 늘어나며 최악의 출력 길이를 유발하는 입력을 제작하는 데 집중하고 있습니다. 그러나 본 논문에서는 이러한 알고리즘 수준의 지연 시간 공격이 최신 LLM 서빙 시스템에는 대체로 비효율적이라는 상반된 발견을 보고합니다. 연속 배치(continuous batching)와 같은 시스템 수준의 최적화가 논리적 격리를 제공하여 동일 환경에 위치한(co-located) 사용자들에게 전염되는 지연 시간 영향을 완화한다는 점을 밝힙니다. 이에 따라 본 논문에서는 초점을 알고리즘에서 시스템 층(layer)으로 전환하고, 스케줄러의 상태 전이를 겨냥한 새로운 'Fill and Squeeze' 공격 전략을 소개합니다. 'Fill' 단계는 먼저 전역 KV 캐시를 고갈시켜 헤드오브라인 블로킹(Head-of-Line blocking)을 유도하고, 'Squeeze' 단계는 시스템이 반복적인 선점(preemption)을 수행하도록 강제합니다. 서로 다른 공격 프롬프트를 사용해 출력 길이를 조작하고 메모리 상태의 부채널 프로빙을 활용함으로써, 훨씬 적은 비용으로 실질적인 블랙박스 환경에서 공격이 성공할 수 있음을 입증합니다. vLLM에 대한 광범위한 평가 결과, 정상 기준선 대비 TTFT가 최대 $75-742\times$ 저하되고 기존 공격 대비 30-40% 더 낮은 공격 비용으로 출력 토큰당 시간(Time Per Output Token)에서 평균 $1.5-4\times$ 감속이 발생하는 것으로 나타났습니다. 코드: https://github.com/Phil-Fan/FS-attack

arXiv:2601.14994v2cs.CL

번역을 통한 데이터 오염 은폐: 아랍어 코퍼스에서의 증거

Obscuring Data Contamination Through Translation: Evidence from Arabic Corpora

데이터 오염(data contamination)은 모델이 진정한 일반화가 아니라 암기된 평가 내용으로부터 이득을 얻을 때 벤치마크 평가를 무효화할 수 있다. 그러나 노출된 콘텐츠가 평가 벤치마크와 언어가 다를 경우 오염을 감사하기는 어렵다. 우리는 네 개의 오픈 가중치(open-weight) 인스트럭션 튜닝 LLM을 MMLU와 XQuAD 평가 항목의 아랍어 번역본에 점차 증가하는 노출 수준으로 의도적으로 노출시킨 다음, 원래의 영어 과제에서 이를 평가함으로써 이러한 실패 양상을 연구한다. 이 통제된 설정은 실제 사전학습(pre-training) 유출을 재구성한 것이 아니라 오염에 대한 대리(proxy) 지표이다. 우리는 먼저 영어 중심의 사후(post-hoc) 프로브인 TS-Guessing과 Min-K%++ 두 가지를 테스트하여, 번역된 노출 상황에서 이들의 신호가 대부분 사라진다는 것을 발견했다: TS-Guessing은 MMLU에서의 모델별 위치 재현율(recall)을 제외하고는 약하게 유지되며, Min-K%++는 우연 수준(chance) 이하 또는 그 수준에 머문다. 동시에, 영어 MMLU 성능은 아랍어 노출과 함께 증가하여, 영어 오염 신호의 부재가 노출 효과의 부재를 의미하지 않음을 보여준다. 이어서 우리는 언어 간 예측 일관성(cross-lingual prediction consistency)과 선택지 재정렬(choice reordering)에 기반한, 학습 데이터가 필요 없는 진단 기법인 번역 인지 오염 탐지(Translation-Aware Contamination Detection, TACD)를 제안한다. 언어 간 일관성은 독립성 기준선(baseline)보다 상당히 높으며, 일반적으로 깨끗한(clean) 조건에 비해 증가하지만, 그 정도는 모델에 따라 다르고 엄격하게 단조적이지는 않다. 이러한 결과는 번역이 영어 전용 프로브로부터 오염 관련 효과를 숨길 수 있음을 보여주며, 확정적인 멤버십 테스트가 아니라 오염과 일치하는 행동의 증거로 명확히 규정된 다국어 진단 기법의 필요성을 시사한다.

arXiv:2511.02374v2cs.CL

AyurParam: 아유르베다를 위한 최고 수준의 이중 언어 언어 모델

AyurParam: A State-of-the-Art Bilingual Language Model for Ayurveda

현재의 대규모 언어 모델(LLM)은 광범위하고 일반적인 목적의 작업에서는 뛰어난 성능을 보이지만, 깊이 있는 문화적, 언어적 및 전문 분야 지식을 요구하는 고도로 전문화된 도메인에서는 일관되게 성능이 저하됩니다. 특히 아유르베다(Ayurveda)와 같은 전통 의학 체계는 수세기에 걸친 미묘한 문헌적 및 임상적 지식을 담고 있어, 주류 LLM이 이를 정확하게 해석하거나 적용하지 못합니다. 본 논문에서는 고전 문헌과 임상 지침을 아우르는 광범위하고 전문가가 큐레이션한 아유르베다 데이터셋을 활용하여 Param-1-2.9B를 파인튜닝(fine-tuning)한 도메인 특화 이중 언어 언어 모델인 AyurParam-2.9B를 소개합니다. AyurParam의 데이터셋은 사실적 정밀도(precision)와 지시 명확성을 위한 엄격한 주석 프로토콜을 적용하여 영어와 힌디어 모두로 문맥 인식, 추론 및 객관식 형태의 Q&A를 포함합니다. BhashaBench-Ayur 벤치마크 평가에서 AyurParam은 해당 크기 체급(1.5~3B 매개변수)의 모든 오픈소스 인스트럭션 튜닝(instruction-tuned) 모델을 능가할 뿐만 아니라, 훨씬 더 큰 모델들과 비교해서도 경쟁력 있거나 우수한 성능을 입증합니다. AyurParam의 결과는 전문 의학 지식을 위한 신뢰할 수 있고 문화적으로 일치하는 AI를 제공하는 데 있어 진정한 도메인 적응과 고품질 지도 학습의 필요성을 강조합니다.

arXiv:2509.15206v4cs.CL

Fair-GPTQ: 대규모 언어 모델을 위한 바이어스 인식 양자화

Fair-GPTQ: Bias-Aware Quantization for Large Language Models

생성형 언어 모델의 높은 메모리 요구량으로 인해 양자화(quantization)가 주목받고 있으며, 양자화는 모델 가중치를 더 낮은 정밀도의 정수로 매핑하여 메모리 사용량을 줄인다. 그러나 최근 실증 연구에 따르면 양자화는 효율적이지만 바이어스된 출력을 생성할 가능도를 높이고 공정성 벤치마크에서의 성능을 저하시킬 수 있다. 본 연구에서는 양자화 목적 함수에 명시적인 그룹 공정성 제약 조건을 추가하여 양자화와 모델 공정성 간의 새로운 연결고리를 제시하며, 대규모 언어 모델(LLM)의 불공정성을 줄이기 위해 명시적으로 설계된 최초의 양자화 기법인 Fair-GPTQ를 제안한다. 추가된 제약 조건은 보호 대상 집단에 대해 덜 바이어스된 텍스트를 생성하도록 반올림(rounding) 연산의 학습을 유도한다. 구체적으로, 우리는 직업적 바이어스를 포함하는 고정관념 생성과 성별, 인종, 종교에 걸친 차별적 언어에 초점을 맞춘다. Fair-GPTQ는 성능 저하를 최소화하여 제로샷(zero-shot) 벤치마크에서 기준선 정확도의 최소 90%를 보존하고, 반정밀도(half-precision) 모델에 비해 불공정성을 줄이며, 4비트 양자화의 메모리 및 속도 이점을 그대로 유지한다.

arXiv:2508.12466v3cs.CV

Inverse-LLaVA: 텍스트-비전 매핑을 통한 멀티모달 정렬의 재고

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

사전학습(pre-training)된 비전 및 언어 모델을 연결할 때는 일반적으로 이미지 특징(feature)을 언어 모델의 입력 공간으로 투영하는 방식을 사용합니다. Inverse-LLaVA는 디코더 어텐션(attention) 내에서 이러한 매핑을 반대로 뒤집습니다. 즉, 언어 상태를 시각적 특징 차원으로 투영하고, 모달리티별 맵을 통해 잔차 쿼리, 키 및 밸류 업데이트를 생성합니다. 융합 및 저랭크 적응(LoRA)은 백본을 고정(frozen)한 채 별도의 정렬 단계 없이 665K개의 시각적 인스트럭션으로부터 공동으로 학습됩니다. 9개의 주요 벤치마크(benchmark) 평가 전반에서 최종 7B 모델은 여러 태스크에 걸쳐 2단계 LLaVA-1.5에 근접한 성능을 보입니다. VQAv2에서는 공식 LLaVA-LoRA의 79.13% 대비 78.45%를 기록했고, VizWiz에서는 48.56% 대비 50.96%를 달성했으며, TextVQA는 58.47% 대비 56.96%로 다소 낮았습니다. 통제된 연구를 통해 융합 구성 요소, 삽입 깊이, 시각적 특징, 언어 모델 크기를 분석합니다. 표현 분석 결과, 텍스트 맵은 기하학적 확산을 변화시키면서도 쌍별 유사도 순서의 상당 부분을 보존함을 보여줍니다. 추가적인 쌍별 지도학습은 유명인 인식을 향상시키는 한편, 인스트럭션 리플레이는 캡션으로 인해 발생하는 답변 형식 오류를 복구합니다. 분석적 비용 표현식 및 고정 작업 프로파일은 생략된 정렬 단계와 추가 융합 계산을 구분해 보여줍니다. 이러한 결과는 텍스트-비전 어텐션 융합이 인스트럭션 전용 멀티모달 적응을 위한 실용적인 대안임을 입증합니다.

arXiv:2508.08833v4cs.CL

대규모 언어 모델(LLM)의 수학적 추론 강건성에 대한 조사: 고급 수학 문제의 수학적으로 동등한 변환을 이용한 벤치마킹

An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems

최첨단 대규모 언어 모델(LLM)은 이제 표준 수학적 추론 벤치마크에서 거의 최고 수준의 정확도에 도달했으며, 국제수학올림피아드(IMO)에서 금메달 수준의 성능을 보이고 있다. 이러한 벤치마크가 포화 상태에 이르고 그 문제들이 학습 데이터로 유출됨에 따라, 높은 점수는 더 이상 모델이 강건하게 추론하는지, 또는 추론의 어떤 구성 요소에서 실패하는지를 보여주지 못한다. 결과의 정보성과 실패의 진단 가능성을 유지하면서 추론을 평가하기 위해, 우리는 GAP(Generalisation-and-Perturbation)을 제안한다. 이는 두 가지 서로 분리되고 해석 가능한 변환을 사용하여 기존 수학 문제의 수학적으로 동등한 변형을 대규모로 자동 생성하는 방법론이다: (1) 표면적 이름 변경(surface rename)으로, 식별자와 잠재 변수 역할 간의 결합을 탐색하고, (2) 커널 재작성(kernel rewrite)으로, 상위 수준의 증명 계획이 수학적 설정의 변화 속에서도 유지되는지를 탐색한다. 기존 벤치마크와 비교했을 때, GAP은 두 가지 핵심적인 이점을 가진다: (1) 새롭고 모델이 접하지 않았을 가능성이 높은 변형들이 데이터 유출을 완화하며, (2) 변환 유형별 성능을 통해 실패를 진단할 수 있는데, 각 변환은 실패 원인에 대한 하나의 가설을 검증한다. 우리는 1938년부터 2024년까지의 William Lowell Putnam Competition 문제 전체 1,051개에 GAP을 적용하고, 이전에 접한 적 없는 변형 5,255개를 추가하여 PutnamGAP을 구성했다. PutnamGAP은 6,306개 문항으로 이루어진 대회 수준의 수학 코퍼스이며, Putnam 전체 아카이브에서 최초로 공개된 기계 판독 가능한 데이터셋이다. PutnamGAP을 사용하여 우리는 다양한 규모와 제공사에 걸친 상업용 및 오픈소스 모델 18개를 평가했다. 정확도는 모든 모델과 변형 유형에서 하락했으며, 커널 재작성에서 가장 심각하게 하락했다. 이러한 격차는 모델의 성능이 강해져도 좁혀지지 않으며, 이는 가장 강력한 모델들조차 주된 약점이 표면적 변화를 처리하는 것이 아니라 변경된 수학적 설정으로 증명 계획을 전이하는 데 있음을 시사한다. 추가 분석은 더 세밀한 실패 진단과 LLM 추론을 개선하는 데 유용할 수 있는 통찰을 제공한다.

arXiv:2508.08011v2cs.CL

최적 수송 기반 깊이 업스케일링

Optimal Transport Depth Up-Scaling

대규모 언어 모델(LLM)을 더 큰 규모로 바닥부터 사전학습(pre-training)하면 놀라운 성능을 얻을 수 있지만 상당히 높은 학습 비용이 발생합니다. 깊이 업스케일링(depth up-scaling)은 사전학습된 LLM에 새로운 층(layer)을 삽입하여 바닥부터 학습하는 것을 피하는 효율적인 대안을 제공합니다. 그러나 대부분의 기존 방식은 새로운 층을 만들기 위해 베이스 층을 복사하거나 평균화하는데, 이는 기능적으로 대응하는 뉴런들의 정렬을 어긋나게 하여 뉴런 순열 불일치(neuron permutation mismatch)를 유발하고 성능을 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 최적 수송(Optimal Transport, OT) 이론을 활용하여 새로운 층 구축 시 인접한 베이스 층의 기능적으로 대응하는 뉴런들을 모듈 단위로 정렬하고 융합하는 최적 수송 깊이 업스케일링(OT-DUS)을 제안합니다. OT-DUS는 다양한 모델 크기와 모델 계열에 걸친 지속적 사전학습 및 지도 미세조정(supervised fine-tuning)에서 일반 및 특화 도메인 모두 기존 방식보다 더 우수한 전반적 성능을 달성합니다. 또한 삽입 전략에 대한 분석을 통해 새로운 층을 더 높은 위치에 삽입할수록 더 강력한 성능뿐만 아니라 향상된 학습 효율성까지 얻을 수 있음을 발견했습니다.

arXiv:2507.18074v2cs.AI

자율적 진화를 통한 신경망 구조 발견

Neural Architecture Discovery via Autonomous Evolution

대규모 언어 모델(LLM) 에이전트의 최근 발전은 자율 연구에 대한 기대를 높였습니다. 그러나 AI가 어려운 장기 과제(long-horizon tasks), 특히 AI 연구 자체를 발전시키는 과제를 완수할 수 있는지는 여전히 거의 탐구되지 않았습니다. 본 연구에서는 연구-실험-분석-업데이트의 폐루프(closed-loop) 과정을 통해 신경망 구조 연구를 자율적으로 수행하는 AI 주도 AI 연구 시스템인 ASI-Arch를 제시합니다. 선형 어텐션(linear attention)에 적용된 ASI-Arch는 1,773회의 반복 실험을 수행하여 105개의 최고 수준(state-of-the-art) 구조를 발견했습니다. 이 중 가장 뛰어난 구조는 Mamba2가 달성한 성능 향상의 거의 세 배에 달하는 폭으로 DeltaNet 대비 개선을 이루어냈습니다. 최종적인 성능 향상 외에도, 우리는 이처럼 까다로운 연구 환경에서 프레임워크 각 부분이 기여한 바를 분석하여 복잡한 AI 연구 과제에서 자율적 진전을 가능하게 하는 요인이 무엇인지 조명합니다.