PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.04457v3cs.CL

RapidUn: 효율적인 대규모 언어 모델 언러닝을 위한 영향도 기반 매개변수 재가중

RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning

대규모 언어 모델(LLM)의 머신 언러닝(machine unlearning)은 전체 재학습에 비용이 많이 들고, 근사 기법은 특히 배포 이후 감독 신호가 제한된 상황에서 유지되어야 할 유용성을 저하시키지 않으면서 대상 행동을 제거하는 데 어려움을 겪는 경우가 많아 여전히 어려운 과제로 남아 있다. 본 연구는 작은 망각 집합(forget set), 제한된 유지 버퍼(retain buffer), LoRA만을 이용한 업데이트를 전제로 한, 대상 행동 오염 제거를 위한 실용적인 PEFT 설정을 다루며, 샘플 간 영향도(influence) 추정치를 고정된 샘플별 가중치로 변환하여 가중 LoRA 언러닝에 활용하는 영향도 기반 프레임워크인 RapidUn을 제안한다. Dolly-15k와 Alpaca-57k에서의 Llama-3-8B 실험과 Mistral-7B + Dolly-15k에서의 교차 모델 검증 전반에서, RapidUn은 깨끗한 유용성(clean utility)에서 경쟁력을 유지하면서도 Fisher, GA, LoReUn보다 더 낮은 학습된 트리거(seen-trigger) 및 OOD 트리거 계열(OOD-trigger-family)의 ASR을 달성한다. Llama-3-8B + Alpaca-57k에서는 깨끗한 코퍼스 LoRA 재학습 기준 대비 실제 소요 시간(wall-clock) 기준 77배의 속도 향상을 달성한다. 보완적인 TOFU, 의미 기반 LLM 심판(semantic LLM-judge), IFEval 평가 역시 통제된 트리거 벤치마크를 넘어 영향도 기반 샘플 재가중의 효과를 추가로 뒷받침한다.

arXiv:2405.15454v5cs.CL

LiSeCo: 언어 생성을 위한 선형 시맨틱 제어

LiSeCo: Linear Semantic Control for Language Generation

중요한 애플리케이션에서 대규모 언어 모델(LLM)의 보급이 확대됨에 따라, 계산 효율적이면서도 성능 보장을 제공하는 제어된 언어 생성 방법에 대한 필요성이 강조되고 있습니다. 이러한 요구를 해결하기 위해, 본 연구에서는 개념의 의미론이 LLM의 잠재 공간(latent space)에 선형적으로 표현된다는 일반적인 모델을 활용합니다. 특히, 자연어 생성이 언어 모델의 은닉 활성화(hidden activations)로 실현되는 연속적인 의미 공간 상의 궤적을 그린다는 관점을 취합니다. 이 관점은 잠재 공간에서의 텍스트 생성을 제어 이론(control-theoretic) 관점에서 다룰 수 있게 하며, 이에 따라 원치 않는 의미에 해당하는 영역으로부터 궤적을 동적으로 유도하는 경량의 그래디언트-프리(gradient-free) 개입 기법인 선형 시맨틱 제어(LiSeCo)를 제안합니다. 구체적으로는 생성 중인 토큰의 활성화를 임베딩 공간에서 온라인 방식으로 직접 개입하는 방안을 제안합니다. 결정적으로, LiSeCo는 단순히 활성화를 바람직한 영역으로 유도하는 것에 그치지 않습니다. 대신 제어 이론의 고전적 기법에 의존하여 문맥 의존적인 방식으로 활성화를 정밀하게 제어하며, 활성화가 허용된 의미론에 해당하는 임베딩 공간의 사전에 정의된 특정 영역 내로 진입하도록 보장합니다. 이러한 개입은 최적 제어기(optimal controller) 정식화에 따라 닫힌 형태(closed form)로 계산되므로 생성 시간에 미치는 영향이 극히 적습니다. 이와 같은 임베딩 공간 내 활성화 제어를 통해 생성된 시퀀스의 속성을 세밀하게 조정할 수 있습니다. 본 연구에서는 독성(toxicity), 감성(sentiment), 언어(영어/스페인어) 제어와 같은 다양한 태스크에서 텍스트 품질을 유지하면서도 제안된 접근 방식이 효과적임을 입증합니다.

arXiv:2312.17295v2cs.CR

대규모 언어 모델 워터마크 최적화

Optimizing watermarks for large language models

대규모 언어 모델(LLM)의 부상과 잠재적 오용에 대한 우려로, 생성형 LLM용 워터마크가 최근 많은 관심을 받고 있다. 이러한 워터마크의 중요한 측면은 식별 가능성과 생성 텍스트 품질에 대한 영향 사이의 트레이드오프이다. 본 논문은 이 트레이드오프에 대해 다목적 최적화 문제로서 체계적인 접근을 제시한다. 견고하고 효율적인 워터마크의 넓은 클래스에 대해, 관련 파레토 최적 해를 식별하고 현재 기본 워터마크보다 우수함을 보인다.

arXiv:2609.27242v1cs.NE

ARC-AGI-2를 위한 LLM과 유전 탐색의 결합

Combining LLMs and Genetic Search for ARC-AGI-2

LLM은 ARC-AGI-2 과제를 위한 프로그램을 생성할 수 있지만, 주어진 연산 자원으로는 해결책을 생성하고 디버깅하고 검증하는 시도를 소수만 할 수 있다. 유전 알고리즘(genetic algorithm)은 훨씬 더 많은 프로그램을 탐색하고 테스트할 수 있지만, 무작위 탐색은 해 공간에서 유용한 이웃 영역에서 시작하는 경우가 드물다. 우리는 간결한 도메인 특화 언어(DSL)를 통해 이 두 방법을 결합한다. 먼저, 양자화된 Qwen3.5-4B LLM이 각 ARC-AGI-2 과제에 대한 초기 프로그램 집합을 생성한다. 그런 다음 이 프로그램들을 시작 프로그램의 초기 집단(population)을 구성하는 시드로 사용하고, 유전 알고리즘을 이용해 이 프로그램들이 주어진 과제의 해에 가까워지도록 진화시킨다. DSL은 변이(mutation)된 모든 프로그램이 유효하고 실행 가능하도록 설계되었다. LLM이 제안한 초기 프로그램은 ARC-2 공개 평가 세트의 처음 60개 과제 중 2개(3.3%)를 해결한다. 유전 알고리즘은 추가로 4개를 해결하여, 정답 테스트 출력이 총 6개(10.0%)가 된다. 이러한 LLM 시딩 없이 진화하는 해를 사용해 보면, 어떠한 해에도 도달하지 못한다. 이 결과는 유전 탐색이 LLM이 생성한 프로그램을 개선하고 추가적인 정답을 만들어 낼 수 있음을 보여 준다.

arXiv:2609.28442v1cs.LG

수학적 추론에서 순서 불변 답과 순서 민감 표현

Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning

수학적 규칙 집합의 의미를 바꾸지 않고 순서만 바꾸면 정답은 유지되어야 하지만, 모델의 내부 표현도 불변으로 유지되어야 할까? 동일한 정답을 갖는 여러 규칙 순서로 제시된 합성 다단계 함수 합성(function-composition) 문제를 사용해 이 질문을 조사한다. 정확도와 순열 신호 대 잡음비(permutation SNR)를 측정하는데, 후자는 문제 인스턴스 간 변이에 비해 순서 패턴이 얼마나 뚜렷하게 표현되는지를 정량화한다. 1B~8B 파라미터 규모의 16개 언어 모델에서 다음 패턴을 확인한다: 재순서화된 문제를 더 정확히 푸는 모델일수록 서로 다른 규칙 순서를 더 뚜렷하게 표현한다. 평가한 모든 합성 설정에서 층 평균 permutation SNR은 정확도와 양의 순위 상관을 보이며, Spearman 상관계수는 0.86에 이른다. 이 결과는 답 불변성(answer invariance)과 표현 불변성(representation invariance) 사이의 구별을 부각한다. 성공적인 수학적 규칙 합성은 동등한 규칙 순서들 사이에서 서로 다른 내부 표현과 동반될 수 있다. 이는 답 불변성과 표현 불변성을 구분해야 함을 정당화하며, 답 정확도만을 넘어 수학적 추론에 대한 표현 관점을 제시한다.

arXiv:2609.28385v1cs.LG

교사를 언제 어디서 신뢰할 것인가: 엔트로피 보정 크레딧 할당을 통한 온-정책 증류와 GRPO의 통합

When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment

검증 가능한 보상을 통한 강화학습(RLVR)은 최종 정답의 정합성을 통해 수학적 추론을 감독하지만 개별 토큰에 대한 안내는 거의 제공하지 못합니다. 온-정책(on-policy) 증류(OPD)는 학생이 생성한 응답에 대해 조밀한 피드백을 제공하지만, 교사의 선호도가 반드시 정합성을 반영하는 것은 아닙니다. 최근의 하이브리드 방식들은 OPD와 검증기 기반 이점(advantage)을 결합하거나 교사 비율을 활용해 작업 크레딧에 다시 가중치를 부여합니다. 그러나 교사의 안내는 검증기 기반 그룹 정규화 이후에 반영되며, 토큰 재가중치 부여가 각 응답에 할당된 전체 작업 크레딧을 반드시 보존하는 것은 아닙니다. 본 논문에서는 응답 및 토큰 수준 모두에서 단일 GRPO 스타일 업데이트 내에 검증기와 교사 신호를 통합하는 UECR-GRPO(Unified Entropy-Calibrated Credit Redistribution for GRPO)를 제안합니다. 경로-효용 통합(Path-Utility Unification, PUU)은 단일 KL 정규화 목적 함수에서 검증기 보상과 교사 대 앵커 경로 로그 비율을 결합합니다. 온-정책 구현에서는 길이 정규화된 교사 점수를 사용하며 그룹 정규화 및 PPO 클리핑 이전에 두 보상을 결합하여, 교사의 증거가 응답 순위 결정에 영향을 미칠 수 있도록 합니다. 그런 다음 엔트로피 보정 재분배(Entropy-Calibrated Redistribution, ECR)는 부호가 있는 교사-이전 정책 간 토큰 격차를 사용하여 검증기 기반 컴포넌트를 재분배합니다. 전체 어휘 교사 엔트로피는 불확실한 안내를 감쇠시키는 한편, 응답별 제로섬 투영은 클리핑 이전에 전체 작업 크레딧과 토큰별 부호를 보존합니다. 5개의 수학적 추론 벤치마크 전반에서 UECR-GRPO는 Qwen3-1.7B 및 Qwen3-4B 학생 모델을 통해 각각 17.21%와 65.09%의 평균 \(\mathrm{Avg@12}\) 정확도를 달성하여, 각 규모의 가장 강력한 기준선 모델보다 0.89%p 및 0.56%p 더 높은 성능을 보였습니다.

arXiv:2609.28263v1cs.LG

재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법

Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving

대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.

arXiv:2609.28053v1cs.LG

전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입

Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts

전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.

arXiv:2609.28029v1math.NA

트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교

Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison

자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.

arXiv:2609.27987v1cs.LG

PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧

PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue

대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.

arXiv:2609.27982v1cs.LG

저매개변수 직교 행렬 군을 위한 리만 구조 및 최적화

Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices

본 논문에서는 고정된 순열과 교차 배치된 블록 대각 인자들로 구성된 행렬, 즉 유연한 구조화된 행렬군(structured matrices)을 다룹니다. 이 행렬군은 표현력과 효율성 간의 균형 잡힌 절충으로 인해 최근 심층 학습(deep learning) 아키텍처에서 관심을 끌고 있으나, 이를 다루기 위한 효율적인 계산 전략은 아직 밝혀지지 않은 상태입니다. 우리는 리만 기하학(Riemannian geometry)을 통해 이 문제에 접근하며, 어떤 조건 하에서 이 행렬군이 매끄러운 다양체(smooth manifold) 구조를 갖는지 조사합니다. 실용적으로 중요한 직교 2인자 행렬의 경우, 필수적인 리만 도구들을 도출하고 이를 구현하기 위한 효율적인 알고리즘을 제안합니다. 이 알고리즘들은 자동 미분을 활용하고, 각 인자 내 매개변수(parameter) 공유를 지원하며, 명시적인 밀집 행렬 구성을 피합니다. 우리는 최적 행렬 근사 문제와 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정(PEFT)에 대해 리만 최적화 프레임워크 내에서 이를 검증합니다. 2인자 설정을 넘어, 더 많은 수의 블록 대각 인자를 갖는 인수분해의 기하학적 및 행렬론적 특성도 함께 연구합니다.

arXiv:2609.27955v1cs.LG

CS-WCP: 불확실한 그룹 비율을 갖는 LLM 판정 모델 트래픽 변화에 대한 강건한 적합 예측 집합

CS-WCP: Robust Conformal Sets for LLM-Judge Traffic Shifts with Uncertain Group Proportions

LLM(대규모 언어 모델) 판정 모델(LLM judge)을 기반으로 구축된 예측 집합은 배포 트래픽에서 태스크 또는 정책 그룹의 유병률이 달라질 때 목표 커버리지에 미달(undercover)할 수 있습니다. 가중 적합 예측(Weighted conformal prediction)은 밀도 비(density ratio)가 알려진 공변량 변화(covariate shift) 하에서는 정확하지만, 그룹 비율은 일반적으로 유한한 라벨 없는 샘플로부터 추정해야 합니다. 본 연구에서는 소스 및 타깃 그룹 질량에 대한 동시 정확 구간을 구성하고 호환 가능한 모든 비율 벡터에 대해 가중 적합 집합의 합집합을 반환하는 신뢰 집합 가중 적합 예측(CS-WCP)을 도입합니다. 고정되거나 독립적으로 학습된 유한 분할에 대해 CS-WCP는 최소 1-alpha-delta_w-tau_A-kappa의 커버리지를 달성하며, 여기서 tau_A는 셀 내 공변량 불일치를 측정하고 kappa는 조건부 변화를 측정합니다. 선형 끝점 규칙(linear endpoint rule)은 O(G|Y|) 시간에 강건한 합집합을 계산합니다. 구성된 336개의 공유 지지(shared-support) 트래픽 변화 전반에서, CS-WCP는 평균 이진 집합 크기 1.74 및 1.65에서 소스 적합 예측의 0.954 및 44회 실패와 비교해 13회 실패로 0.973의 평균 커버리지에 도달합니다. 336개의 자연스러운 교차 태스크 전이에서는 커버리지가 0.882에서 0.962로 증가하지만 평균 집합 크기는 1.87에 달하며 크기가 일치된 그룹 플러그인 기준선(baseline)도 경쟁력을 보입니다. 따라서 본 방법은 불확실한 혼합 가중치 하에서 감사 가능한 커버리지 보호 장치를 제공하며, 그 가치는 스칼라 확률 캘리브레이션이나 일률적으로 더 작은 집합이 아닌 보수적인 꼬리 위험 보호(tail protection)에 있습니다.

arXiv:2609.27954v1cs.LG

정확도 격차가 인증을 대신하지 못할 때: LLM 심판의 교차 도메인 재보정 감사

When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges

한 과제에서 LLM 심판에 대해 적합시킨 스칼라 재보정 맵은 과제 분포가 바뀌면 실패할 수 있지만, 소스-타깃 정확도 격차는 그 실패에 대한 대리 지표로 자주 취급된다. 13개의 심판, 2개의 생성기, 8개 도메인, 1,176개의 사전 선언된 전이에 걸쳐 이 격차가 무엇을 예측할 수 있고 무엇을 인증할 수 있는지 검증한다. 평균 점수 이동을 보정한 뒤, 격차는 타깃 보정 오류에 대한 모집단 하한을 제공하지만, 동일한 격차가 상반된 전이 결과를 낳을 수 있다. 정확한 importance weighting은 공변량 이동(covariate shift) 하에서 타깃 proper 손실을 복원하므로, 추정 가중치 파이프라인의 실패만으로는 조건부 이동이 성립한다고 볼 수 없다. 유한 표본 동시 하한 인증서는 평가 결과와 분리된 감사 레이블을 사용하여 모집단 하한을 일측 거부 규칙으로 변환한다. 누수 없는 격차 상관은 0.25(95% CI [-0.09, 0.55])이며, 두 번째 생성기에서는 0.09로 떨어지고 생성기 불변 연관을 뒷받침하지 않는다. 인증서는 명목 coverage를 유지하지만 m=1024에서도 검정력이 0.13이고, 반면 16개 레이블을 사용한 타깃 도메인 temperature scaling은 harm rate 0.09에 도달하며, 소스에서 적합한 Platt scaling은 0.34이다. 따라서 정확도 격차는 스칼라 확률 전이에 대한 약한 경고 신호일 뿐이며, 배포 인증서가 아니다.

arXiv:2609.27953v1cs.IR

LLM 추천 리랭킹의 재현율 한계

The Recall Ceiling of LLM Recommendation Reranking

일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.

arXiv:2609.27913v1cs.LG

상충하는 전문가 의견의 신뢰 가능한 융합

Reliable Fusion of Conflicting Experts

우리는 입력마다 전문가 신뢰도가 달라지는, 노이즈가 있고 충돌이 잦은 환경에서 여러 블랙박스 전문가의 의견을 집계하는 문제를 연구한다. 다수결 투표와 같은 정적 집계 방법은 이러한 가변성을 포착하지 못하며, 의견이 불일치할 때 종종 신뢰할 수 없는 결과를 낳는다. 우리는 문맥별 신뢰도 추정을 사용해 전문가 응답을 동적으로 결합하는, 다루기 쉬운 확률적 회로(probabilistic circuit) 기반 융합 프레임워크를 제안하여 원칙적이고 신뢰 가능한 추론을 가능하게 한다. 이 프레임워크는 하위 전문가의 종류에 구애받지 않으며, 내부 표현에 대한 접근이나 재학습을 요구하지 않는다. 우리는 여러 대규모 언어 모델(LLM)을 전문가로 사용하는 객관식 질의응답 과제에서 접근법을 실증적으로 검증하고, 개별 모델 및 정적 앙상블 베이스라인과 비교한다. 우리 방법은 예측 성능을 일관되게 향상시키고 충돌 상황에서 더 신뢰할 수 있는 결정을 내리며, 견고한 다중 전문가 융합을 위한 문맥 인식 신뢰도 모델링의 효과를 보여준다.

arXiv:2609.27857v1cs.CR

ChronosAttack: LLM 에이전트를 대상으로 한 적대적 도구 스케줄링 공격

ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents

대규모 언어 모델(LLM) 에이전트는 외부 도구 응답이 도착하는 대로 처리하는 경우가 많아, 응답 타이밍이 의사결정 과정의 일부가 됩니다. 본 연구에서는 정품 도구 응답을 수정, 추가, 제거하거나 앞당기지 않고 도착 시점만 변경하는 지연 전용 스케줄링 공격인 ChronosAttack을 소개합니다. 유계 지연(bounded delay)만으로도 동일한 증거의 제시 순서가 뒤바뀌어 최종 결정이 달라질 수 있습니다. 본 논문은 GPT-5.6 Sol, Gemini 3.6 Flash, DeepSeek V4 Flash, Claude Sonnet 4.6을 대상으로 ChronosAttack을 평가합니다. 취약한 환경에서 GPT-5.6 Sol과 Claude는 뚜렷한 목표 편향을 보였고, Gemini는 반대 방향으로 큰 편향을 나타냈으며, DeepSeek은 테스트된 스케줄 하에서 상대적으로 더 안정적이었습니다. 또한 순차적 에이전트 상태가 항상 필수적인 것은 아니며, 단 한 번의 스케줄링 역전만으로도 결정에 중대한 변화가 발생할 수 있음을 확인했습니다. 동기화 및 순서 일관성 방어 기법은 관찰 순서에 대한 공격자의 제어력을 줄여줍니다. 이러한 결과는 비동기 LLM 에이전트에서 도구 응답 타이밍 자체가 공격 표면이 될 수 있음을 보여줍니다.

arXiv:2609.27845v1cs.IR

질의 함의 생성형 엔진 최적화

Query Implied Generative Engine Optimization

온라인에서 정보를 찾는 방식이 바뀌면서 검색 환경은 급격히 달라졌다. 전통적인 검색 엔진은 대규모 언어 모델(LLM)을 사용해 사용자 질의에 대한 자연어 응답을 생성하는 생성형 검색 엔진(GSE)으로 대체되고 있다. 콘텐츠 제작자에게 가시성은 더 이상 검색 결과 순위만으로 결정되지 않고, 생성된 응답 안에서 인용되는지 여부로 결정된다. 그러나 생성형 검색 엔진은 블랙박스이므로, 생성형 검색 환경에서 콘텐츠 가시성을 높이기 위한 기법 모음인 생성형 엔진 최적화(GEO)가 등장했다. 기존 대부분의 접근은 명시적 질의 또는 질의에서 파생된 신호에 의존하여 콘텐츠를 사용자 요구에 맞게 정렬한다. 우리는 문서로부터 사용자 의도를 직접 추론하는 질의 함의 생성형 엔진 최적화(QI-GEO)를 제안한다. 본 접근은 문서의 의도 공간을 근사하고, 잠재적 사용자 질의에 답하기 위해 빠져 있으면서도 관련 있을 수 있는 콘텐츠를 식별한다. GEO-Bench 및 Extended GEO-Bench에서의 평가는 객관·주관 지표 전반에서 개선을 보였다. QI-GEO는 객관 점수를 최대 15.9%, 주관 점수를 최대 17.6% 향상시켰으며, 인용 감소 대비 거의 두 배 많은 인용 증가를 얻었다. 이러한 결과는 명시적 질의 입력에 의존하지 않고도 문서에서 도출한 사용자 의도 근사가 가시성을 개선할 수 있음을 시사한다.

arXiv:2609.27657v1cs.LG

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.27588v1cs.LG

역량 다양체와 ML 스케일링 법칙

The Capability Manifold and ML Scaling Laws

기존 머신러닝(ML) 스케일링 법칙은 예측 손실을 연산량, 모델 파라미터, 데이터에 연관 짓는다. 그러나 모델이 에이전트(agentic) 하네스를 통해 점점 더 배포됨에 따라, 손실만으로는 다운스트림 성능을 특성화하기에 불충분하다. 유사한 손실을 가진 모델이 추론, 검색(retrieval), 계획(planning), 적응(adaptation)에서 서로 다른 역량을 보일 수 있다. 아직도 이러한 역량을 ML 수명 주기 전반에 걸쳐 이용 가능한 결합된 자원과 연결하는 통일된 프레임워크는 없다. 이 간극을 메우기 위해 우리는 역량 다양체(capability manifold)를 도입한다. 이는 경계가 있는 스케일링 함수를 통해 다운스트림 역량을 사전학습, 사후 학습, 테스트 시점 자원에 매핑하는 다차원 프레임워크이다. 해석적 야코비안(Jacobians)은 자원 변화 및 상호작용에 대한 역량 민감도를 정량화한다. 초기 적용으로, 우리는 Kaplan형 및 Chinchilla형 스케일링 법칙과 테스트 시점 연산(test-time compute)을 프레임워크 내에 내장하여, 기존 스케일링 관계가 공통 역량 다양체 상의 궤적으로 통합될 수 있음을 보여준다.

arXiv:2609.27572v1cs.LG

DCRL: 정책-보상 매니폴드 정렬을 통한 강화학습의 분리와 결합

DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.